Apple ML·· 1 天前AI 评分41
用于机器翻译质量标注的大语言模型：人类与模型都面临挑战
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
AI 导读
Apple ML 论文评估 LLM 在机器翻译质量标注中的表现，发现其在多数设置下仍难以可靠替代人类评估。研究比较了 MQM 和 ESA 两种方案，覆盖 70 个语言对的长上下文测试集以及 WMT23、WMT25 数据。结果显示，LLM 与人类一致性在部分任务超过人类之间一致性，但会随标注方案、语言对和领域大幅波动。
来源：Apple ML · machinelearning.apple.com