Hugging Face Daily Papers·2026-10-01 08:00· 2 天前AI 评分45

关键词匹配基准为何会误判小语言模型的工具使用能力

Keyword Harnesses Fail Open: A Cheap Diagnostic Ladder for Tool-Use Claims in Small Language Models

AI 导读

这篇预印本指出，关键词匹配基准会把小语言模型未实际执行的工具使用误判为成功，并提出一套低成本诊断阶梯。两个西班牙语安全语言模型在宽松指标 B4 上接近（0.660 vs. 0.650），但 600M 在 6/6 训练样例中输出有效工具调用，1B 为 0/6。