SAGO评估LLM泛化稳定性

2026年10月1日，Hugging Face Daily Papers 报道一项关于大语言模型泛化评估的研究。该研究将 LLM 泛化定义为同一输入在不同表述下输出的语义稳定性，而不是单一提示或任务上的汇总准确率。研究提出 SAGO，从生成一致性、内部激活、置信度和响应镜像等多个维度衡量模型行为变化。报道称，实验结果显示常用模型普遍存在显著的泛化不稳定性，并且在不同数据集之间，模型排名可能发生逆转。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。