AllenAI BenchMIRT 技术报告分析 LLM 基准实际测量内容

AllenAI 介绍了 BenchMIRT，一种在单个提示词层面审计 LLM 基准的新方法，用于分析基准分数实际由哪些能力信号驱动。BenchMIRT 基于多维 IRT，在 100 个 LLM、16 个基准和超过 34K 个问题的结果上训练，独立恢复出安全和通用推理两个主要维度。