TestPrism测试评估基准发布

2026年10月8日，Hugging Face Daily Papers 报道 TestPrism 基准。该工作提出用 300 个测试任务和 3000 个候选实现评估 LLM coding agents 的测试生成质量，目标是避免依赖单一参考答案导致结果被高估。报道给出的结果显示，14 种基线配置在 Joint Success Function 指标上的表现仅为 28.00%，而按单一参考计算的成功率为 59.67%。目前报道主要介绍了 TestPrism 的评估设定、动机和基线结果。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。