Hugging Face Daily Papers·· 1 天前AI 评分70
论文研究基础模型如何借助训练数据线索进行推理
Base Models Can Reason By Taking a Cue From Training Data
AI 导读
arXiv:2610.06851 研究了基础模型回复开头的 token 线索与后续推理行为之间的关系。论文称,固定特定开头线索可让基础模型在数学和编码上接近 RL 训练模型,例如 ".\n\nOkay" 将 Olmo-3-7B 的 MATH-500 pass@1 从 42% 提高到 78%,"Alright," 将 Qwen3-14B 从 72% 提高到 87%。
来源:Hugging Face Daily Papers · arxiv.org