提出Δ-MOPD蒸馏方法

2026年10月7日，Hugging Face Daily Papers 报道一项关于多教师在线蒸馏的研究，提出 Teacher-Relative Shifts 方法 Δ-MOPD。该方法在多教师在线蒸馏中迁移各教师相对于基础模型的 logit shift，即 teacher-minus-base logit shift，并将其重新锚定到学生模型的冻结初始化，用于组合不同教师学到的内容。实验显示，在 3 个组合教师设置下，Δ-MOPD 相比 endpoint composition 高 4.11 个 Math points 和 1.95 个 five-benchmark points；在阶段式路由设置中，该方法将顺序差距从 10.50 points 降至 6.42 points。目前报道仅提及论文方法与实验结果，未提供更多发布或应用进展。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。