跨分词器在线蒸馏研究发布

2026 年 10 月 6 日，Hugging Face Daily Papers 报道一项关于跨 tokenizer On-Policy Distillation 的研究。该研究重新审视跨分词器在线蒸馏中的对齐问题，称严格 1:1 对齐已经覆盖大多数学生模型生成 token，继续扩大对齐覆盖不一定带来学习效果提升。研究在 3 组异构教师—学生模型上进行数学推理和代码生成实验，结果显示，仅使用共享词表 top-16 子集的 reverse KL，也可达到接近完整共享词表 OPD 的准确率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。