自然语言自编码器筛选关键信息Token

2026年9月29日，Hugging Face Daily Papers 报道一项关于自然语言自编码器的研究。该研究关注在解释语言模型内部激活时，如何选择信息量最高、最值得审计的 token 位置，以降低解释成本。研究覆盖 prompt injection 和 concealment 场景下的 470 万条解释。结果显示，只解释 5% 的位置，在四个数据集中的三个上几乎保留了解释全部位置的成功率。研究还称，经过聊天结构训练的 ranker 通常比计算信号更能选出相关解释，并且无需为位置选择执行模型 forward pass。

AI 根据报道生成 · 8 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。