LoopCD 如何以近乎零额外成本改进 Looped Transformers 解码

LoopCD 用早期循环状态对比引导 Looped Transformers 的最终预测，以免训练方式改进解码。LoopCD-Logits 将 Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 提至 73.33%，LoopCD-Hidden 将 Huginn 的 HumanEval pass@1 从 22.56% 提至 31.71%。