TRACE：面向 MoE 语言模型 FP4 强化学习的 rollout 引导量化感知训练

TRACE 提出用于 MoE 语言模型 RL 训练的 FP4 量化框架，通过 rollout 引导的量化感知训练减少训练与 rollout 两条量化路径的差异。其在 4 个大规模 MoE 语言模型上评估，支持 FP4 权重/激活与 FP4 KV-cache rollout，RL 表现接近 BF16 rollout，rollout 最高加速 5.4x。