Hugging Face Daily Papers·· 2 天前AI 评分42
扩散语言模型的表征空间 MMD 后训练方法
Representation-Space MMD for Diffusion Language Models
AI 导读
Representation-Space MMD 提出一种扩散语言模型后训练方法,在冻结预训练 DLM 的特征空间最小化生成与参考分布的 MMD。该方法对离散模型用 policy gradients、对连续模型通过生成 latents 直接微分,无需完整采样轨迹或联合训练辅助模型。
来源:Hugging Face Daily Papers · arxiv.org