Hugging Face Daily Papers·· 2 天前AI 评分41
HLA-WM:用于长时程视频世界模型的混合线性注意力
HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models
AI 导读
HLA-WM 提出一种免训练混合线性注意力框架,用于缓解 Gated DeltaNet 在长时程视频世界模型中的长距离遗忘问题。在 60 秒 SANA-WM-Bench 上,HLA-WM 提升基础自回归生成器的六项汇总指标,包括 PSNR 提升 0.74 dB、旋转误差降低 28.5%;在 60 秒上下文下,相比完整 KV cache 将历史状态内存降低 12×,推理吞吐最多下降 1.6%。
来源:Hugging Face Daily Papers · arxiv.org