跳到正文
原文
Hugging Face Daily Papers·· 2 天前AI 评分45

4Director:用刚性 3D 几何控制视频世界模型

4Director: Controlling Video World Models with Rigid 3D Geometry

AI 导读

4Director 用显式 4D 场景表示控制视频世界模型,将输入图像中的每个对象重建为 canonical mesh,并按每帧指定的刚性变换移动。其将受控场景渲染为深度视频,再由 Motion Adapter 合成视角一致的外观、光照和非刚性动态;训练使用含 20,774 个片段的 RealCOD-Rigid,并提出 IG-IoU 评估对象运动遵循度与身份保持。

来源:Hugging Face Daily Papers · arxiv.org