World Labs 发布 RTFM 实时生成式世界模型研究预览
World Labs 分享了 RTFM(Real-Time Frame Model),一个可在交互时实时生成视频的生成式世界模型,今天以研究预览版开放。RTFM 可用于探索生成的 3D 世界和真实地点,并可在浏览器中 demo;其目标是在单个 H100 GPU 上以交互帧率推理。
推荐理由:原文披露了单 H100 实时生成持久 3D 世界的架构思路,可作为世界模型工程取舍参考。
文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。
World Labs 分享了 RTFM(Real-Time Frame Model),一个可在交互时实时生成视频的生成式世界模型,今天以研究预览版开放。RTFM 可用于探索生成的 3D 世界和真实地点,并可在浏览器中 demo;其目标是在单个 H100 GPU 上以交互帧率推理。
推荐理由:原文披露了单 H100 实时生成持久 3D 世界的架构思路,可作为世界模型工程取舍参考。
Suno 推出新功能 Suno Scenes,让用户可以从手机相机中的照片和视频创建独特歌曲。该功能首先面向 iOS 移动用户开放,下载 app 后可在歌曲创作体验的 Camera mode 下找到。Suno 鼓励用户用 #sunoscenes 和 @suno_ai_、@sunomusic 分享创作内容。
推荐理由:原文说明了从照片和视频生成歌曲的入口,可帮助判断 Suno 在移动端创作场景的扩展。
Suno 宣布推出 Suno mobile app,version one 可在手机上制作、收听和整理音乐。用户可以用文本歌词和描述生成歌曲,也可以用手机录音并把音频变成歌曲;Suno 称已有 Twelve million people 使用过其产品。该应用目前先从美国 iOS 开始,Android、全球发布和更多更新将随后推出。
推荐理由:官方给出移动端版本的可用范围和核心入口,便于判断音乐生成如何迁移到手机场景。
Suno 发布 Audio Input 功能,Pro & Premier 用户现在可以上传或录制自己的音频来生成歌曲。用户可在 Library 或 Create 页面点击 Upload Audio,录制音频或上传 6 - 60 秒的音频/视频片段,再选择 Extend、设置延展时间点、填写曲风并可加入歌词。Suno 表示受版权保护的作品会被阻止上传,所有带人声的输入将保持私密且不可搜索。
推荐理由:原文同时给出上传流程和责任限制,便于判断音频输入会怎样进入音乐创作流程。