跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 41–48 条 · 共 48 条
2月18日周三
  1. World Labs70

    World Labs 宣布获得 $1 billion 新融资

    World Labs 宣布获得 $1 billion 新融资,投资方包括 AMD、Autodesk、Emerson Collective、Fidelity Management & Research Company、NVIDIA、Sea 等。

    推荐理由:融资信息同时交代了 World Labs 的空间智能方向和 Marble 的输入形态,便于理解其后续投入重点。

11月12日周三
  1. World Labs78

    World Labs 多模态世界模型 Marble 面向所有用户开放

    World Labs 今天将多模态世界模型 Marble 面向所有用户开放,并扩展其从文本、图像、视频或粗略3D布局创建3D世界的能力。Marble 支持交互式编辑、扩展和组合世界,生成后可导出为 Gaussian splats、meshes 或视频。

    推荐理由:原文列出从文本、图像、视频到粗略3D布局的生成路径,便于比较世界模型工作流。

10月16日周四
  1. World Labs77

    World Labs 发布 RTFM 实时生成式世界模型研究预览

    World Labs 分享了 RTFM(Real-Time Frame Model),一个可在交互时实时生成视频的生成式世界模型,今天以研究预览版开放。RTFM 可用于探索生成的 3D 世界和真实地点,并可在浏览器中 demo;其目标是在单个 H100 GPU 上以交互帧率推理。

    推荐理由:原文披露了单 H100 实时生成持久 3D 世界的架构思路,可作为世界模型工程取舍参考。

9月16日周二
10月16日周三
  1. Suno Blog65

    Suno 推出 Suno Scenes,可用照片和视频创建歌曲

    Suno 推出新功能 Suno Scenes,让用户可以从手机相机中的照片和视频创建独特歌曲。该功能首先面向 iOS 移动用户开放,下载 app 后可在歌曲创作体验的 Camera mode 下找到。Suno 鼓励用户用 #sunoscenes 和 @suno_ai_、@sunomusic 分享创作内容。

    推荐理由:原文说明了从照片和视频生成歌曲的入口,可帮助判断 Suno 在移动端创作场景的扩展。

7月1日周一
  1. Suno Blog64

    Suno 发布移动应用,iOS 版先在美国上线

    Suno 宣布推出 Suno mobile app,version one 可在手机上制作、收听和整理音乐。用户可以用文本歌词和描述生成歌曲,也可以用手机录音并把音频变成歌曲;Suno 称已有 Twelve million people 使用过其产品。该应用目前先从美国 iOS 开始,Android、全球发布和更多更新将随后推出。

    推荐理由:官方给出移动端版本的可用范围和核心入口,便于判断音乐生成如何迁移到手机场景。

6月12日周三
  1. Suno Blog76

    Suno 推出 Audio Input 功能,支持用任意声音生成歌曲

    Suno 发布 Audio Input 功能,Pro & Premier 用户现在可以上传或录制自己的音频来生成歌曲。用户可在 Library 或 Create 页面点击 Upload Audio,录制音频或上传 6 - 60 秒的音频/视频片段,再选择 Extend、设置延展时间点、填写曲风并可加入歌词。Suno 表示受版权保护的作品会被阻止上传,所有带人声的输入将保持私密且不可搜索。

    推荐理由:原文同时给出上传流程和责任限制,便于判断音频输入会怎样进入音乐创作流程。