如何用 Gemini Live API 构建实时语音 AI Agent
Google AI Dev 介绍如何用 Gemini Live API 构建实时语音 AI Agent,使浏览器、Python 后端和 Gemini Live API 通过 WebSocket 传输双向音频。
推荐理由:文章把实时语音 Agent 拆成 WebSocket、双循环、barge-in 和异步工具回执,便于复用到低延迟语音场景。
Google AI Dev 介绍如何用 Gemini Live API 构建实时语音 AI Agent,使浏览器、Python 后端和 Gemini Live API 通过 WebSocket 传输双向音频。
推荐理由:文章把实时语音 Agent 拆成 WebSocket、双循环、barge-in 和异步工具回执,便于复用到低延迟语音场景。
Apple ML 研究用预量化 latent 作为监督信号,蒸馏压缩 Apple 设备端听写所用的流式神经音频 tokenizer。2.8× compression 下,学生编码器在六组教师—学生组合中的五组无需 fine-tuning 即保持在教师 1.9% relative WER 以内,并比同容量独立训练 tokenizer 提升 3.9% relative。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两个文本转语音模型,用于生成自定义角色声音并逐行控制场景对白。
推荐理由:原文同时给出能力、评测和开放渠道,便于判断 Gemini 音频模型在创作与企业语音场景的定位。
Suno 宣布与 Believe 及其自助发行平台 TuneCore 达成全球战略合作,面向独立艺术家和厂牌开发可选择参与的新产品体验。使用 Suno 新行业合作伙伴模型创作的曲目将有资格通过 Believe 和 TuneCore 发行,相关音乐会适用音频水印、指纹识别和下载限制等保护。Suno 称新模型将很快发布,Believe、TuneCore 及其独立艺术家社区将参与后续发展。
推荐理由:原文呈现了 Suno 与分发方从分歧到合作的过程,可观察音乐生成工具进入发行链路的方式。
MiniMaxAI 在 Hugging Face 发布 MiniMax-H3,这是一个通用全模态生成系统,支持文本、图像、视频和音频组成的多模态上下文理解,并可生成带原生立体声音频的视频。
推荐理由:原文披露了模块拆分、输入规格和本地部署路径,可帮助开发者评估接入成本与适用场景。