跳到正文
原文
Hugging Face Daily Papers·· 2 天前AI 评分43

OmniSeek:面向多轮音视频推理的原生工具集成

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

AI 导读

OmniSeek 将 Omni-LLM 转化为具备原生工具使用能力的多轮音视频推理智能体,可动态决定查看或聆听的时间窗口。研究构建 OmniTraj-170K 多跳 CoT 轨迹语料,并通过监督训练、两阶段强化学习和 Audio-Visual Necessity 目标优化模型。实验显示,OmniSeek 能自适应寻找跨模态证据并提升音视频推理表现。

来源:Hugging Face Daily Papers · arxiv.org