Hugging Face Daily Papers·· 1 天前AI 评分44
通过投机执行隐藏端侧级联语音智能体的工具延迟
Hiding Tool Latency in On-Device Cascaded Voice Agent through Speculative Execution
AI 导读
研究提出面向端侧级联语音智能体的投机工具执行,在用户仍在说话时根据部分 ASR 结果预测并启动工具调用。该方法在 Android 语音助手实测中将 median time-to-first-audio 从 5.79 s 降至 4.60 s,标准差从 3.49 s 降至 2.81 s。
来源:Hugging Face Daily Papers · arxiv.org