Hugging Face Daily Papers·· 1 天前AI 评分39
TokenRouter：面向 token 级 LLM 路由的高效服务系统
TokenRouter: Efficient Serving System for Token-Level LLM Routing
AI 导读
TokenRouter 是一个面向 token 级 LLM 路由推理的高效服务系统，旨在解决现有系统的步骤不同步和批处理准入延迟问题。
来源：Hugging Face Daily Papers · arxiv.org