量子位(公众号 · Wechat2RSS)·· 3 天前AI 评分44
中国联通 MoHGE 异构分组混合专家架构上线:参数瘦身20%,入选 ACL'26
异构分组混合专家架构上线:参数瘦身20%,推理反超传统MoE | ACL'26
AI 导读
中国联通数据科学与人工智能研究院提出 MoHGE 异构分组混合专家架构,入选 ACL2026,代码已开源。MoHGE 在 3B 和 14B 规模下较同等精度传统 MoE 削减约20%整体参数量,并降低近四分之一的推理激活专家参数量。
来源:量子位(公众号 · Wechat2RSS) · mp.weixin.qq.com