Hugging Face Daily Papers·2026-09-30 08:00· 2 天前AI 评分43

Looped Mixture of Experts 的缩放定律

Scaling Laws for Looped Mixture of Experts

AI 导读

Loop Scaling Laws 首次将 recurrence、sparsity 与模型规模、数据共同建模，用于预测 looped MoE 的 held-out loss。