Apple ML·· 17 小时前AI 评分38
Mix, Don’t Tune：双语预训练在数据受限场景优于超参数搜索
Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
AI 导读
Apple ML 相关研究比较双语预训练与超参数调优，发现混入高资源语言数据在数据受限场景表现更好。研究在 150M 到 1.43B 参数的四种模型规模、约 1000 次预训练中，以阿拉伯语为低资源目标、英语为辅助语言进行测试；混合带来的收益相当于验证损失上 2–3×、下游任务准确率上 2–13× 的独特目标数据。
来源：Apple ML · machinelearning.apple.com