Apple ML·· 1 天前AI 评分50
Apple ML 研究语言模型树结构表达式序列化中的通信瓶颈
The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models
AI 导读
Apple ML 提出 round-trip 协议,研究语言模型把树结构算术表达式序列化为自然语言时有多少组合内容能保留下来。该方法由生成器把程序生成的算术表达式转成文字题,再由独立抽取器仅从文字题恢复表达式,并用符号等价作为精确 oracle;对 16 个模型的两两组合评估显示,交换生成与抽取模型可使准确率变化最高 60.4 points,最佳组合达到 92.9%。
来源:Apple ML · machinelearning.apple.com