大语言模型中 Attention 的演进：机制、权衡与新趋势

这篇综述将 LLM 中 Attention 的演进视为模型内部上下文记忆的设计问题，而不只是单一 Attention 算子优化。研究用 Memory Representation、Memory Update、Access、Readout、Integration 五维框架，分析 14 个主要模型谱系的 59 条发布记录和 11 个高性能 open-weight endpoint。