Moonshot AI 发布 Kimi Linear 48B A3B 模型并开源 KDA kernel
Moonshot AI 发布 Kimi Linear 混合线性注意力架构,开放 KDA kernel,并提供 48B total params、3B activated params、1M context 的 Base 与 Instruct 检查点。
推荐理由:材料同时给出架构、速度与部署命令,便于比较线性注意力在长上下文中的工程取舍。
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Moonshot AI 发布 Kimi Linear 混合线性注意力架构,开放 KDA kernel,并提供 48B total params、3B activated params、1M context 的 Base 与 Instruct 检查点。
推荐理由:材料同时给出架构、速度与部署命令,便于比较线性注意力在长上下文中的工程取舍。
Moonshot AI 在 Hugging Face 发布 Kimi-Linear-48B-A3B-Instruct,并介绍 Kimi Linear 混合线性注意力架构及 KDA kernel 开源信息。
推荐理由:材料同时给出架构、长上下文指标和部署命令,可用于比较线性注意力在长序列中的效率取舍。
Cognition 发布 SWE-1.5,称其是面向软件工程优化、拥有数千亿参数的 frontier-size 模型,达到 near-SOTA 编码性能,并已在 Windsurf 可用。
推荐理由:原文披露了模型、推理与 agent harness 的协同优化路径,可用于理解编码 Agent 的速度取舍。
Cognition 训练并发布了 SWE-grep 和 SWE-grep-mini,两款面向高度并行上下文检索的快速智能体模型,已用于 Windsurf 的 Fast Context subagent。
推荐理由:原文披露了面向代码上下文检索的训练和评测设计,可用于比较快模型与通用编码模型的取舍。
SemiAnalysis 分析称,xAI 的 Colossus 2 正在向 Gigawatt 级数据中心推进,单训练集群数据中心容量预计将在 Q3 2025 超过 Meta Superintelligence 和 Anthropic。
推荐理由:文章用数据中心模型拆解 Colossus 2 的建设节奏和供电方案,可作为观察前沿 AI 算力竞赛的样本。
百度在 Hugging Face 上发布 Qianfan-VL-70B,属于 Qianfan-VL 通用多模态大语言模型系列,面向企业级多模态应用。该系列包含 Qianfan-VL-3B、Qianfan-VL-8B 和 Qianfan-VL-70B,均为 32k 上下文,其中 8B 和 70B 支持 CoT,70B 面向复杂推理和数据合成。
推荐理由:材料同时列出3B、8B、70B差异与训练流程,便于比较文档理解场景的部署取舍。
百度在 Hugging Face 发布 Qianfan-VL-8B,属于 Qianfan-VL 系列通用多模态大语言模型,面向企业级多模态应用并强化 OCR 与文档理解。
推荐理由:原文同时给出模型规格、训练流程和基准对比,便于评估其在 OCR 与文档理解场景的适配度。
SemiAnalysis 认为,AWS 可能通过 Anthropic 合作和多 GW Trainium 数据中心扩张迎来 AI 复苏。文章称 Anthropic 年化收入在 2025 年内增长 5 倍至 $5B,AWS 有 3 个园区处于建设最后阶段,合计超过 1.3GW IT capacity,专门服务 Anthropic 训练需求。
推荐理由:文章把云收入、数据中心建设和芯片 TCO 放在一起,提供了理解 AWS 押注 Anthropic 的背景。
Mistral AI发布其LLM环境足迹研究,提出用生命周期分析支持AI行业的全球环境标准。该研究与Carbone 4和法国生态转型机构ADEME合作,并经Resilio和Hubblo同行评审,披露Mistral Large 2截至January 2025且经过18个月使用后的影响为20,4 ktCO₂e、281 000 m3用水和660 kg Sb eq。
推荐理由:报告给出训练与推理的环境核算口径,可作为比较模型足迹的参考样本。
Meta 正以新 Superintelligence 团队、激进挖角和大规模 AI 训练集群重建其 GenAI 战略,以追赶 OpenAI、DeepSeek 等基础模型实验室。
推荐理由:文章把人才挖角、数据问题和集群建设放在同一框架下,提供了理解 Meta 追赶策略的背景。
Suno 回应 RIAA 成员唱片公司在 June 24th 提起的版权诉讼,称对方关于训练数据侵权的指控在事实和法律上都有缺陷。Suno 表示其音乐生成技术学习的是风格、模式和形式,并称已有超过 12 million 人用 Suno 以新方式参与音乐创作。公司还称产品面向原创音乐,已设置检查并阻止音频上传中的版权内容、禁止基于艺术家描述生成音乐等原创性保护功能。
推荐理由:Suno 从训练数据、原创性控制和唱片公司谈判角度,展示音乐生成版权诉讼中平台方的核心论证。