软件与服务行业AI产业跟踪:月之暗面发布全新注意力架构Kimi Linear,持续关注Agent LLM技术迭代
请阅读最后评级说明和重要声明 丨证券研究报告丨 行业研究丨点评报告丨软件与服务 [Table_Title] AI 产业跟踪:月之暗面发布全新注意力架构Kimi Linear,持续关注 Agent LLM 技术迭代 报告要点 [Table_Summary]10 月 31 日,月之暗面推出了全新的混合线性注意力架构 Kimi Linear,核心目标是解决当前LLMs 在处理长序列任务时面临的计算效率和性能瓶颈,当然核心代码已开源并得到验证。 Kimi Delta Attention (KDA)是一种表达能力更强的线性注意力模块,通过更精细的门控机制增强了表达能力,再以定制的、高度优化的块处理算法实现了卓越的硬件效率。考虑到当前成本仍为制约 token 消耗量的核心因素,Kimi Linear 的出现有望开辟降本新范式。继续看好国产 AI产业链,持续重点推荐铲子股和卡位优势显著的巨头本身。 分析师及联系人 [Table_Author] 宗建树 刘思缘 SAC:S0490520030004 SFC:BUX668 %%%%%%%%research.95579.com1 请阅读最后评级说明和重要声明 丨证券研究报告丨 更多研报请访问 长江研究小程序 软件与服务 cjzqdt11111 [Table_Title2] AI 产业跟踪:月之暗面发布全新注意力架构Kimi Linear,持续关注 Agent LLM 技术迭代 行业研究丨点评报告 [Table_Rank] 投资评级 看好丨维持 [Table_Summary2] 事件描述 10 月 31 日,月之暗面推出了全新的混合线性注意力架构 Kimi Linear,核心目标是解决当前LLMs 在处理长序列任务时面临的计算效率和性能瓶颈,当然核心代码已开源并得到验证。 事件评论 ⚫ 新架构旨在解决传统 Transformer 在长文本处理和智能体式推理中的核心瓶颈——计算复杂度与内存占用,有望成为下一代 Agent LLM 的基石技术。(1)3:1 混合层级结构,3 个 KDA 层+1 个全注意力层 (MLA) 固定比例堆叠,在该架构下 KV 缓存减少 75%,长序列解码更高效。(2)无位置编码全注意力(NoPE):MLA 取消显式位置编码,专注于纯粹的内容关联,由 KDA 层承担位置感知,负责处理与位置相关的动态信息。这种策略避免了 RoPE 频率固定带来的“长度过拟合”,长文本鲁棒性更强,模型外推能力显著提升。(3)与 MoE 结合:实验中模型总参 48B,每次推理仅激活 3B(激活 256 个专家中的 8 个),稀疏计算进一步提升训练和推理效率,不显著增加计算成本的同时扩展模型参数规模。 ⚫ 性能对比,全面超越 Full Attention。(1)基础能力测试:随着序列长度从 256 →2048,KDA 在所有任务均取得最高准确率,且收敛速度显著快于 GDN。(2)短上下文性能:同等预训练后在几乎所有类别中,Kimi Linear 一致性优于 MLA 和 GDN-H。指令微调阶段,Kimi Linear 在通用任务多个基准上都取得最高分,数学与代码任务中亦在 AIME 2025 等基准超越 GDN 和 MLA。(3)长上下文(128K)性能:关键优势领域,平均分 Kimi Linear 54.5>MLA 52.2>GDN-H 51.2;RULER 基准 Kimi Linear 84.3>MLA 81.3;RepoQA(代码理解):Kimi Linear 得分最高。GDN-H 在长文本上退化明显,但 Kimi Linear 稳居第一。(4)RL 性能:在数学强化学习任务上 Kimi Linear 收敛速度更快,训练曲线与 MLA差距随时间扩大,测试集性能显著领先。Transformer 或将不再是性能的唯一上限。 ⚫ 效率对比,Kimi Linear 的优势随着序列长度的增加而急剧扩大。(1)解码速度(1M 长度),MLA 速度为每 token 需要 11.48ms,Kimi Linear 仅为 1.84ms,快 6.3x。(2)预填充速度(1M 长度):Kimi Linear 速度是 MLA 的 2.9x。(3)内存占用:Kimi Linear 的 KV缓存大小仅为纯 MLA 模型的约 25%。未来模型厂商有望以更低推理成本获得更优体验。 ⚫ 总结来看,Kimi Delta Attention (KDA)本质是一种表达能力更强的线性注意力模块,通过更精细的门控机制增强表达能力,再以定制的、高度优化的块处理算法实现卓越的硬件效率。KDA 展现了线性注意力在表达能力上的巨大潜力,尤其是长文本推理、多 Agent 和企业级知识系统场景下,推理成本与延迟显著下降有望实现大规模部署,加快应用落地。 ⚫ 关注模型后续发布。当前时点大模型技术仍在不断迭代,考虑到当前成本仍为制约 token消耗量的核心因素,商业化落地需要进一步关注模型在降本层面的效果。继续看好国产 AI产业链,持续重点推荐铲子股和卡位优势显著的巨头本身。 风险提示 1、AI 技术发展不及预期; 2、下游应用需求不及预期。 市场表现对比图(近 12 个月) 资料来源:Wind 相关研究 [Table_Report]•《重仓超配比例仍回落,聚焦国产 AI 链主线--计算机行业 2025Q3 基金持仓分析》2025-11-05 •《2025 年第 44 周计算机行业周报:关注国产 AI应用出海投资机遇》2025-11-05 •《AI 产业已进入“良性循环”,全球算力基建持续加速》2025-11-03 -20%0%20%40%2024/112025/32025/72025/11软件与服务软件与服务沪深3002025-11-06%%%%%%%%research.95579.com2 请阅读最后评级说明和重要声明 3 / 5 行业研究 | 点评报告 风险提示 1、AI 技术发展不及预期,本次大模型创新伴随参数量及模态的增速能力天花板尚未达到,但模型效果本身仍存瓶颈及问题,倘若 AI 技术发展不及预期,投入厂商仍然存在失败风险。 2、下游应用需求不及预期,人工智能本质是通过供给创新催生需求扩容,目前大模型仍处于商业模式摸索期,倘若本轮技术变革无法真实带动下游需求,投入厂商将受到影响。 %research.95579.com3 请阅读最后评级说明和重要声明 4 / 5 行业研究 | 点评报告 投资评级说明 行业评级 报告发布日后的 12 个月内行业股票指数的涨跌幅相对同期相关证券市场代表性指数的涨跌幅为基准,投资建议的评级标准为: 看 好: 相对表现优于同期相关证券市场代表性指数 中 性: 相对表现与同期相关证券市场代表性指数持平 看 淡: 相对表现弱于同期相关证券市场代表性指数 公司评级 报告发布日后的 12 个月内公司的涨跌幅相对同期相关证券市场代表性指数的涨跌幅为基准,投资建议的评级标准为: 买 入: 相对同期相关证券市场代表性指数涨幅大于 10% 增 持: 相对同期相关证券市场代表性指
软件与服务行业AI产业跟踪:月之暗面发布全新注意力架构Kimi Linear,持续关注Agent LLM技术迭代,点击即可下载。报告格式为PDF,大小0.64M,页数5页,欢迎下载。



