计算机行业：DeepSeekV3%26R1加速LLM训练%26推理端降本／数据平权，有望开启端侧／AI应用的黄金时代%26传统非AI公司价值重估

分析师张初晨登记编号：S1220523070001陈嵩登记编号：S1220523100002DeepSeek V3&R1加速LLM训练&推理端降本/数据平权，有望开启端侧/AI应用的黄金时代&传统非AI公司价值重估计 算 机 团 队 • 行 业 深 度 报 告证券研究报告 | 计算机 | 2025年02月05日报告摘要➢ DeepSeek V3多方面创新带来对标GPT-4o的性能+远低于4o的训练/推理成本：DeepSeek V3整个训练过程不到600万美金的成本，模型效果对标亿美金级成本的GPT-4o；推理成本也是4o的1/10以内。大幅降本的缘由是其在算法架构、训练环节、通信/计算优化/PTX层优化等多方面做出的创新：✓算法架构：引入MLA、MoE、MTP等多种方式压降训练/推理成本，并提高模型的推理能力。✓Training阶段：通过SFT与RL显著提升了post-training的成效，其中RL过程通过原创的GRPO算法实现（与PPO效果接近，大幅降低训练开销）。✓通信优化&计算优化&PTX层优化：DualPipe/FP8混合精度训练/定制PTX指令协同优化下，模型训练的通信效率/内存效率均明显提升。➢ DeepSeek R1除了与V3同质的系列创新外，对行业影响最大的点在于论证了SFT过程可能不是刚需/蒸馏头部大模型比训练自有模型更高效：✓ R1-Zero不依赖任何监督数据也可以涌现：R1-Zero在经过数千次的RL过程后，展现出了极强的推理能力（出现了aha-moment，涌现出超脱数据集的能力）,说明不需要SFT过程，模型的推理能力也可以提升（高质量的监督数据不再是模型进化的门槛）——击碎数据崇拜。✓直接蒸馏成熟模型比依靠先进范式重训练自有模型更高效：基于R1蒸馏多个开源模型，效果均明显好于原模型；基于R1直接进行蒸馏得到的模型效果要好于将原模型基于R1训练框架进行重训练；这意味着对于绝大多数公司来说自研可能意义不大，蒸馏是捷径；这是除了成本因素外，冲击到云端算力叙事逻辑的核心。DeepSeek V3/R1：颠覆行业生态的里程碑式创新，训练/推理成本骤降+不依赖监督数据+蒸馏成为捷径+宽松的开源协议 报告摘要➢ 当训练/推理/高质量数据都不再是门槛且蒸馏领先模型就是捷径，我们得出一些直观结论：✓AI应用&端侧确定性受益：训练/推理成本指数级下降，且大模型蒸馏出的小模型效果提升显著；AI应用的迭代成本下降&端侧模型可用性明显提高，泛AI应用/端侧AI全面受益（to-C可能略好于to-B）。建议关注：应用—金山办公、美图、焦点科技、科大讯飞、万兴科技、金蝶国际、用友软件；端侧——机器人（速腾聚创）、智联汽车（地平线机器人、知行汽车科技、禾赛科技、德赛西威、均胜电子、舜宇光学科技、比亚迪电子等）、手机（中科创达、虹软科技）、PC（联想）、AI玩具&模组&芯片厂商（乐鑫科技、移远通信、广和通、美格智能、瑞芯微、全志科技等）。✓后发者将迅速收敛与行业领先者的差距：LLM发力相对晚的互联网大厂将收敛与LLM头部大厂之间的差距；映射到智联汽车领域，传统车企或许也有可能加速收敛与特斯拉、华为、小鹏等头部智驾厂商的差距。建议关注：小米系（小米、金山办公、金山软件、金山云）、京东、快手等；传统自主品牌车企（比亚迪、吉利）。✓ASIC & 国产芯片生态：“算法+硬件+系统架构”协同优化确实能大幅提升硬件利用率，这说明通用GPU/CPU头部厂商垄断地位并不稳固，国产GPU/CPU随着市占提升/生态改善，将会更加繁荣。建议关注：海光信息、中科曙光、寒武纪、浪潮信息；✓传统非AI公司：“数据平权+技术平权”背景下，商业竞争的核心可能又会从AI切换为公司主业的过往竞争力，传统非AI公司估值可能重塑；建议关注：各行业头部公司。风险提示：行业竞争加剧风险、人工智能配套及监管政策不及预期、行业公司产品落地及市场拓展不及预期。产业影响：看好AI应用/端侧AI/to-C AI/传统非AI公司受益技术/数据平权及AI降本资料来源：DeepSeek-V3 Technical Report、DeepSeek官网、OpenAI官网、方正证券研究所DeepSeek V3：大幅降低训练成本&推理成本，对标GPT-4o的性能+远低于4o的训练/推理成本完成降秩且含有位置信息的KMLA：减少推理过程中对KV矩阵的重复计算引入latent C降秩Q/K/V；通过RoPE做位置编码DeepSeek MoE：减少训练过程的算力消耗Share-Expert每次都会引用专职Expert根据输入选top K个➢ 大幅降低训练成本：Pre-Training（每万亿token只需要180k H800 GPU hours）总共14.7T的tokens用2048块H800训练了3.7天；整个Pre阶段只花了2664K GPU hours）；假设2美元/小时H800租赁价格算，仅花费5.576M美元（不包括与架构、算法或数据的先前研究、消融实验相关的成本）；4o的训练成本预计是亿美金级别。➢ 大幅降低推理成本：DS V3针对重复问题（不需要重新计算，可直接调用结果）输入成本为0.014$/1M tokens，非重复任务为0.14$/1M tokens；output价格为0.28$/1M tokens（以上成本GPT-4o分别为1.25$/2.5$/10$），推理成本是4o的1/10以内。图表1：DeepSeek V3整体算法架构图表2：DeepSeek V3在主流测试集上的表现对标4o图表3：DeepSeek V3极低的训练成本DeepSeek V3核心创新点：MLA（Multi-head Latent Attention)——压降推理成本➢ 传统decode模型存在KV矩阵的冗余计算：由于模型将上一个输出的tokens作为下一次输出的输入，那在计算过程中就存在冗余的KV矩阵计算；举例来说：比如input“中国的首都”，模型输出是“北京”；在图表4的第一步中，仅需使用“首都”的注意力表示，即可预测得到“是”，但模型仍然会并行计算出“中国”，“的”这两个token的注意力表示。后续几步也类似，涉及到的冗余计算随着文本长度的延伸会原来越多。主流解决思路是KV-Cache，“用空间换时间”把前序已经计算过的KV矩阵保存在缓存中，后续直接concatenate到新的KV上，不再重复计算；KV-Cache的问题是需要牺牲大量GPU内存。➢ MLA通过降秩KV矩阵，减少显存消耗：DeepSeek（下文用DS指代）在关于V2的论文中比较了几种KV-Cache的方法：MHA（每个Query对应单独的Value与Key，全部缓存）、GQA（两个Query对应缓存一组KV）、MQA（所有Query都对应单一的KV）；DS提出MLA，对所有KV进行压缩，把KV降秩压缩成latent KV，后续只要缓存低秩的latent KV（C矩阵，可以通过参数矩阵还原为原KV）；DS评估发现较之其他几种方式，MLA对显存的消耗比较小，且降秩后的KV可用性强。图表4：decode模型存在KV矩阵的冗余计算图表5：DeepSeek提出MLA减少KV矩阵的重复计算&降低显存消耗图表6：KV-C