计算机行业大模型系列报告(二)：Scaling Law启示录

计算机 / 行业专题报告 / 2025.02.21 请阅读最后一页的重要声明！ 大模型系列报告（二）：Scaling Law 启示录 证券研究报告 投资评级:看好(维持) 最近 12 月市场表现 分析师 杨烨 SAC 证书编号：S0160522050001 yangye01@ctsec.com 相关报告 1. 《DeepSeek 或全面加速智能驾驶产业发展》 2025-02-15 2. 《春节影响销量承压，多家车企接入DeepSeek》 2025-02-13 3. 《s1 和 LIMO 带来的产业启示》 2025-02-08 核心观点 ❖ Scaling Law：实验科学的产物。Scaling Law 指的是大语言模型（LLM）的最终性能主要与计算量、模型参数量和训练数据量的规模相关，而与模型的具体结构（如层数、深度或宽度）基本无关。随着模型规模、数据量和计算资源的增加，模型的性能会相应提升，并且这种提升呈幂律关系。Scaling Law是实验科学的产物。2022 年 11 月，ChatGPT 的亮相震惊了业界，标志着大模型的重大突破，Scaling Law 并成为进一步扩展模型规模的核心指导思想。业界普遍认为，只要能够提供更大规模的参数、更多的数据和更强大的计算能力，模型的能力将持续提升，最终可能接近或实现通用人工智能（AGI）。 ❖ Scaling Law 面临的挑战：高质量数据和算法创新。当前的数据资源正面临枯竭的挑战，Transformer 架构也未能完全表达人脑的思考机制。当前 AI的局限性不仅在于数据不足，还在于其学习效率的低下。真正的智能不仅仅是数据量的堆积，更在于对信息的压缩和提炼，类似于通过总结第一性原理的方式获取更深层次的智能。 ❖ Scaling Law 的新范式探索，向后训练、推理阶段转移：当前业界所经历的“放缓”是 LLM Scaling Law 中一个预期的部分。我们需要对 Scaling Law树立正确的认知，它存在自然衰减，我们对 LLM 能力的期望存在较高方差，以及大规模跨学科的工程化尝试需要时间。在对新范式的不断探索下，Scaling Law 向后训练、推理阶段转移，研究发现强化学习（RL）与测试时间（Test time）也存在 Scaling Law。DeepSeek-R1-Zero 在技术路线上实现了突破性创新，成为首个完全摒弃监督微调环节、完全依赖强化学习训练的大语言模型，证明了无监督或弱监督学习方法在提升模型推理能力方面的巨大潜力。李飞飞团队以低于 50 美元的训练成本开发出的高性能 AI 推理模型 s1-32B 和上海交大团队提出的 LIMO 等研究不仅揭示了高效能、低成本开发路径的可能性，同时也指出了 LLM Scaling Law 的关键方向之一，即高质量数据集与强大的基座模型。在这一框架下，研究的重点从单纯追求更大规模的数据和计算资源转向优化数据质量和挖掘现有模型的潜在能力。 ❖ What will we scale next？任何新范式最终都会达到瓶颈或边际放缓，因此，当前的方向应当是在瓶颈到来之前，穷尽现有的 Scaling 方向，同时寻找新的Scaling Law 环节。借用 Cameron R. Wolfe, PhD 的一句话，“Whether scaling will continue is not a question. The true question is what we will scale next”。 ❖ 投资建议：见正文。 ❖ 风险提示：技术迭代不及预期的风险；商业化落地不及预期的风险；政策支 持不及预期风险；全球宏观经济风险。 -18%-4%11%25%40%54%计算机沪深300上证指数 谨请参阅尾页重要声明及财通证券股票和行业评级标准 2 行业专题报告/证券研究报告 1 Scaling Law：实验科学的产物 .............................................................................................................. 4 2 Scaling Law 面临的挑战：高质量数据和算法创新 ............................................................................. 6 2.1 高质量数据面临枯竭 .......................................................................................................................... 6 2.2 Transformer 架构未能完全表达人脑的思考机制 ........................................................................... 7 3 Scaling Law 的新范式探索 ..................................................................................................................... 8 3.1 正确的认识 Scaling Law：边际放缓是合理的预期 ........................................................................ 8 3.2 向后训练、推理阶段转移的 Scaling Law ........................................................................................ 9 3.3 全球头部 AI 团队的 Scaling Law 新范式探索 ............................................................................... 10 3.3.1 DeepSeek 引领国产开源模型工程化探索 ...................................................................................... 11 3.3.2 大模型推理能力蒸馏到小模型的潜力 ........................................................................................ 11 3.3.3 高质量数据集激活基座模型，的推理能力 ................................................................................ 12 4 What will we scale next？ .........