算力专题研究二：从训练到推理：算力芯片需求的华丽转身

行业研究行业专题报告证券研究报告电子2024 年 08 月 24 日诚信专业发现价值1请务必阅读报告末页的声明电子从训练到推理：算力芯片需求的华丽转身——算力专题研究二投资要点：推理算力：算力芯片行业的第二重驱动力我们在此前外发报告《如何测算文本大模型 AI 训练端算力需求？》中，对未来三年 AI 训练卡需求持乐观态度。我们认为，推理侧算力对训练侧算力需求的承接不意味着训练需求的趋缓，而是为算力芯片行业贡献第二重驱动力。当前推理算力市场已然兴起，24 年 AI推理需求成为焦点。据 Wind 转引英伟达 FY24Q4 业绩会纪要，公司2024 财年数据中心有 40%的收入来自推理业务。如何量化推理算力需求？与训练算力相比，推理侧是否具备更大的发展潜力？我们整理出AI 推理侧算力供给需求公式，并分类讨论公式中的核心参数变化趋势，以此给出我们的判断。Scaling Laws&长文本趋势：推理需求的核心驱动力根据 OpenAI《Scaling Laws for Neural Language Models》，并结合我们对于推理算力的理解，我们拆解出云端 AI 推理算力需求≈2×模型参数量×数据规模×峰值倍数。由 Scaling Laws 驱动的参数量爆发是训练&推理算力需求共同的影响因素；而对于推理需求，更为复杂的是对数据规模的量化。我们将数据规模（tokens）拆解为一段时间内用户对于大模型的访问量与单次访问产生的数据规模（tokens）的乘积，其中，单次访问产生的数据规模（tokens）可以进一步拆解为单次提问的问题与答案所包含的 token 数总和乘以单次访问提出的问题数。通过层层拆解，我们发现单次问答所包含的 token 数是模型中的重要影响因素，其或多或少会受到大模型上下文窗口（Context Window）的限制。而随着上下文窗口瓶颈的快速突破，长文本趋势成为主流，有望驱动推理算力需求再上新台阶。结论：我们首先根据前述逻辑测算得到 AI 大模型推理所需要的计算量，随后通过单 GPU 算力供给能力、算力利用率等数值的假设，逐步倒推得到 GPU 需求数量。若以英伟达当代&前代 GPU 卡供给各占 50%计算，我们认为 2024-2026 年 OpenAI 云端 AI 推理 GPU 合计需求量为148/559/1341 万张。建议关注- 算力芯片：寒武纪 海光信息 龙芯中科- 服务器产业链：工业富联 沪电股份 深南电路 胜宏科技风险提示AI 需求不及预期风险、Scaling Law 失效风险、长文本趋势发展不及预期风险、GPU 技术升级不及预期的风险、测算模型假设存在偏差风险。强于大市（维持评级）一年内行业相对大盘走势团队成员分析师： 陈海进(S0210524060003)chj30590@hfzq.com.cn分析师： 徐巡(S0210524060004)xx30511@hfzq.com.cn联系人： 李雅文(S0210124040076)lyw30508@hfzq.com.cn相关报告1、AMD 宣布收购服务器供应商，英伟达强力加持“黑神话”游戏体验-算力周跟踪——2024.08.222、苹果领军 AI 端侧创新，消费电子长期量价上行空间打开——2024.08.213、20240818 周报：关注折叠屏手机形态演进及新机发布——2024.08.19华福证券华福证券诚信专业发现价值2请务必阅读报告末页的声明行业专题报告 | 电子正文目录1 如何测算文本大模型 AI 推理端算力需求？.............................................................32 Scaling Laws&长文本趋势：推理需求的核心驱动力..............................................42.1 关于模型参数量：Scaling Laws 仍为核心.............................................................42.2 关于数据规模（tokens）：长文本趋势已确立.......................................................53 文本大模型云端 AI 推理对 GPU 的需求量如何求解？..........................................84 风险提示......................................................................................................................10图表目录图表 1： 英伟达 FY2024 数据中心推理与训练占比...................................................3图表 2： 中国人工智能服务器负载及预测..................................................................3图表 3： 文本大模型云端 AI 推理算力供给需求公式............................................... 3图表 4： 云端 AI 推理需求公式拆解............................................................................4图表 5： 大模型训练的 Scaling Law............................................................................ 4图表 6： 海外主流 AI 大模型训练侧算力供给需求情况........................................... 5图表 7： 国内主流 AI 大模型训练侧算力供给需求情况........................................... 5图表 8： 云端 AI 推理需求公式进一步拆解................................................................5图表 9： 文本大模型网站访问量周度数据（单位：万次）......................................6图表 10： 文本大模型网站访问量周度数据（单位：万次）....................................6图表 11： 图片大模型网站访问量周度数据（单位：万次）....................................6图表 12： 视频大模型网站访问量周度数据（单位：万次）....................................6图表 13： OpenAI Platform Tokenizer..........................................