计算机行业专题研究：从ChatGPT看算力产业机遇

免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 1 证券研究报告 计算机 从 ChatGPT 看算力产业机遇 华泰研究 计算机 增持 (维持) 研究员 谢春生 SAC No. S0570519080006 SFC No. BQZ938 xiechunsheng@htsc.com +(86) 21 2987 2036 联系人 林海亮 SAC No. S0570122060076 linhailiang@htsc.com +(86) 21 2897 2228 行业走势图 资料来源：Wind，华泰研究 2023 年 2 月 13 日│中国内地 专题研究 大模型训练热潮下，算力基础设施有望迎来产业机遇 ChatGPT 发布之后，引发了全球范围的关注和讨论，国内各大厂商相继宣布 GPT 模型开发计划。我们认为，以 GPT 模型为代表的 AI 大模型训练，需要消耗大量算力资源，随着国产大模型开发陆续进入预训练阶段，算力需求持续释放或将带动算力基础设施产业迎来增长新周期。产业链相关公司包括：1、算力芯片厂商：景嘉微、寒武纪、海光信息、龙芯中科、中国长城等；2、服务器厂商：浪潮信息、中科曙光等；3、IDC 服务商：宝信软件等。 ChatGPT：大模型训练带来高算力需求 训练 ChatGPT 需要使用大量算力资源。据微软官网，微软 Azure 为 OpenAI开发的超级计算机是一个单一系统，具有超过 28.5 万个 CPU 核心、1 万个GPU 和 400 GB/s 的 GPU 服务器网络传输带宽。据英伟达，使用单个 Tesla架构的 V100 GPU 对 1746 亿参数的 GPT-3 模型进行一次训练，需要用 288年时间。此外，算力资源的大量消耗，必然伴随着算力成本的上升，据Lambda，使用训练一次 1746 亿参数的 GPT-3 模型所需花费的算力成本超过 460 万美元。我们认为，未来拥有更丰富算力资源的模型开发者，或将能够训练出更优秀的 AI 模型，算力霸权时代或将开启。 需求场景：预训练+日常运营+Finetune 具体来看，AI 大模型对于算力资源的需求主要体现在以下三类场景：1）模型预训练：ChatGPT 采用预训练语言模型，核心思想是在利用标注数据之前，先利用无标注的数据训练模型。据我们测算，训练一次 ChatGPT 模型（13 亿参数）需要的算力约 27.5PFlop/s-day；2）日常运营：用户交互带来的数据处理需求同样也是一笔不小的算力开支，我们测算得 ChatGPT 单月运营需要算力约 4874.4PFlop/s-day，对应成本约 616 万美元；3）Finetune：ChatGPT 模型需要不断进行 Finetune 模型调优，对模型进行大规模或小规模的迭代训练，产生相应算力需求。 算力芯片+服务器+数据中心，核心环节有望率先受益 我们认为，随着国内厂商相继布局 ChatGPT 类似模型，算力需求或将持续释放，供给端核心环节或将率先受益：1）算力芯片：GPU 采用了数量众多的计算单元和超长的流水线，架构更适合进行大吞吐量的 AI 并行计算；2）服务器：ChatGPT 模型训练涉及大量向量及张量运算，AI 服务器具备运算效率优势，大模型训练有望带动 AI 服务器采购需求放量；3）数据中心：IDC算力服务是承接 AI 计算需求的直接形式，随着百度、京东等互联网厂商相继布局 ChatGPT 类似产品，核心城市 IDC 算力缺口或将加大。 关注 AI 景气周期下，算力基础设施产业机遇 我们认为，国产厂商未来或将训练出自己的 GPT 模型，带动算力设施产业迎来景气周期。相关公司包括：1、算力芯片厂商：景嘉微、寒武纪、海光信息、龙芯中科、中国长城等；2、服务器厂商：浪潮信息、中科曙光等；3、IDC 服务商：宝信软件等。 风险提示：宏观经济波动；下游需求不及预期。本研报中涉及到的公司、个股内容系对其客观公开信息的整理，并不代表本研究团队对该公司、该股票的推荐或覆盖。 (30)(21)(12)(3)6Feb-22Jun-22Oct-22Feb-23(%)计算机沪深300仅供内部参考，请勿外传 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 2 计算机 ChatGPT 有望带动算力需求 需求端：大模型训练带来高算力需求 大算力消耗带来训练成本上升。训练 ChatGPT 需要使用大量算力资源。据微软官网，微软Azure 为 OpenAI 开发的超级计算机是一个单一系统，具有超过 28.5 万个 CPU 核心、1 万个 GPU 和 400 GB/s 的 GPU 服务器网络传输带宽。据英伟达，使用单个 Tesla 架构的 V100 GPU 对 1746 亿参数的 GPT-3 模型进行一次训练，需要用 288 年时间。此外，算力资源的大量消耗，必然伴随着算力成本的上升，据 Lambda，使用训练一次 1746 亿参数的 GPT-3模型所需花费的算力成本超过 460 万美元。虽然 GPT-3.5 在模型参数量上有了明显下降，但考虑到 GPT-3、GPT-3.5 均为 OpenAI 独家拥有，其他厂商复刻难度较高，巨量参数或仍将是模型开发过程的必经之路，我们预计未来大模型开发的算力成本仍将较高。 模型算力需求增速超越芯片性能增速，算力霸权时代或将到来。据 OpenAI 测算，自 2012年以来，全球头部 AI 模型训练算力需求 3-4 个月翻一番，每年头部训练模型所需算力增长幅度高达 10 倍。而摩尔定律认为，芯片计算性能大约每 18-24 个月翻一番。因此，AI 训练模型算力需求增长与芯片计算性能增长之间的不匹配，或将带来对算力基础设施供给需求的快速增长。我们认为，考虑到算力对于 AI 模型训练效果的关键性作用，拥有更丰富算力资源的模型开发者，或将能够训练出更优秀的 AI 模型，算力霸权时代或将开启。 图表1： 大模型时代算力需求快速增长 资料来源：《COMPUTE TRENDS ACROSS THREE ERAS OF MACHINE LEARNING》，Jaime 等，2022、华泰研究 具体来看，AI 大模型对于算力资源的需求主要体现在以下三类场景： 1、模型预训练带来的算力需求 模型预训练过程是消耗算力的最主要场景。ChatGPT 采用预训练语言模型，核心思想是在利用标注数据之前，先利用无标注的数据，即纯文本数据训练模型，从而使模型能够学到一些潜在的跟标注无关的知识，最终在具体的任务上，预训练模型就可以利用大量的无标注数据知识。在 Transformer 的模型架构下，语言预训练过程可以根据上下文一次处理所有输入，实现大规模并行计算。通过堆叠多个解码模块，模型的层数规模也会随着提升，可承载的参数量同步增长。与之相对应的，模型训练所需要消耗的算力也就越大。 仅供内部参考，请勿外传 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 3 计算机 我们预计，训练一次 ChatGPT 模型需要的算力约 27.5PFlop/s-day。据 OpenAI 团