计算机行业研究周报：英特尔发布高性价比Gaudi2加速卡GPT-4详细参数分析

申港证券股份有限公司证券研究报告 敬请参阅最后一页免责声明 证券研究报告 行业研究 行业研究周报 英特尔发布高性价比 Gaudi2 加速卡 GPT-4 详细参数分析 ——计算机行业研究周报 投资摘要： 本周周报我们介绍 GPT-4 详细参数及英特尔发布 Gaudi2 加速器相关内容，对大模型及 GPU 生态进行探讨和展望。 与国内大模型产品相比，chatGPT 效果依然最优。根据 InfoQ 数据显示，chatGPT 在大模型产品测评中分数最高，综合得分率为 77.13%，国内大模型产品文心一言正迅速追赶，在国内大语言模型中位列第一。 在这一背景下，市场普遍认为 GPT-4 的模型架构、基础设施、参数设计等具有一定程度的领先。由于官方并未公布 GPT-4 的详细参数，业内人士对 GPT-4 的详细参数进行了推断.  参数量：GPT-4 的大小是 GPT-3 的 10 倍以上，包含 1.8 万亿个参数；  数据集：GPT-4 的训练数据集将多个 epoch 中的 token 计算在内包含约 13 万亿个 token；  训练成本：OpenAI 在 GPT-4 的训练中使用了大约 2.15e25 的 FLOPS，使用了约 25,000 个 A100 GPU，训练了 90 到 100 天，利用率（MFU）约为 32% 至 36%。假定云端的每个 A100 GPU 的成本大约为每小时 1 美元，那么单次训练的成本将达到约 6300 万美元，如果使用约 8192 个 H100 GPU 进行预训练，用时约为 55 天左右，成本为 2150 万美元，每个 H100 GPU 的计费标准为每小时 2 美元；  推理成本：GPT-4 的推理成本是 1750 亿参数模型的 3 倍，这主要是因为 GPT-4 的集群规模更大，并且利用率很低。根据测算，在用 128 个 A100 GPU 进行推理的情况下，8k 版本 GPT-4 推理的成本为每 1,000 个 token 0.0049 美分。如果使用 128 个 H100 GPU 进行推理，同样的 8k 版本 GPT-4 推理成本为每 1,000 个 token 0.0021 美分； 7 月 11 日，Intel 面向国内提出了新的解决方案，推出了第二代 Gaudi 深度学习加速器 Habana Gaudi2。 在大语言模型 GPT-3 的评测上，Gaudi2 也展示了其较优的性能。它是仅有的两个提交了 GPT-3 LLM 训练性能结果的解决方案之一（另一个是英伟达 H100）。在 GPT-3 的训练上，英特尔使用 384 块 Gaudi 2 加速器使用 311 分钟训练完成，在 GPT-3 模型上从 256 个加速器到 384 个加速器实现了近线性 95% 的扩展。 目前，已有部分厂商推出了基于英特尔 AI 加速卡的产品。在发布活动中，英特尔宣布 Gaudi2 首先将通过浪潮信息向国内客户提供，打造并发售基于 Gaudi2深度学习加速器的浪潮信息 AI 服务器 NF5698G7。其服务器集成了 8 块 Gaudi2 加速卡 HL-225B，还包含两颗第四代英特尔至强可扩展处理器。 投资策略： 国内大模型在实际效果上已经逐渐靠近 GPT-4，未来随着大模型在各领域的商业化落地，国内大模型将加速创新和迭代，推动数字经济发展，大模型方面建议关注科大讯飞、360。 目前，Gaudi2 加速器发布后，英特尔正与浪潮信息合作，开发并发售基于Gaudi2 深度学习加速器的 AI 服务器 NF5698G7，同时新华三正与英特尔合作，开发适合大模型训练和推理的高性能 AI 服务器。 我们认为随着大语言模型及生成式 AI 的需求扩张，市场对高性价比加速器的需求也更加迫切，Intel 推出的 Gaudi2 同时具备性能与性价比的领先优势，未来将具备较大的发展空间。 评级 增持（维持） 2023 年 07 月 16 日 曹旭特 分析师 SAC 执业证书编号：S1660519040001 行业基本资料 股票家数 265 行业平均市盈率 106.3 市场平均市盈率 11.9 行业表现走势图 资料来源：iFind，申港证券研究所 相关报告 1、《计算机行业研究周报：世界人工智能大会顺利举行 大模型及应用继续加速推进》2023-07-10 2、《计算机行业研究周报：AI 大模型助力医疗信息化创新应用涌现》2023-07-03 3、《计算机行业研究周报：具身智能 人工智能的下一个方向》2023-06-25 -30%-20%-10%0%10%20%30%40%50%60%计算机沪深300计算机行业研究周报 敬请参阅最后一页免责声明 2 / 11 证券研究报告 市场回顾：  本周申万计算机指数整体表现平稳，上涨 0.82%，在申万一级行业中排名13/31。  本周申万计算机行业指数前十大权重股恒生电子跌幅较大、浪潮信息、用友网络、紫光股份略有下跌，大华股份、海康威视、中科曙光涨幅较大。  本周计算机板块涨幅前十大个股：华是科技、银信科技、航天智装、汇金股份、中孚信息、天迈科技、中新赛克、三维天地、彩讯股份及恒为科技。  申万计算机行业指数当前滚动市盈率为 69.16，近五年分位值 81.95%。 风险提示：政策落地不及预期风险、技术落地不及预期、宏观经济波动风险等。 计算机行业研究周报 敬请参阅最后一页免责声明 3 / 11 证券研究报告 内容目录 1. 每周一谈：英特尔发布高性价比 Gaudi2 加速卡 GPT-4 详细参数分析 ............................................................................... 4 1.1 投资策略 ................................................................................................................................................................... 7 2. 板块回顾 .............................................................................................................................................................................. 7 3. 本周要闻 .............................................................................................................................................................................. 8 3.1 行业新闻 .........................