AI行业跟踪报告第26期：HBM产业链和先进封装产业链梳理

证券研究报告 HBM产业链和先进封装产业链梳理 2023年12月16日 作者： 刘凯 执业证书编号：S0930517100002 于文龙 执业证书编号：S0930522100002 — — A I 行 业 跟 踪 报 告 第 2 6 期 请务必参阅正文之后的重要声明 目录 2 1、英伟达发布H200，HBM3e是核心变化 2、HBM需求高速成长，龙头海力士MF-MUF技术是核心工艺 3、先进封装大势所趋，CoWoS是产业链瓶颈 4、投资建议：关注HBM供应链与先进封装供应链投资机会 5、风险提示 请务必参阅正文之后的重要声明 3 1、英伟达发布最新H200 GPU  根据芯智讯信息，英伟达（Nvidia）于北美时间2023年11月13日上午在 “Supercomputing 23”会议上正式发布了全新的H200 GPU，以及更新后的GH200 产品线。  H200依然是建立在现有的 Hopper H100 架构之上，但增加了更多高带宽内存（HBM3e），从而更好地处理开发和实施人工智能所需的大型数据集，使得运行大模型的综合性能相比前代H100提升了60%到90%。而更新后的GH200，也将为下一代 AI 超级计算机提供动力。 图表1：英伟达全新H200 GPU 资料来源：芯智讯 请务必参阅正文之后的重要声明 4 1、英伟达发布最新H200 GPU：HBM容量大幅提升 图表3：英伟达H200与H100比较 资料来源：中国电子报 图表2：英伟达生态日益完善 资料来源：英伟达公开路演PPT《ndr_presentation_oct_2023_final》  对比H200与H100的规格，H200主要负责计算能力的核心单元部分规格并没有改变，算力规模完全一致，所带来的提升只是显存容量从80GB提高到了141GB，显存的规格从原本的HBM3升级到了HBM3e。 请务必参阅正文之后的重要声明 1、英伟达发布最新H200 GPU：推理性能显著提升 5 图表4：英伟达H200与H100的大模型应用性能比较 资料来源：英伟达、镁客网、网易新闻 图表5：英伟达H200和H100的成本和能耗比较 资料来源：英伟达 、镁客网、网易新闻  由于H200本身算力部分并没有变化，因此换用H200并不会对AI大模型的训练速度产生更好的影响，以训练175B大小的GPT-3举例，同规模的H200大概只比H100快10%左右。  H200主要的提升之处在于"推理”：推理对于算力的需求并不高，限制反而在于单芯片的显存大小以及显存带宽，如果应用到多GPU的互联，那么信息通信的带宽反而会不够。即便如NV Link提供的900GB/s的数据通信速度，也无法媲美单卡内部超过3TB/s的速度，更不用说换了HBM3e显存后高达4.8TB/s的性能。更大的单卡显存容量也能有效减少跨卡访问的次数，算是一种变相的效率提升。  买的越多，省得越多。随着当前AI大语言模型逐步迈向应用化，计算任务的重心已经由早期的训练模型转变为应用端的推理行为。而H200对比H100的推理能耗直接减半，极大降低了使用成本。 请务必参阅正文之后的重要声明 6 1、英伟达发布最新H200 GPU 图表6：英伟达GPU产品路线图 资料来源：英伟达公开路演PPT《ndr_presentation_oct_2023_final》 请务必参阅正文之后的重要声明 7 1、英伟达发布最新H200 GPU：HBM3e是重中之重 图表8：英伟达H200参数 资料来源：英伟达、量子位、新浪微博 图表7：英伟达各款GPU在GPT-3大模型的运行比较 资料来源：英伟达、量子位、新浪微博  H200的141GB内存，与H100的80GB相比直接提升76%。作为首款搭载HBM3e内存的GPU，内存带宽也从3.35TB/s提升至4.8TB/s，提升43%。在HBM3e加持下，H200让Llama-70B推理性能几乎翻倍，运行GPT3-175B也能提高60%。  H200与H100完全兼容，意味着将H200添加到已有系统中不需要做任何调整。  141GB内存的原因：AnandTech分析HBM3e内存本身物理容量144GB，由6个24GB的堆栈组成。出于量产原因，英伟达保留了一小部分作为冗余，以提高良品率。  H200预计在2024年第2季度上市，但H200只存续半年。在2024年的第4季度，基于下一代Blackwell架构的B100也将问世。 请务必参阅正文之后的重要声明 8 1、英伟达发布最新H200 GPU：HBM3e是重中之重 图表9：英伟达H100成本结构 资料来源：The Information Network、LatePost  英伟达是设计公司，并不直接生产芯片，它需要请台积电生产芯片，从其他公司采购高性能内存，再交给供应商组装成一张卡。一颗 H100 的成本约 3000 美元，而英伟达卖 30000 多美元，翻十倍。  H200的141GB内存，与H100的80GB相比直接提升76%。作为首款搭载HBM3e内存的GPU，内存带宽也从3.35TB/s提升至4.8TB/s，提升43%。在HBM3e加持下，H200让Llama-70B推理性能几乎翻倍，运行GPT3-175B也能提高60%。  英伟达向台积电下订单，用 4 纳米的芯片产线制造 GPU 芯片，平均每颗成本 155 美元。  英伟达从 SK 海力士（未来可能有三星、美光）采购六颗 HBM3（High Bandwidth Memory，高带宽内存）芯片，成本大概 2000 美元。这是因为 GPU 处理大模型任务，还需要搭载比手机、电脑更大、数据传输速度更快的内存，才能保证效率。  台积电芯片产线生产出来的 GPU 和英伟达采购的 HBM3 芯片，一起送到台积电 CoWoS 封装产线，以性能折损最小的方式加工成 H100，成本大约 723 美元。  H100 被送到其他英伟达的供应商处，4 颗或 8 颗组装在一起，加上数据传输单元，做成服务器。 请务必参阅正文之后的重要声明 目录 9 1、英伟达发布H200，HBM3e是核心变化 2、HBM需求高速成长，龙头海力士MF-MUF技术是核心工艺 3、先进封装大势所趋，CoWoS是产业链瓶颈 4、投资建议：关注HBM供应链与先进封装供应链投资机会 5、风险提示 请务必参阅正文之后的重要声明 10 2、HBM市场需求高速成长  2023年11月14日，SK 海力士副会长兼联席 CEO 朴正浩透露，2023年海力士高带宽内存（HBM）出货量大幅增加，预计到 2030 年将达到每年1亿颗。 图表10：AI服务器将驱动DRAM需求大增 资料来源：海力士公开路演PPT《hynix Tech Seminar（2023）》 请务必参阅正文之后的重要声明 11 2、海力士在HBM3和DDR5全球市场份额第一名 图表11：海力士在HBM3和DDR5全球市场份额第一名 资料来源：海力士公开路演PPT《hynix Tech Seminar（2023）》 请务必参阅正文之后的重要声明 12 2、 内存的不断进化推升HBM