电子行业动态点评：AMD MI300，AI芯片十问十答

免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 1 证券研究报告 电子 AMD MI300：AI 芯片十问十答 华泰研究–海外科技 电子 增持 (维持) 研究员 何翩翩 SAC No. S0570523020002 SFC No. ASI353 purdyho@htsc.com +(852) 3658 6000 2023 年 6 月 11 日│美国 动态点评 AMD 财报后以 AI 为策略首位，市场聚焦 6 月 13 日发布会 我们在 5 月 18 日和 5 月 30 日分别推出了关于 AMD MI300 的研报后，我们希望在本报告中进一步深入探讨市场对于 AMD MI300 比较关心的问题，包括：在 AI 芯片中 CPU+GPU 架构的优势、CPU 架构的选择对比、3D Chiplet封装技术与统一内存架构的优势、数据传输的效率和扩展性、生态圈与兼容性、以及训练与推理所需的数据精度等。我们建议关注 AMD 将于加州时间2023 年 6 月 13 日早上 10 时（北京时间 6 月 15 日凌晨 1 时）举办的“AMD数据中心和人工智能技术首映式”，会上或将提供包括 MI300、Infinity Fabric v4、Bergamo 和 Genoa-X 等产品的更多细节。 MI300 与 GH200 同为 CPU+GPU 架构，此架构在 AI 芯片中的优势何在？ 虽然 MI300 是 AMD 首个此架构的数据中心产品，但 AMD 早在 2011 年发布的 PC 端 APU 就已是此架构。因此，AMD 具备较深厚的 know-how。我们认为此架构已成为 AI 芯片的趋势。鉴于 AI 的最终目标是模仿人类大脑操作，因此，AI 芯片也应仿生人脑结构，并顺应多模态模型的发展需求。类比人脑，CPU 更像左脑，负责对信息的逻辑处理，如串行运算、数字和算术、分析、整理等；而右脑更像 GPU，负责并行计算、创造性思维等。在不同模态推理时，CPU 与 GPU 也各有分工，如处理语音和文本时或更适合使用CPU；但在处理图像、视频等，需大规模并行运算，或更适宜由 GPU 负责。 MI300 与 GH200 的 CPU 架构、封装技术、统一内存和数据传输各有千秋 英伟达的 ARM 和 AMD 的 x86 CPU 在 AI 应用里各有优势。ARM 相比 x86能耗较低，在 AI 和云计算中或较合适，且在 CPU+GPU 架构里，CPU 或仅需发挥其部分功能，如发放指令等，因此 ARM 或已足够。而 x86 追求高性能和拥有丰富指令集，在 AI 推理也可跟 GPU 互补。MI300 使用 3D Chiplet封装技术，而 GH200 则使用 CoWoS（2.5D）封装。前者具有提高性能、降低延迟和功耗的优点。目前，台积电、英特尔、三星三大代工厂，以及封装厂如通微富电、日月光等也在积极部署。MI300 的统一内存可降低不同内存间来回复制、同步和转换数据所导致的编程复杂性。而 GH200 的 NVLink或受限于协议速率，但比 PCIe 5.0 快 7 倍。NVLink 也支持跨节点多 GPU间的数据访问与高速传输，可扩展性高。 CUDA 和 ROCm 生态圈对比，成色几何？ AMD ROCm 相比英伟达 CUDA 起步较晚。ROCm 虽能完全兼容 CUDA，为 AMD 提供了说服客户迁移的条件和理由，但兼容只属权宜之计，进一步建立 ROCm 生态圈才能攻破 CUDA 的护城河。我们认为目前 ROCm 的不足之处在于操作系统长期只支持 Linux，最近才登录 Windows；加上长期只支持高端 GPU，如 Radeon Pro 系列等，直到今年 4 月才扩展至一些消费级 GPU；另外，CUDA 在今年达 400 万以上的开发者，也是 ROCm 无法相比。但 AMD 目前也正积极拓展 ROCm 生态圈，包括支持 Windows 操作系统、在 AI 领域开拓更广泛的框架，如 MIOpen 和 MIVisionX，以及支持更多的软件，包括 TensorFlow、PyTorch 等。ROCm 在进一步通过 HIP 兼容 CUDA的同时，也与客户包括微软等合作重构自己的生态。 风险提示：AI 技术落地和推进不及预期、竞争格局越演越烈、中美关系升级。 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 2 电子 正文目录 AMD MI300 十问十答 ................................................................................................................................................... 3 Q1：AMD 的 CPU+GPU 架构是否肇始于 MI300？此架构在 AI 芯片中有何优势？ ............................................. 3 Q2：AMD MI300 中 CPU 为 x86 架构，而英伟达 GH200 中 CPU 则采用 ARM 架构，从 AI 角度如何对比两种CPU 架构？ ........................................................................................................................................................... 6 Q3：MI300 和 GH200 的封装方法有何区别？3D Chiplet 的封装方法有何好处？ ...................................................... 6 Q4：英伟达在 Grace Hopper 内为何使用 NVLink 而不使用 AMD MI300 的统一内存架构方案？NVLink 又有何优势和局限？ .......................................................................................................................................................... 10 Q5：NVLink 和 PCIe 有何区别？NVLink 在哪些方面可以替代 PCIe？ .............................................................. 12 Q6：英伟达 GH200 和 AMD MI300 会否受中美禁运影响？ .............................................................................. 14 Q7：AMD 的 ROCm 生态圈与英伟达的 CUDA 生态