AI行业算力跟踪深度(三)：从英伟达的视角看算力互连板块成长性，Scale Up网络的“Scaling Law”存在吗？

AI算力跟踪深度（三）：从英伟达的视角看算力互连板块成长性——Scale Up 网络的“Scaling Law”存在吗？行业研究报告请务必阅读正文之后的免责声明部分证券分析师 ：张良卫执业证书编号：S0600516070001联系邮箱：zhanglw@dwzq.com.cn联系电话：021-601997932025年8月20日证券分析师：李博韦执业证书编号：S0600123070070联系邮箱：libw@dwzq.com.cn核心观点我们认为Scale Up网络存在Scaling Law，Scale Up柜间第二层网络会逐渐出现，光+AEC连接多出与芯片1:9的配比需求，交换机多出与芯片4:1的配比需求，相较Scale Out网络均倍增：1.英伟达持续扩大Scale Up规模：英伟达正通过两大路径持续扩大Scale Up网络规模。2）提升单卡带宽：NVLink持续迭代，NVLink 5.0单卡带宽达7200Gb/s；2）扩大超节点规模：Scale Up超节点规模不断扩大，从H100 NVL8到GH200再到GB200等，NVL72等机柜方案可以提高训推效率，但并不是Scale Up的上限， NVL72等机柜后续会作为最小的节点（Node）存在，像积木一样在柜与柜之间进一步拼出更大的Scale Up超节点，届时需要光连接等进行通信。2.为什么需要Scale Up网络：“内存墙”问题和AI计算范式演进推动Scale Up网络升级。 “内存墙”：单一大模型的参数量与单卡显存的差距（即模型内存墙）、单卡算力与单卡显存间的差距（即算力内存墙）均逐代放大，通过Scale Up将显存池化。计算范式：为了提升计算效率，在进行数据并行、流水线并行的同时也采用张量并行与专家并行，后者对通信频次、容量的要求都跨越数量级。1核心观点3.为什么需要更大的Scale Up网络：TCO、用户体验、模型能力拓展。随着单用户每秒消耗的Token数（Tokens Per Second，TPS）提高，包括NVL72在内的现有服务器单卡性能都会逐渐坍缩，在用户体验持续提升、模型能力拓展的趋势下，单用户TPS必然增长，采用更大规模的Scale Out能提高单卡有效性能，TCO也更具经济性。我们认为Scale Up规模与预期单用户TPS、单卡实际性能间存在Scaling Law，前者会随后者非线性增长。4.怎么组建更大的Scale Up网络：网络结构层面，在柜间搭建第二层Scale Up交换机；端口连接层面，光与AEC有望在第二层网络中并存，按照最新的NVLink与IB标准测算，1颗GPU需要9个额外的等效1.6T连接，为Scale Out网络的3-4.5倍，每4颗GPU需要额外1台交换机，为Scale Out网络的7.5-12倍。投资建议：我们认为Scale Up需求有望持续拓展，带来倍增的网络连接需求，光连接、AEC、交换机等环节都有望深度受益，相关标的——光互连：中际旭创，新易盛，天孚通信，光库科技，长芯博创，仕佳光子，源杰科技，长光华芯，太辰光；铜互连：中际旭创，兆龙互连；交换机：锐捷网络，盛科通信，Astera Labs（美股，后同），博通，天弘科技，Arista风险提示：算力互连需求不及预期；客户处份额不及预期；产品研发落地不及预期；行业竞争加剧。2我们认为后续算力互连需求发展存在乘数效应：•资本开支结构优化，算力芯片增长速度高于资本开支增速◼ 单芯片带宽提升，算力互连需求增速高于芯片需求增速◼ 芯片需求 =CapEx ×算力芯片投资在CapEx占比 ×芯片投资性价◼ 算力互连需求 =芯片需求 ×单芯片带宽资料来源:东吴证券研究所AI算力互连需求的“乘数效应”（纵轴取对数）3核心观点目录4英伟达持续扩大Scale Up规模为什么需要Scale Up网络为什么需要更大的Scale Up网络怎么组建更大的Scale Up网络投资建议及风险提示1. 英伟达持续扩大Scale Up规模51、NVL8到GH200 NVL2562、NVL72、1443、后面铜和pcb不行nvl72 是做推理的，但不是做推理的终极形态为什么 gh 不行现在可以全光当时推理各种差异不大，scale up 优势未充分体现为什么成反比液冷 电源 正交背板价值量跃升都来自 up6资料来源：英伟达，东吴证券研究所1.1 英伟达持续尝试扩大Scale Up规模VR NVL144(72GPU)GB系列 NVL72GH200 NVL256H100 NVL8•英伟达从单卡带宽与超节点规模两个路径升级Scale Up；•NVLink跟随每一代GPU架构进行升级，目前最新用于B系列GPU的NVLink 5.0可支持单卡7.2Tb的带宽，相较用于H100的NVLink 4.0带宽翻倍；•Scale Up超节点规模在H100之后经历了GH200、GB200等方案，从NVL8拓展至NVL72甚至更高，这个扩展路径是复杂但必需的。版本年份GPU 架构每链接带宽（Gb/s）链接数总带宽（Gb/s）1.02016Pascal16046402.02017Volta200612003.02020Ampere2001224004.02022Hopper4001836005.02024Blackwell800187200历代NVLinkNVL576(144GPU)7资料来源：英伟达东吴证券研究所1.2 H100 NVL8到GH200 NVL 256：前瞻但过于激进的一步8台GH200 NVL32拓展为NVL256•英伟达在2023年基于H200发布了GH200 NVL256超节点，后者由32个计算Chassis组成，每个Chassis由8张GH200组成；•Chassis内8张GH200通过L1 NVSwitch连接，32个Chassis间通过L2 NVSwitch连接；•L2 NVSwitch通过光连接，每张GPU配套8个800G光模块，大约每7张GPU对应一台L2 NVSwitch；•单张GPU配套Scale Up的通信硬件成本较高与GPU为同一数量级，且训练、推理性能提升尚不明显，GH200 NVL 256未实现大范围推广，英伟达后续推出成本更低的GB200 NVL72的前身GH200 NVL32。初代GH200 NVL256网络拓扑图初代GH200 NVL32机柜8资料来源：英伟达，东吴证券研究所1.3 GB与VR机柜：有效但并非Scale Up最终形态•GB与VR的机柜方案已经讨论了很多，这里主要阐述我们对这类机柜产品的判断：◼ 机柜方案延续了英伟达在GH200 NVL256上的思路，即除了提升NVLink带宽外，还要提高Scale Up超节点的规模，升级为机柜方案是为了增加GPU密度，节省物理空间的同时缩小GPU间连接距离，以使用相比于光连接成本更低的PCB、铜连接；◼ 铜连接、PCB、液冷、电源等都随着GPU密度提高实现单张GPU对应价值量的跃升；◼ 机柜方案实现的NVL72、NVL144等Scale Up确实可以提高训练、推理效率，但并不是英伟达Scale Up的上限， NVL72、NVL144等机柜方案后续会作为最小的Scale Up节点（Node）存在，