超节点发展报告

联合编写单位协作单位中国电子技术标准化研究院 、GCC 全球计算联盟、国家信息中心010203040506072.13.14.15.15.25.34.22.23.24.1.14.2.14.1.24.2.24.2.32.33.32.4前言大模型对基础设施的挑战超节点的出现与演进超节点基础定义与特征超节点应用案例总结和展望：迈向未来计算的下一个十年参考文献通往通用人工智能之路：最新大模型发展动态070706162107162109182224261120221212131314141415全球产业的演进路线：从硬件聚合到系统构建技术特征支撑大模型创新及云服务场景加速人工智能科学计算，服务算法创新助力行业企业智能化升级系统特征AI 技术从单点能力突破迈向系统能力创新超节点技术产业生态发展格局基础特征：大带宽、低时延、内存统一编址超大规模扩展特征：多级缓存池化、资源灵活配比超高可靠灵活切分大模型计算基础设施的挑战小结小结CONTENTS目录超节点发展报告02当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 “规模定律”不断演进，从预训练扩展到覆盖预训练、后训练、逻辑推理的全流程，其参数与集群规模实现“双万” 跨越，行业模型落地需求专业化。传统的服务器集群架构在这场变革中瓶颈愈发明显。千亿级模型一次梯度同步产生的 TB 级数据让传统以太网带宽难以承受；同时，伴随算力规模扩大，万级处理器带来的故障常态化，对自动化运维与 RAS 能力提出了更高要求。在这样的背景下，超节点的出现成为了面向大模型未来发展的必然趋势。超节点并非简单的硬件堆砌，它的实现离不开基础技术、系统能力与可落地性的三方协同。基础技术是超节点的根基，其具备超高带宽互联、内存统一编址等技术特征，通过近乎无阻塞的高带宽互联，将数百上千个 AI 处理器编织为一个逻辑统一的高密度计算体，为高效计算提供了底层支撑。系统能力则是超节点高效运转的保障，它需要具备大规模、高可靠、多场景等系统特征。大规模的组网能力突破了单机扩展的硬件限制，为大规模算力聚合提供架构支撑；高可靠的运行特性化解了网络、计算、存储等子系统的故障风险，保障集群作业的连续性；多场景的适配能力则能通过精细化资源调度等机制，满足不同业务需求，最大化释放算力价值。本文系统性地提出并论证了 “超节点将成为 AI 时代的核心计算单元” 这一重要观点，清晰地呈现了超节点的基础定义与特征，包括技术层面的基础特征和扩展特征，以及系统层面的大规模、高可靠、多场景特征。同时，通过分析全球产业的演进路线、超节点稳定性的核心挑战以及技术产业生态发展格局，为产业界指明了超节点的发展方向。在未来计算的下一个十年，超节点无疑将成为推动 AI 技术发展的关键力量。这份发展报告为我们提供了宝贵的理论指导和实践参考，相信在产业界的共同努力下，超节点将不断成熟完善，为人工智能的持续突破和广泛应用奠定坚实的算力基础。中国工程院院士、清华大学计算机系教授 郑纬民序言 1超节点发展报告03大模型正以不可逆转之势为全球计算领域带来跨越式变革。从生成式 AI 到 Agentic AI 再到Physical AI，大模型持续提升解决复杂问题的能力，并向物理世界延伸。大模型技术及能力演进，驱动 AI 系统负载变化，需要一套系统架构满足未来发展需求，超节点成为 AI 基础建设的共识。超节点架构引领技术革新，重构计算能力边界。超节点架构依托高速互联技术，将大带宽的互联范围，从单台服务器扩展到整机柜以及跨机柜的大规模集群，超节点域内可达百 GB/s 级通信带宽、纳秒级时延、TB 级超大内存，实现集群能力跃迁。相较“服务器集群”，超节点代表的是弹性、池化、开放的系统能力：既能以极致吞吐支撑万亿参数训练，也能以低时延满足企业级大规模推理的刚性需求。昇腾 AI 坚持架构创新，开源开放，共建产业生态。昇腾 AI 经过 6 年快速发展，已成长为中国 AI 算力第二平面的坚实基础，并通过软硬件开源开放，建立生态兼容、共建共享的昇腾 AI 生态。在基础硬件层面，昇腾持续引领技术架构，打造领先产品，实现业界最大规模的 384 超节点产品，并在下一代将扩展至 8192，持续领先；在基础软件层面，通过一套架构满足不同代际产品的持续演进，同时秉承开源开放的策略，将核心计算架构 CANN、Mind 系列应用使能软件全面开源开放，同时结合对 PyTorch 等主流框架的全面兼容和体系化工具链，旨在最大限度地降低开发门槛，加速开发者和社区的融入。如今，昇腾 AI 的算力底座已支撑起互联网、金融、政务、制造等数十个行业的智能化转型，累计服务超过 10 万家企业客户。携手生态伙伴，共筑产业 AI 生产力。面向 AI 产业的广阔前景，我们将以技术创新为本，构建持续领先的产品及解决方案，并将能力开放出来，支持伙伴打造多样化产品，并为企业提供有竞争力的解决方案，覆盖越来越多的行业场景。我们将与客户、伙伴形成紧密协同的价值共同体，加速产业界的智能化升级与创新，将人工智能带入丰富的行业场景，让智能无所不及。华为公司董事、ICT BG CEO杨超斌序言 2超节点发展报告04我们正站在一个智能变革涌动的时代潮头。以大模型为代表的人工智能技术，成为驱动千行百业颠覆性变革的核心力量。大模型所展现出的涌现能力与通用潜能，正在重构人类对创新的想象边界，但同时也对底层智算基础设施提出更高要求和挑战：模型参数规模从千亿迈向万亿乃至更高，训练数据量呈指数级增长，传统松散耦合的集群架构已难以满足高效的计算需求，智算基础设施正开始新一轮的技术革新。在此背景下，超节点应运而生。它并非偶然的技术产品迭代，而是智算需求与系统创新深度共振的结果，具有划时代的重要意义。超节点超越简单的硬件集成，代表一种全新的构建哲学：以系统化、一体化的设计思维，将计算、存储、网络与运维管理深度融合，锻造出高性能、高效率、高可靠的单一逻辑实体。它标志着一个全新时代的开启——智算基础设施正从松散组合的算力堆叠阶段，迈入软硬协同、全局优化的超节点阶段，旨在有效破解超大规模 AI 训练与推理中所面临的扩展性瓶颈、效率损耗与能耗墙难题，为 AI 的持续创新提供坚实、高效、绿色的算力基座。为系统分析超节点技术的发展逻辑、技术创新、产业价值以及未来趋势，我院与华为及相关单位共同开展研究，编制《超节点发展报告》。报告以 “需求—技术—应用—展望” 为主线，从大模型对智算基础设施的机遇与挑战入手，深入剖析超节点技术的发展动因，对超节点技术的发展历程及技术特征进行梳理，为各行业的应用落地提供参考。我们坚信，超节点是未来构建高效可靠算力优势的关键抓手。超节点的成熟与普及，对于提升整体智算能力、促进 AI 赋能千行百业具有至关重要的意义。我们期待本报告能凝聚产业共识，推动超节点技术从“技术探索”走向“落地应用”，加速我国智算基础设施发展，为全球智算产业创新贡献中国智慧。中国信息通信研究院副院长 魏亮序言 3超节点发展报告05人工智能高速演进背景下，算力需求呈指数级增长，大模型竞争已进入 “参数规模摸高” 与 “训练效率提升” 并行的新阶段。Scaling Law（规模定律）将以多元形态长期生效，持续推动人工智能技术