智算基础设施发展研究报告（2024年）

中国信息通信研究院产业与规划研究所 2024年9月 智算基础设施发展研究报告 (2024 年) 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 前 言 当前人工智能技术及生态迭代加快，对智能算力提出更强更大规模的需求。作为关键环节与核心底座，以智算中心为代表的智能算力基础设施，在 AI 落地破局与赋能新型工业化进程中，被赋予更重要的定位。智算基建成为支撑人工智能技术及产业发展的重要基石。本报告重点聚焦智算基础设施的供需布局、能力要求、赋能模式，梳理业界最新动态与发展趋势。 供需布局方面，聚焦区域智算基建布局场景，通过分析基础大模型与行业模型在训练端与推理端对智算的需求，明确城市布局智算中心应综合考虑区域内 AI 训练与推理需求，提出应做好智能算力资源的统筹，将行业大模型落地赋能，作为地方智算基建的主攻方向，避免地方政府“一窝蜂”导致大量算力的浪费。 能力要求方面，着力回答“智算基础设施需要提供什么能力”这个关键问题，提出推进智算集群构建应重视算力有效性、集群稳定性、绿色低碳性、服务易用性四个核心能力，引导行业层面强化标准规范体系建设，推出智算集群引导性规范。 赋能模式方面，关注我国智算基建商业运营赋能机制，重点梳理总结国内典型智算基础设施的商业运作模式与典型案例，为国内智算基建推进科学运营赋能提供重要参考。 当然，报告仍有诸多不足，恳请各界批评指正。 目 录 一、智算基础设施发展概述 ........................................................................................ 1 二、智算基础设施的供需布局 .................................................................................... 4 （一）基础大模型训练推动大规模智算集群强增长 ......................................... 4 （二）模型推理应用将构成智算基建第二条增长曲线 ..................................... 6 （三）区域智算基建布局综合考虑训练与推理需求 ......................................... 8 （四）跨区域调度协同强力支撑智算基建供需对接 ....................................... 10 三、智算基础设施的能力要求 .................................................................................. 12 （一）算力有效性是核心 ................................................................................... 12 （二）集群稳定性是保障 ................................................................................... 14 （三）绿色低碳性是前提 ................................................................................... 16 （四）服务易用性是亮点 ................................................................................... 18 四、智算基础设施的赋能模式 .................................................................................. 19 （一）产研合作行业大模型 ............................................................................... 20 （二）龙头引领联合创新 ................................................................................... 20 （三）央国企示范应用发展 ............................................................................... 21 （四）超智融合算力生态 ................................................................................... 22 五、发展建议 .............................................................................................................. 22 （一）投资布局要分类引导，分级建设 ........................................................... 23 （二）服务能力要标准先行，强化引导 ........................................................... 23 （三）要素资源要联合创新，直击场景 ........................................................... 24 智算基础设施发展研究报告（2024 年） 1 一、智算基础设施发展概述 智算，即人工智能算力，是用于支撑加速人工智能算法模型训练与推理的算力，其部署层级分为芯片级、单服务器节点级、多服务器集群级。在芯片级，依托 GPU、NPU、FPGA 和 ASIC 等加速芯片用于 AI 模型训练与推理加速，当前 GPU 在国内市场中占据主导地位。华为、天数、海光、寒武纪等本土企业在该领域积极研发布局，如华为已经推出了昇腾系列全栈自主、性能优良的产品，能够实现对智能计算的良好支撑。在单服务器节点级，以“CPU+XPU”异构计算范式为主的 Al 异构服务器，加强 CPU 与 XPU 协同，主流服务器产品相对更丰富，浪潮、戴尔等传统服务器厂家基于英特尔 CPU+英伟达GPU 的组合推出了 AI 服务器产品，华为及生态伙伴基于其自主研发的 AI 芯片推出了国产系列 AI 服务器产品。在多服务器集群级，Al应用中数据、模型的大型化趋势对智能算力的扩展性提出高要求，资源需要以集群模式部署以提供并行计算能力，高性能无损网络+高性能存储为单服务器节点级和多服务器集群级的算力突破提供了重要支撑。 来源：中国信息通信研究院 图 1