2024年中国AI算力行业发展报告
出品机构:甲子光年智库智库院长:宋涛报告撰写:刘瑶、郭瑶琴、王艺霖发布时间:2024.12目 录Part 01时代动力,AI新世代繁荣的发动机Part 02层见叠出,复杂工程需要多样手段解决Part 04实践落地, AI算力应用的新标杆Part 05来日方长,AI新世代下的不断探索Part 03各取所需,市场激发AI算力的选择思考纵观AI发展,算法的技术突破拉动了算力的需求训练算力(FLOPS)需求与人工智能发展关系图N=121训练算力需求FLOPS2010前深度学习时期之前,训练计算算力需求缓慢增长,算力翻倍需要21.3个月2010-2022深度学习不断取得进展,算力翻倍仅需要5.7个月,所需算力量级由 TFLOPs增至EFLOPs2015-2016 年左右开启了大模型时代,整体的训练计算量较之前的时期大2到3个数量级。从2022年底,随着ChatGPT成功带来大规模参数通用大模型相继发布。这些大模型的训练需要千亿、甚至万亿级参数,以及上千GB的高质量数据,大模型的训练迭代将极大地拉动了智能算力的需求。2012-2023年算力需求翻了数十万倍,AI算力需求远超摩尔定律,大模型对算力的需求每年持续增长,未来10年AI算力需求将再增长500倍。GPT-4ChatGPTGPT-3AlphaZeroAlphaGoZeroNeural Machine TranslationTI7 Dota 1v1XceptionDeepSpeech2ResNetsSeq2SeqGoogleNetAlexNetVGGVisualizing and Understanding ConvNets2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 20231e-41e-31e-21e-11e+01e+11e+21e+31e+4模型规模指数级增长推动算力需求爆发无论是训练还是推理,大模型的爆发引发全球算力需求的指数级增长技术层面上,基础模型通过迁移学习(Transfer Learning)和规模(scale)得以实现;Transformer的应用标志着基础模型时代的开始(基础模型的庞大规模和应用范围突飞猛进),模型参数量指数级增长,带动算力超过摩尔定律。Sora等视频生成类模型相较于大语言模型消耗的算力提升20倍。随着海量数据的积累,大模型需要处理的数据量也在不断增长,进一步加剧了对算力的需求。PFLOPs1e+021e+091e+081e+071e+061e+051e+041e+031e+021e+091e+081e+071e+061e+051e+041e+03TransformerPFLOPs基于Transformer结构算法训练所需算力短时间内激增,远超摩尔定律基于Transformer结构算法与时间的关系摩尔定律与时间的关系Transformer结构对于基础模型训练算力需求的推动作用1015101710191021102310250.00.20.40.60.81.0Sora(1 min ideo)GPT4(10000 text tokens)DiT-XL/2 Image Generation(512x512px images)推理消耗算力对比(单位:FLOPS)AI产业快速发展为AI算力市场带来新机遇从产业规模看,全球人工智能快速增长。2023年全球人工智能市场收入达5381亿美元,同比增长18.5%,到2026年市场规模将达9000亿美元。从投融资看,2024年Q1全球AI领域完成1779笔融资交易,筹集的风险投资总额达216亿美元。从企业发展看,全球人工智能呈现“中美主导”格局。截至2023年三季度,全球人工智能企业有29542家。美国有9914家,占比为34%;中国有4469家,占比为15%;中美人工智能企业数占全球总数约49%。4541.25381.36382.37575.89000010002000300040005000600070008000900010000202220232024E2025E2026E图1:2022-2026年全球AI市场规模(单位:亿美元)图2:全球AI领域投融资情况(单位:亿美元)789149510229002160200400600800100012001400160020202021202220232024Q1图3:全球AI企业数量国家分布34%15%6%5%4%36%美国中国英国印度加拿大其他资源“三剑客”中,算力承接算法及数据,成为AI产业发展基石AI数据数据巨量化跨模态融合算法算力内容创造力数据层面核心技术突破多模态认知计算数字孪生虚拟现实全息立体应用场景算法层面感知+交互大数据语料库高精度训练集标注训练计算任务投喂算力层面硬件算力智能交互实时算力边缘计算云计算本地化当下的时代机遇:大规模模型的摩尔定律-单模型参数量每年增长10倍www.jazzyear.com“海洋之光”超级计算机(国产超算)512块GPU大算力腾讯太极机器学习平台昇腾AI基础软硬件平台16块GPU大数据量1.9TB 图像292GB 文本中文多模态数据集M6-Corpus五大跨模态视频检索数据集基于万条小规模数据集数百 G 级别不同领域的高质量语料模型类型多模态预训练模型图、文、音三模态“八卦炉”(脑级AI模型)M6大模型“混元”HunYuan_tvr紫东太初孟子大参数174万亿(与人脑中突触数量媲美)10 万亿万亿千亿10亿商汤AIDC,峰值算力3740Petaflops3--计算机视觉模型计算机视觉模型书生(INTERN+)某视觉模型100亿300亿商汤科技商汤科技等企业清华大学等1阿里腾讯280 块 GPU鹏城云脑Ⅱ(2048 块CPU)和百度飞桨4095(Pflops-day)/2128 张GPU3390 亿条文本数据纯文本和知识图谱的4TB 语料库5000GB 高质量中文数据集NLP 大模型NLP 大模型NLP 大模型Megatron-TuringERNIW 3.0 Titan源 1.05300亿2600 亿2457 亿微软和英伟达百度和鹏程实验室浪潮信息鹏城云脑Ⅱ和全场景 AI 计算框架 MindSpore,2048 块GPU40TB 训练数据盘古系列大模型千亿3640(Pflops-day3)/上万块V100 GPU 组成 gao 带宽集群算力超过万亿单词的人类语言数据集GPT3.51750 亿OpenAI华为云中科院自动化所澜舟多模态预训练模型结合人类参与强化学习复旦大学超算中心--对话式大型语言模型MOSS百亿复旦大学在现代人工智能领域,算力扮演着推动创新、实现突破的核心驱动力。算力、算法、数据和系统架构等多个方面的综合优化对于大规模模型训练的成功至关重要。从技术层面看,在大模型的研发过程中,预训练、微调和模型推理等环节是核心关键因素和主要计算特征。千行百业ALL In AI,算力成为智能化升级的核心支撑AI快速发展正在推动各行业的数智化转型,大模型为千行百业提供了创新解决方案。通用大模型侧重发展通识能力,行业/场景大模型侧重发展专业能力,模型赋能行业有效的提升了效率、降低成本及优化决策过程。
[甲子光年]:2024年中国AI算力行业发展报告,点击即可下载。报告格式为PDF,大小5.99M,页数60页,欢迎下载。