大语言模型能力测评报告2024-InfoQ研究中心

1大模型综合能力测评报告20242⼤模型市场发展洞察2023年，全球⼤模型市场进⼊爆发阶段3⼤模型诞⽣阶段⼤模型探索阶段⼤模型爆发阶段2017-2018年2019-2021年2022-2023年• 6.12 ⾕歌推出⽤于处理⾃然语⾔任务的Transformer 神经⽹络架构2017• 6.11 OpenAI 发布 GPT-1• 11.22 ⾕歌推出BERT2018• 3.16 百度推出可以准确理解语义的 ERNIE 1.0• 8.21 OpenAI 发布 GPT-2 并部分开源• 10.11 ⾕歌推出 BERT 模型的两个新版本RoBERTa 和 XLNet2019• 11.5 OpenAI发布120亿参数图像版GPT-32020• 1.16 OpenAI推出能实现⽂本⽣成图像的DALL-E模型• 4.25 华为正式发布盘古⼤模型• 8.10 OpenAI推出Codex2021• 2.7 ⾕歌发布Bard以应对ChatGPT• 2.20 复旦团队发布MOSS• 2.23 微软基于ChatGPT发布New Bing• 2.25 FaceBook发布LLaMA-13B• 3.14 OpenAI发布GPT-4并实现图像识别• 3.16 百度发布⽂⼼⼀⾔• 3.17 微软宣布将GPT-4接⼊Office全家桶• 4.10 昆仑万维发布天⼯3.52023• 11.30 OpenAI 推出 ChatGPT2022在诞⽣阶段，以Transformer为代表的全新神经⽹络架构，奠定了⼤模型的算法架构基础，使⼤模型技术的性能得到了显著提升。在 探 索 期 ， 基 于 ⼈ 类 反 馈 的 强 化 学 习（RHLF）、代码预训练、指令微调等开始出现，被⽤于进⼀步提⾼推理能⼒和任务泛化。在爆发期，⼤数据、⼤算⼒和⼤算法完美结合，具备了多模态理解与多类型内容⽣成能⼒。• 4.11 阿⾥云发布通义千问• 5⽉ 百度发布⽂⼼⼤模型3.5• 5.6 科⼤讯⻜发布认知⼤模型• 5.11 ⾕歌更新Bard并推出PaLM 2模型• 5.24 微软宣布Windows系统全⽅位集成Copilot2023年中央及地⽅政府积极制定政策⿎励和规范⼤模型产业发展4序号时间⽂件名主要内容12023年7⽉《⽣成式⼈⼯智能服务管理暂⾏办法》明确了⽣成式⼈⼯智能“提供者”内容⽣产、数据保护、隐私安全等⽅⾯的法定责任及法律依据，确⽴了⼈⼯智能产品的安全评估规定及管理办法。22023年7⽉《上海市推动⼈⼯智能⼤模型创新发展的若⼲措施》推动上海⼤模型创新发展，营造通⽤⼈⼯智能创新⽣态，加快打造世界级⼈⼯智能产业集群。32023年8⽉《电⼦信息制造业2023⼀2024年稳增⻓⾏动⽅案》⿎励加⼤数据基础设施和⼈⼯智能基础设施建设，满⾜⼈⼯智能、⼤模型应⽤需求。42023年10⽉《⼈形机器⼈创新发展指导意⻅》到2025年，⼈形机器⼈创新体系初步建⽴，“⼤脑、⼩脑、肢体”等⼀批关键技术取得突破，确保核⼼部组件安全有效供给，开发基于⼈⼯智能⼤模型的⼈形机器⼈“⼤脑”。52023年11⽉《北京市⼈⼯智能⾏业⼤模型创新应⽤⽩⽪书（2023年）》从⼤模型全球发展态势、国内外⾏业应⽤概述、北京应⽤情况和发展建议等⽅⾯进⾏了系统分析和阐述，旨在进⼀步推动⼤模型应⽤落地，展示北京市⼤模型应⽤成果，促进⼤模型价值传播和供需对接。62023年11⽉⼴东省《关于加快建设通⽤⼈⼯智能产业创新引领地的实施意⻅》22条举措打造国家通⽤⼈⼯智能产业创新引领地。72023年12⽉《关于加快推进视听电⼦产业⾼质量发展的指导意⻅》⽀持⻣⼲企业做⼤做强，⽀持⼈⼯智能企业研发视听应⽤⼤模型。82023年12⽉《“数据要素x”三年⾏动计划（2024—2026年）（征求意⻅稿）》以科学数据⽀持⼤模型开发，深⼊挖掘包含科技⽂献在内的各类科学数据，通过细粒度的知识抽取，构建科学知识资源底座，建设⾼质量语料稿库和基础科学数据集，⽀持开展通⽤⼈⼯智能⼤模型和垂直领域⼈⼯智能⼤模型训练。2023年，中央及地⽅围绕基础设施、算法、算⼒、数据等领域出台多项政策，坚持发展和安全并重、促进创新和依法治理相结合的原则，⿎励和规范作为硬科技的AI⼤模型产业发展。2023年下半年，中国百模⼤战掀开序幕5010203•6 .14 3 6 0发 布 智 脑⼤ 模 型 4 .0•6 .15 百 川智 能 发 布 开 源 Ba ic hu a n -7 B•6 .2 5 清 华 &智 谱 A I 发 布 开 源 Cha tG LM 2 •7 .7 华 为发 布 盘 古 3 .0•7 .7 商 汤科 技 发 布 商 量 2 .0•7 .9 ⻄ 湖⼼ ⾠ 发 布 ⻄ 湖⼤ 模型•7 .19 M eta 发 布 开 源 Ll a ma 22 0 2 3 年 6 ⽉ ⾄ 2 0 2 3 年 8 ⽉•8 .3 阿 ⾥ 云 推 出开 源 Qwen -7 B•8 .7 元 象 科 技 发布 开 源 X VE RS E -13 B•8 .11 ⼩ ⽶ 发 布 ⼤模 型 M iLM•8 .17 字 节 跳 动 公测 ⼤ 模 型 产 品 ⾖ 包•8 .2 1 云 从 科 技 发布 从 容 ⼤ 模 型 1.5•9 .5 商 汤 科 技 发布 商 量 3 .0•9 .6 百 川 智 能 发布 开 源 Ba ic hu a n 2•9 .7 腾 讯 发 布 混元 助 ⼿•9 .2 0 上 海 ⼈ ⼯ 智能 实 验 室 发 布 开 源 I n tern LM -2 0 B•9 .2 5 Op en A l 发 布 多 模 态 G PT -4 V2 0 2 3 年 8 ⽉ ⾄ 2 0 2 3 年 1 0 ⽉•10 .9 ⽉ 之 暗 ⾯ 发 布 Kimi Cha t•10 .17 百 度 发 布 ⽂ ⼼ ⼤ 模 型 4 .0•10 .2 4 科 ⼤ 讯 ⻜ 发 布 星 ⽕ ⼤ 模型 3 .0•10 .2 7 智 谱 A I 开 源 了 Cha tG L M 3 等 模 型•10 .3 0 百 川 智 能 发 布 Ba ic hu a n 2 -19 2K•10 .3 1 阿 ⾥ 云 发 布 通 义 千 问 2 .0•11.7 Op en A I 发 布 G PT -4 T u rb o•11.16 OPPO发 布 A n d esG PT•11.2 4 零 ⼀ 万 物 发 布 开 源 Y i-3 4 B•12 .2 2 腾 讯 发 布 混 元 ⼤ 模 型 标准 版2 0 2 3 年 1 0 ⽉ ⾄ 2 0 2 3 年 1 2 ⽉⽂本理解和逻辑能⼒提升、具备初级代码⽣成、跨模态能⼒多模态、⻓⽂本、逻辑能⼒加强6⾏业⼤模型数据来源：InfoQ研究中⼼根据⼚商官⽹、媒体资讯等公开资料整理服务商研究机构科技公司其他⾦融教育汽⻋游戏电商社交⽂娱传媒影视能源制造通⽤⼤模型从头部企业到百模家族，⼤模型井喷式爆发增⻓医疗在法规的指导下，部分产品开始持证上岗7批次模型名称所属企业第⼀批ABAB⼤模型MiniMax百川⼤模型百川智能混元⼤模型腾讯GLM⼤模型智谱AI盘古⼤模型华为⽇⽇新⼤模型商汤书⽣通⽤⼤模型上海⼈⼯智能实验室通义⼤模型阿⾥⽂⼼⼀⾔百度星⽕认知⼤模型讯