2021-2022年度智源人工智能前沿报告

2021-2022 年度智源人工智能前沿报告BAAI AI Frontiers北京智源人工智能研究院2021 年 12 月AI Frontiers Report目录智源人工智能前沿报告丨 2目录目录2审订专家和编者9报告贡献情况12摘要13前言16第一章 人工智能科研和技术发展情况19一、科研发展情况20（一）人工智能基础理论201.信息模型、具身模型和脑模拟机器人的结合将诞生超级人工智能202.对深度神经网络工作机制的理论研究热度上升22（二）预训练模型技术241.系统研究超大规模智能模型发展和影响的新兴领域已经形成242.超大规模预训练模型研发竞赛进入白热化阶段273.多模态预训练模型成为下一个大模型重点发展领域324.加速方法创新提升超大参数规模模型的训练效率39AI Frontiers Report目录智源人工智能前沿报告丨 35.预训练模型在生物学研究和互联网等场景实现应用43（三）机器学习461.深度学习模型事后可解释性研究出现新范式462.神经网络算法持续改进优化，降低算力依赖并提升任务性能50（四）自然语言处理551.Prompt Tuning 成为预训练语言模型新型训练范式552.提升性能和效率成为预训练语言模型发展的新路线63（五）计算机视觉671.Transformer 成为计算机视觉领域的重要网络架构672.遮盖图像建模替代对比学习成为视觉自监督学习的新热点733.非Transformer 架构在视觉任务上仍有发展潜力744.神经辐射场（NeRF）启发图像生成、三维重建等研究785.脉冲视觉开辟机器视觉新路线79（六）智能体系架构与芯片811.生物神经元与芯片结合成为类脑芯片的研究热点812.高性能、低能耗AI 芯片不断涌现833.存算一体 AI 芯片设计、应用步伐加快85AI Frontiers Report目录智源人工智能前沿报告丨 44.由 AI 辅助设计成为芯片发展新趋势88（七）智能信息检索与挖掘901.Web 模型成为新型信息搜索范式的核心支撑902.预训练语言模型助力信息检索性能提升933.数据驱动的新方法推动定量分析在社会科学领域实现应用94（八）人工智能的认知神经基础961.借鉴脑神经和认知科学研究成为启发类脑智能研究的重要来源962.无线高带宽、微创、结合 AI 算法等成为脑机接口的发展重点100（九）AI for Science1071.传统科研领域成为人工智能发展的“新战场”1072.人工智能技术提升智能产品和服务的性能115（十）强化学习1171.提升训练效率成为强化学习领域的研究重点1172.强化学习环境成为发展泛化性更强、适应复杂环境智能体的重要支撑1183.Transformer 渗透强化学习领域121（十一）其他值得关注的 AI 研究和热点1221.Transformer 和图神经网络结合产生更强的性能表现122AI Frontiers Report目录智源人工智能前沿报告丨 52.神经网络解码脑电信号，有望提升机器控制能力1243.因果推断在经济学、社会学研究中广泛应用1254.基于视觉的机器人通用抓取研究实现突破1275.AI 在环境和可持续发展研究实现应用128二．平台和工具发展情况130（一）AI 系统1301.构建基于超大规模智能模型的 AI 开放平台成为研发机构和企业的重点发展思路 1302.大规模深度学习的分布式训练势在必行1313.超大规模智能模型支撑的行业应用进入探索落地阶段133（二）AI 算法和代码库1361.开源社区复现超大规模预训练模型1362.多个领域开放AI 代码库助力研究应用发展137（三）算力平台1461.AI 算力成为超算性能比拼的新“擂台”146（四）基准测试和数据集1491.面向复杂语言理解任务的基准测试涌现1492.AI 为人类科学家提供领域数据集，助力基础科学研究155AI Frontiers Report目录智源人工智能前沿报告丨 6第二章 人工智能产业发展情况158一、人工智能应用层企业159（一）智能医疗1591.总体趋势1592.医疗影像1603.AI 药物研发1644.数字疗法1715.手术机器人1746.脑机接口178（二）自动驾驶1831.总体趋势1832.Robotaxi1853.车载芯片1944.激光雷达1995.细分场景2016.其他领域208二、人工智能技术层企业209AI Frontiers Report目录智源人工智能前沿报告丨 7（一）自然语言处理209（二）计算机视觉211（三）机器学习214（四）智能语音215（五）知识图谱219三、人工智能基础层企业221（一）AI 芯片2211.总体趋势2212.AI 训练芯片2223.AI 推理芯片2254.其他 AI 芯片227（二）数据服务2301.总体趋势2302.泛娱乐和媒体2313.安全风控2314.第三方数据标注2325.图数据233AI Frontiers Report目录智源人工智能前沿报告丨 86.数据工具233关于智源研究院234免责声明235AI Frontiers Report审订专家和编者智源人工智能前沿报告丨 9审定专家1黄铁军北京智源人工智能研究院，北京大学余山中国科学院自动化研究所，智源学者刘知远清华大学，智源青年科学家黄高清华大学，智源青年科学家张祥雨旷视科技，智源青年科学家鲁继文清华大学，智源青年科学家赵鑫中国人民大学，智源青年科学家魏哲巍中国人民大学王树徽中国科学院计算技术研究所卢策吾上海交通大学庄福振北京航空航天大学王静远北京航空航天大学燕博南北京大学苗旺北京大学高阳清华大学王昊奋同济大学袁进辉OneFlow 一流科技AI Frontiers Report审订专家和编者智源人工智能前沿报告丨 10刘鹏飞卡耐基梅隆大学曹越微软亚洲研究院韩凯华为诺亚方舟实验室1排名不分先后AI Frontiers Report审订专家和编者智源人工智能前沿报告丨 11编者北京智源人工智能研究院戴一鸣李梦佳廖璐卢凯张冬敏周岷峰苟瑜靳虹博殷靖东刘克宇张大魁袁莎马雷赵小帆闫亚琼李敏刘方正梁杨晓李静云智源社区陈旭马瑞军赵万铖熊宇轩感谢以下专家为报告提供建议智源人工智能数理基础方向专家学者智源机器学习方向专家学者智源智能信息检索与挖掘方向专家学者智源智能体系架构与芯片方向专家学者智源自然语言处理方向专家学者智源人工智能的认知神经基础方向专家学者智源青年科学家智源人工智能青年科学家俱乐部（青源会）专家学者AI Frontiers Report报告贡献情况智源人工智能前沿报告丨 12报告贡献情况2黄铁军对报告提出方向性建议和指导。余山、刘知远、黄高、张祥雨、鲁继文、赵鑫、魏哲巍、王树徽、卢策吾、庄福振、王静远、燕博南、苗旺、高阳、王昊奋、袁进辉、刘鹏飞、曹越、韩凯对报告中的科研、平台和工具等领域的发展情况提供内容、案例和建议。戴一鸣、李梦佳策划本报告，制定大纲，组织并实施工作。戴一鸣撰写第一章内容, 李梦佳、陈旭、马瑞军、赵万铖撰写第二章内容。廖璐对部分翻译进行了审校，熊宇轩对内容进行了审校。廖璐、李梦佳、戴一鸣、卢凯、赵小帆、闫亚琼、李敏、刘方正协调联络、收集和汇总素材。张冬敏、周岷峰、苟瑜、靳虹博、殷靖东、