2020年AI进展及2021年技术趋势报告

2020年人工智能十大技术进展及2021年十大技术趋势BEIJING ACADEMY OF ARTIFICIAL INTELLIGENCE目 录序言 01 2020年人工智能十大技术进展 进展1：OpenAI发布全球规模最大的预训练语言模型GPT-3 02进展2：DeepMind的AlphaFold2破解蛋白质结构预测难题 03进展3：深度势能分子动力学研究获得戈登·贝尔奖 04进展4：DeepMind等用深度神经网络求解薛定谔方程促进量子化学发展 05进展5：美国贝勒医学院通过动态颅内电刺激实现高效“视皮层打印” 06进展6：清华大学首次提出类脑计算完备性概念及计算系统层次结构 07进展7：北京大学首次实现基于相变存储器的神经网络高速训练系统 08进展8：MIT仅用19个类脑神经元实现控制自动驾驶汽车 09进展9：Google与Facebook团队分别提出全新无监督表征学习算法 10进展10：康内尔大学提出可缓解检索排序马太效应问题的无偏公平排序模型 11 2021年人工智能十大技术趋势趋势1：科学计算中的数据与机理融合建模 12趋势2：深度学习理论迎来整合与突破 13趋势3：机器学习向分布式隐私保护方向演进 14趋势4：大规模自监督预训练方法进一步发展 15趋势5：基于因果学习的信息检索模型与系统成为重要发展方向 16趋势6：类脑计算系统从“专用”向“通用”逐步演进 17趋势7：类脑计算从散点独立研究向多点迭代发展迈进 19趋势8：神经形态硬件特性得到进一步的发掘并用于实现更为先进的智能系统 20趋势9：人工智能从脑结构启发走向结构与功能启发并重 21趋势10：人工智能计算中心成为智能化时代的关键基础设施 22作者 24-01-序 言跌宕起伏的 2020 年， 似乎如梦如幻。但这一转折之年， 对于 AI领域却无比关键，先后出现了诸多颠覆性的进展。譬如 5 月份诞生的 GPT-3， 让人们看到了通用人工智能的希望 ； 再如 11 月底AlphaFold2 的出现，让人惊叹“它将改变一切”，人们意识到 AI正在以及将要颠覆传统学科。岁末年初， AI 热潮仍然汹涌， 应用前景依然广阔。在这样一个时间节点，全体智源学者经过商讨复盘，从科学、系统、算法等层面总结出 2020 年 AI 领域的十大进展， 并从人工智能的基础理论、算法、 类脑计算、 算力支撑等方面进行预测， 提出 2021 年 AI 领域十大技术趋势， 共同展望人工智能未来的发展方向。我们相信，人工智能技术的逐渐成熟将能够更好地帮助人类应对后疫情时代的各种不确定性，助力构建充满希望与变化的世界。-02-进展 1 ： OpenAI 发布全球规模最大的预训练语言模型 GPT-32020 年 5 月， OpenAI 发布了迄今为止全球规模最大的预训练语言模型 GPT-3。GPT-3 具有 1750 亿参数， 训练所用的数据量达到 45TB， 训练费用超过 1200 万美元。对于所有任务，应用 GPT-3 无需进行任何梯度更新或微调，仅需要与模型文本交互为其指定任务和展示少量演示， 即可使其完成任务。GPT-3 在许多自然语言处理数据集上均具有出色的性能， 包括翻译、 问答和文本填空任务， 还包括一些需要即时推理或领域适应的任务等， 已在很多实际任务上大幅接近人类水平。图 1 ： 国际主要预训练模型参数对比https://openai.com/blog/openai-api/2020 年人工智能十大技术进展-03-进展 2 ： DeepMind 的 AlphaFold2 破解蛋白质结构预测难题2020 年 11 月 30 日， Google 旗下 DeepMind 公司的 AlphaFold2 人工智能系统在第 14届国际蛋白质结构预测竞赛（CASP）中取得桂冠， 在评估中的总体中位数得分达到了 92.4分， 其准确性可以与使用冷冻电子显微镜（CryoEM）、 核磁共