2023年AI现状154页重磅报告

State of AI Report2023⼈⼯智能现状报告2023年10月Air Street Capital前言人工智能（AI）是科学和工程的多学科领域，其目标是创造智能机器。我们相信，在日益数字化、数据驱动的世界中，人工智能将成为技术进步的力量倍增器。这是因为今天我们周围的一切，从文化到消费品，都是智能的产物。Air Street已连续第六年发布人工智能现状报告。我们把这份报告视为所见过的最有趣的事情的汇编，目的是引发一场关于人工智能现状及其对未来影响的知情对话。报告中考虑了以下主要方面：l行业：人工智能的商业应用领域及其商业影响。l研究：技术突破及其能力。l政治：人工智能的监管，其经济影响和人工智能地缘政治的演变。l安全：识别和减轻高性能未来人工智能系统可能给我们带来的灾难性风险。l预测：我们认为未来12个月会发生什么，以及保持我们诚实度的2022年绩效评估。由 Air Street Capital 团队制作。腾讯科技（微信公众号：qqtech）进行了整理汉化，内容有删减。关注腾讯科技微信公众号（qqtech），回复“AI2023”可免费获取本报告PDF版。stateof.ai 2023#stateofai | 2划重点｜行业｜研究｜政策 | 安全 | 预测｜关于行业（第6页-第57页）--随着各国政府、初创公司、大型科技公司和研究人员对GPU的贪婪需求，英伟达迈入了1万亿美元的市值俱乐部。--出口管制限制了对中国的先进芯片销售，但主要芯片供应商开发出不受出口管制的替代品。--在ChatGPT的带领下，GenAI应用在图像、视频、编码、语音或CoPilot方面都取得了突破性的一年，推动了180亿美元的风险投资和企业投资。研究（第58页-第115页）--GPT-4落地并展示了专有和次佳开源替代方案之间的能力鸿沟，同时也验证了从人类反馈中强化学习的力量。--用更小的模型、更好的数据集、更长的上下文来克隆或击败专有模型性能的努力越来越多…由LLaMa-1/2提供支持。--目前还不清楚人类生成的数据可以维持人工智能扩展趋势多久（有人估计，到2025年，大型语言模型将耗尽数据），以及添加合成数据的影响是什么。锁定在企业中的视频和数据可能是下一个目标。--大型语言模型和扩散模型通过为分子生物学和药物发现带来新的突破，继续为生命科学领域提供礼物。--多模态成为新的前沿，所有参与方的兴奋感大幅增长。政治（第116页-第127页）--全球已经划分出明确的监管阵营，但全球治理的进展仍然缓慢。最大的人工智能实验室正在填补这一真空。--芯片战争有增无减。--人工智能预计将影响一系列敏感领域，包括选举和就业，但尚未看到显著影响。安全（第128页-第145页）--生存风险辩论首次成为主流，并显著加剧。--很多高性能的机型很容易‘越狱’。为了补救RLHF的挑战，研究人员正在探索替代方案，例如自我校准和根据人类偏好进行预训练。--随着能力的提高，对SOTA模型进行一致的评估变得越来越困难。只有共鸣是不够的。划重点stateof.ai 2023#stateofai | 3划重点｜行业｜研究｜政策 | 安全 | 预测｜关于回顾Air Street 2022年的预测stateof.ai 2023#stateofai | 4划重点｜行业｜研究｜政策 | 安全 | 预测｜关于我们对2022年的预测结果stateof.ai 2023#stateofai | 5划重点｜行业｜研究｜政策 | 安全 | 预测｜关于1DeepMind训练一个具有10B参数的RL模型，比Gato大10倍。到目前为止，还没有公开披露过这方面的研究。2英伟达宣布与一家专注于AGI的组织建立战略关系。英伟达没有建立这种关系，而是在许多专注于AGI的组织中加大了投资活动，包括Cohere、In Fliection AI和Adept。3SOTA语言模型在比Chinchilla多10倍的数据点上训练，证明了数据集缩放与参数缩放。我们不确定，但据报道，GPT-4是在13T tokens上训练的，而Chinchilla是14T tokens上训练的。Meta的Llama-2是在2T tokens上训练的。4到2023年9月，生成音频工具的出现吸引了超过10万名开发人员。大型科技企业GAFAM向通用人工智能或开源人工智能公司投资超过10亿美元。自推出以来，ElevenLabs和Resemble.ai都声称拥有超过100万用户。2023年1月，微软又向OpenAI投资了100亿美元。5面对英伟达的主导地位，半导体初创公司面临现实，一家明星初创公司破产或以低于其最近估值50%的价格被收购。有降价，但没有大规模停工或低迷的收购。6监管生物安全实验室（BSL）等通用人工智能实验室的提案得到了当选的英国、美国或欧盟政治家的支持。要求监管的呼声明显提高，但对BSL的支持还没有。7随着我们意识到让人工智能能力领先于安全所面临的风险，明年将有超过1亿美元投资于专门的人工智能校准组织。人工智能研究和安全公司Anthropic在2023年9月筹集了高达40亿美元的资金。8一家主要的用户生成内容网站（如Reddit）与一家人工智能模型（如OpenAI）初创公司协商商业合作，以便对其用户生成内容语料库进行培训。OpenAI已经获得了访问其他Shutterstock训练数据（图像、视频和音乐库以及相关元数据）的6年许可。第一章：行业stateof.ai 2023#stateofai | 6划重点｜行业｜研究｜政策 | 安全 | 预测｜关于#stateofai | 7划重点｜行业｜研究｜政策 | 安全 | 预测｜关于GPU需求刺激英伟达营收井喷，市值进入万亿美元俱乐部英伟达2023年第二季度营收达到创纪录的103.2亿美元，比第一季度增长141%，比一年前增长171%。尽管该公司2022年营收达到270亿美元，比2021年增长61.4%，但市场对该股曾持悲观态度。英伟达现在的市值为1万亿美元，比10年前的85亿美元高出116倍。🤯🚀stateof.ai 2023比Coachella卖得更快：从新贵基础设施提供商手中抢购GPU#stateofai | 8CoreWeave和Lambda是两家选定的英伟达合作伙伴，负责构建和运行GPU数据中心，它们总共有数万颗GPU。Lambda在其点播云中提供了价值9位数美元的H100s，并在一个多小时内销售一空。CoreWeave是市场上最大的GPU运营商之一。该公司今年年底的建造时间表已经排满，正在签订2024年第一季度的合同。划重点｜行业｜研究｜政策 | 安全 | 预测｜关于#stateofai | 9划重点｜行业｜研究｜政策 | 安全 | 预测｜关于私营公司正在支持英伟达GPU，并将其作为竞争优势#stateofai | 10划重点｜行业｜研究｜政策 | 安全 | 预测｜关于算力是海湾国家的新石油？据称，沙特阿拉伯阿卜杜拉国王科技大学(Kaust)购买了3000多颗H100s来建造超级计算机ShaheenIII。这台超级计算机将于2023年底投入运行。与此同时，阿联酋马斯达尔市的技术创新研究所开发了Falcon LLM，据说也从英伟达采购计算资源。最后，