当AI接管AI研发智能爆炸及其应对措施

当 AI 接管 AI 研发：智能爆炸及其应对措施What if automating AI R&D triggers an intelligence explosion?Frontier AI Working Paper Series No. 2/2026译者：Zilan Qian2026年9月当 AI 接管 AI 研发：智能爆炸及其应对措施What if automating AI R&D triggers an intelligence explosion?Alan Chan*GovAIChristoph Winter剑桥大学 AI 科学与政策项目（CASP）；法律与人工智能研究所（Institute forLaw & AI）Andrew Barto马萨诸塞大学阿默斯特分校Jakub PachockiOpenAIGeoffrey Hinton多伦多大学；Vector InstituteEric Horvitz微软Yoshua BengioMila（魁北克人工智能研究所）；蒙特利尔大学；LawZeroDawn Song加利福尼亚大学伯克利分校Jack ClarkAnthropicHilary Greaves牛津大学Anton Korinek弗吉尼亚大学；AnthropicSamuel Hammond美国创新基金会（Foundation for American Innovation）Thore Graepel伦敦大学学院Ben Bariach牛津大学Philip H. S. Torr牛津大学Sheila A. McIlraith多伦多大学；Vector InstituteJeff Clune不列颠哥伦比亚大学；Vector InstituteSam ManningGovAI；美国创新基金会Girish SastryGuidelightTom DavidsonForethoughtDaniel EthAI 政策研究所（AI Policy Institute）Sören Mindermann*剑桥大学 AI 科学与政策项目（CASP）摘要与一年前相比，人工智能（AI）在自身研发中的作用已大不相同：如今，开发 AI 的公司内部，大部分代码已由 AI 系统编写。随着 AI 研究与开发（R&D，以下简称“研发”）流程中越来越多的环节实现自动化，AI 进步是否可能急剧加速，引发一场“智能爆炸”，将原本需要数年才能取得的进展压缩到数月甚至更短？初步证据表明，这种可能性确实存在。本文评估相关证据，分析智能爆炸的潜在影响，并提出政策应对措施。按目前的趋势，AI 系统有望在几年内将大部分 AI 研发工作自动化，甚至可能将其全部自动化。如果这一趋势引发智能爆炸，AI 的益处可能提前到来，但随之而来的也可能是极端风险：AI 能力的增长速度可能远超社会所能适应的程度，人类可能无法继续控制那些能力已超越自身的 AI 系统，国家、公司、政府各部门内部及相互之间的权力制衡也可能遭到严重削弱。尽管这些可能性仍存在很大不确定性，但鉴于其影响重大，值得进一步认真关注。政策制定者应当尽快掌握 AI 研发自动化的进展，制定引导和约束智能爆炸的方法，并为智能爆炸对社会的影响做好准备工作。* 通讯作者：alan.chan@governance.ai；soren.mindermann@casp.ac。本文所述观点属于作者，不一定代表其所属机构的观点。当 AI 接管 AI 研发：智能爆炸及其应对措施第 1 页，共 13 页引言长期以来，计算机科学家一直推测，AI 系统终有一天会设计出更优秀的后继系统，使这些系统在数量、速度和能力上迅速超越人类 [1–3]。如今，前沿 AI 公司正致力于实现 AI 研发自动化 [4, 5]。以占美国国内生产总值（GDP）的比重衡量，这些公司的资本投入已超过曼哈顿计划与阿波罗计划之和 [6]。译者注 A如果这些公司成功实现 AI 研发自动化，会发生什么？所谓“智能爆炸”（intelligence explosion），是指在 AI 自身的推动下，AI 技术进步的速度急剧加快，使得原本需要数年才能取得的进展，在数月甚至更短时间内就能实现。本文关注的核心问题是：这种现象是否可能发生？过去几年，AI 进步虽然迅速，但速度总体相对稳定；而智能爆炸所带来的加速则意味着一次质变。AI 可能通过推动硬件进步、软件进步，或同时推动两者，引发智能爆炸。硬件进步，是指用于开发和运行 AI 系统的计算硬件在质量和数量上的提升，也就是算力的提升。软件进步，则是对 AI 研发所用的数据、算法、代码和流程的改进，包括在现有硬件上更高效地训练和推理 [7–9]、改善研究管理与运作、提供更优质的合成数据和训练环境 [10, 11]，以及提出新的 AI 范式 [12, 13]。优先事项 1 ⋅ 掌握 AI 研发自动化的情况政府和/或审计人员获取评估监督/审计前沿 AI 公司的 AI 研发指标用于 AI 研发的前沿 AI 系统前沿 AI 公司的内部研发活动优先事项 2 ⋅ 制定引导和约束智能爆炸的方法政府激励监督管控构建对齐与控制研发有益的 AI 应用自动化 AI 研发的规模化扩展国际动态保持调整 AI 进步速度的选择权优先事项 3 ⋅ 做好适应智能爆炸的准备提高韧性以抵御公众监督加快政府建立安全防护措施来保障Chan et al. (2026), "What if automating AI R&D triggers an intelligence explosion?"非国家行为者的滥用机构响应速度政府对 AI 的使用图 1. 政策制定者应当尽快：（1）更充分地掌握企业 AI 研发自动化的情况；（2）制定引导和约束智能爆炸的方法；（3）为智能爆炸的影响做好准备。当 AI 接管 AI 研发：智能爆炸及其应对措施第 2 页，共 13 页短期内，软件进步尤其值得关注。这主要有两个原因。第一，AI 系统开展 AI 研发的能力似乎正在迅速提高，因此对软件进步的助力也越来越大。第二，软件进步能够形成快速的反馈循环：改进后的 AI 系统几乎可以立即重新投入研发流程，而硬件改进往往依赖长达数年的制造和建设周期。因此，本文聚焦于“软件驱动的智能爆炸”，即 AI 研发自动化仅通过软件进步就引发智能爆炸的可能性 [14]。初步证据表明，软件驱动的智能爆炸是可能的。如果真的发生，它可能成为历史上影响最为深远的技术发展：AI 系统可能迅速在大多数领域超越人类专家，并大幅加快技术进步。鉴于其影响重大，而可采取行动的时间窗口可能很短，我们认为，包括各国政府最高领导层在内的各方，都应当把为智能爆炸做好准备列为优先事项。AI 正迅速推进 AI 研发自动化如今，AI 系统已能辅助完成或自主完成 AI 研发流程中的主要环节。与一年前相比，领先AI 公司的研发人员已开始把核心研发任务交给由多个 AI 系统组成的团队，有些人甚至把全部编程工作都交给了 AI。Anthropic 报告称，在该公司通过审核的代码中，AI 系统编写的代码占比从 2025 年 1 月个位数百分比的较低水平，升至 2026 年 5 月的 80% 以上[5]。与此同时，在人类仅作高层次监督的情况下，A