国际人工智能安全报告

2026 年国际人工智能安全报告首次关键更新新能力及风险影响2025 年 10 月 22026 年国际人工智能安全报告：首次关键更新贡献者主席Yoshua Bengio 教授，蒙特利尔大学/LawZero/Mila - 魁北克人工智能研究所专家顾问小组专家顾问小组是一个国际顾问机构，就报告内容向主席提供建议。专家顾问小组仅提供技术反馈。报告及其专家顾问小组并未认可任何特定的政策或监管方式。小组由来自 30 个国家、联合国 (UN) 、欧盟 (EU) 和经济合作与发展组织 (OECD) 的代表组成。请点击此处 [插入相关网页超链接] 查看 2026 年国际人工智能安全报告专家顾问组的成员名单。首席撰稿人Stephen ClareCarina Prunkl撰稿团队Maksym Andriushchenko，欧洲人工智能网络德国图宾根大学分部Ben Bucknall，牛津大学Philip Fox，欧盟人工智能研究中心胡天成，剑桥大学Cameron Jones，石溪大学Sam Manning，人工智能治理中心Nestor Maslej，斯坦福大学Conor McGlynn，哈佛大学 Malcolm Murray，SaferAIShalaleh Rismani，Mila - 魁北克人工智能研究所Charlotte Stix，Apollo ResearchLucia Velasco，马斯特里赫特大学Nicole Wheeler，英国高级研究与发明局 (ARIA)Daniel Privitera（2026 年临时主管），欧盟人工智能研究中心Sören Mindermann（2026 年临时主管），独立高级顾问Daron Acemoglu，麻省理工学院Thomas G. Dietterich，俄勒冈州立大学 Fredrik Heintz，林雪平大学Geoffrey Hinton，多伦多大学Nick Jennings，拉夫堡大学Susan Leavy，都柏林大学Teresa Ludermir，伯南布哥联邦大学Vidushi Marda，AI 协作Helen Margetts，牛津大学 John McDermid，约克大学Jane Munga，卡内基国际和平基金会Arvind Narayanan，普林斯顿大学Alondra Nelson，普林斯顿高等研究院Clara Neppel，电气电子工程师学会 (IEEE)Sarvapali D.(Gopal) Ramchurn，英国负责任人工智能 (Responsible AI UK) Stuart Russell，加利福尼亚大学伯克利分校Marietje Schaake，斯坦福大学Bernhard Schölkopf，欧洲学习与智能系统实验室Alvaro Soto，智利天主教大学Lee Tiedrich，马里兰/杜克大学Gaël Varoquaux，法国国家信息与自动化研究所姚期智，清华大学张亚勤，清华大学秘书处英国人工智能安全研究所：Lambrini Das、Claire Dennis、Arianna Dini、Freya Hempleman、Patrick King、Samuel Kenny、Hannah Merchant、Jamie-Day Rawal、Rose WoolhouseMila - 魁北克人工智能研究所： Jonathan Barry、Marc-Antoine Guérard、Claire Latendresse、Cassidy Macneil、Benjamin Prud’homme32026 年国际人工智能安全报告：首次关键更新 致谢秘书处和撰稿团队感谢 Jean-Stanislas Denain、Marius Hobbhahn、José Hernández-Orallo、Vera Liao 及 Ray Perrault 提供的支持、意见和反馈，同时感谢 José Luis León Medina 在质量控制和引文格式、以及 Amber Ace 在文稿编辑方面提供的协助。此翻译版本由 Acolad 团队完成，并由安远 AI提供额外技术语言审核支持。© Crown 版权所有 2025除非另有说 明，否则，本出版 物 根 据《 开放 政 府许可协议》第 3.0 版的条款授权。要查看此授权，请访问 nationalarchives.gov.uk/doc/open-governmentlicence/version/3，或写信至 Information Policy Team, The National Archives, Kew, London TW9 4DU，或发送电子邮件至 psi@nationalarchives.gsi.gov.uk。对于我们已标识的任何第三方版权信息，您需要向相关版权持有人获取许可。有关本出版物的任何查询请发送至：secretariat.AIStateofScience@dsit.gov.uk。免责声明 本报告不代表主席、撰写或顾问小组中任何特定个人的观点，亦不代表支持其编制工作任何政府的观点。本报告综合了现有关于先进人工智能能力与风险的研究成果。报告主席对报告负有最终责任，并全程监督了报告的编制过程。研究系列编号：DIST 2025/033前言42026 年国际人工智能安全报告：首次关键更新前言人工智能领域的发展速度过快，单凭一年一度的出版物难以跟上其步伐。重大变化可能在数月甚至数周的时间尺度上发生。正因如此，我们推出《关键更新》：这份简短而聚焦的报告旨在突出《国际人工智能安全报告》完整版本发布期间最重要的进展。通过这些更新，我们旨在为政策制定者、研究人员和公众提供最新信息，以支持他们就人工智能治理做出明智决策。这份首次关键更新重点关注了自 2025 年 1 月以来发生重大变化的领域：通用型人工智能系统能力的进步，以及对若干关键风险的影响。新型训练技术使人工智能系统能够逐步推理并延长自主运行时间，从而能够处理更多种类的工作。但是，这些技术进步同时也带来了新的挑战，包括生物风险、网络安全以及人工智能系统自身的监督。《国际人工智能安全报告》旨在帮助读者评估、预判和管理通用型人工智能系统带来的风险。这些关键更新可确保在该领域快速发展的过程中，重要进展能够得到及时关注。Yoshua Bengio 教授蒙特利尔大学/LawZero/Mila - 魁北克人工智能研究所兼主席52026 年国际人工智能安全报告：首次关键更新要点要点— 自首份《国际人工智能安全报告》发布以来，新型训练技术推动了人工智能能力的显著提升。后训练方法会教导人工智能系统进行更多“思考”并运用逐步“推理”†，而这已被证明具有极高成效。以往模型通过基于训练数据预测最可能的延续来生成即时回复，而这些“推理模型”则会在给出最终答案前生成一系列延伸的中间推理步骤链。当获得额外的算力来生成回复时，这有助于它们针对更复杂的问题得出正确答案。— 因此，通用型人工智能系统在数学、编程和科学研究领域取得了重大进展，但依然存在可靠性问题。目前最先进的模型已能解决国际数学奥林匹克竞赛金牌级别的题目，在收录了真实软件工程任务的“SWE-bench Verified”数据库中解答出超过 60