Al系统的网络安全治理实践

防护视角下保护AI系统的网络安全实践华为技术有限公司2024年9月AI系统的网络安全治理实践目录目 录0101目的0201范围0302人工智能各界关注与风险0411华为公司人工智能发展与现状0513华为公司人工智能网络安全治理实践0618华为公司人工智能系统的网络安全防护实践目的、范围01目的本文旨在分享应对AI系统（AI SYSTEM [1]）潜在网络安全风险的策略，并为AI全生命周期的各个阶段提供了缓解安全风险的工程实践思考。02范围随着AI技术的应用场景不断推广和深化，AI系统的网络安全风险在持续变化，其网络安全防护策略也需要不断地推陈出新。本文描述了当前华为公司应对AI系统网络安全（Cyber Security of AI System）新风险的工程实践，并为华为公司客户和利益相关方提供参考。本文不包括AI的功能安全（AI Safety）问题，如公平性、透明度、包容性等，也不包括AI技术在网络攻击中的滥用问题。本文描述AI系统的网络安全工程实践，是从设计、开发、部署、运行等全生命周期的视角，保护AI系统的数据、模型、应用及算力底座等关键要素，目标是使得AI系统符合设计意图地可靠运行，有效应对人为操纵的威胁。[1] https://oecd.ai/en/wonk/ai-system-definition-update01人工智能各界关注与风险人工智能（Artificial Intelligence，缩写为AI [2]），亦称机器智能，指由人制造出来的机器所表现出来的智能。人工智能自从1956年达特茅斯会议上提出概念，发展到现在近70年，经历了多次繁荣和低谷，直到上世纪九十年代后期开始，随着计算机成本的降低、以及互联网带来的数据规模的膨胀，开始进入了一个较为稳定的发展期。随着GPU等芯片带来了算力提升和深度学习的应用，人工智能在各方面都取得了突破，进入了一个全新的发展时期。2020年以后，在深度学习基础上发展起来的大模型成为人工智能最主要的研究范式，几乎在人工智能的各个领域上都表现出巨大的进步，尤其是生成式人工智能的成功，使得人工智能的应用领域大大扩展，通用人工智能（Artificial General Intelligence, AGI）也不再遥不可及。从发展过程可以看出，算法、算力、数据是驱动人工智能发展的三个最主要的驱动力。而随着人工智能能力越来越强，甚至达到接近人类智能的水平，AI系统在网络安全方面带来的问题也越来越多，引发了人们对AI系统网络安全的广泛关注和思考。而现阶段要确保AI系统的网络安全面临着巨大的挑战，若不引起足够重视，人工智能未来可能带来更多网络安全风险。华为公司呼吁多利益方共同参与并全面加强对AI系统的评估和监管，共同应对这些挑战，才能最终实现人工智能的长期可持续健康发展。3.1 世界各国人工智能安全法律立法情况整体而言，人工智能技术储备、商业生态、文化与法律传统、所处的治理阶段等要素，都不同程度影响一国或地区的人工智能安全治理实践，因此，不同国家和地区的人工智能法律法规的制定和执行呈现一定的差异性。03[1] https://zh.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD02人工智能各界关注与风险033.1.1 欧盟欧盟人工智能治理以“卓越和信任”为主线，既推出产业发展政策，又同步推进伦理和监管规则，保障安全和基本权利 [1]。2021年4月，欧盟委员会提出《人工智能法》草案 [2]。经过多次谈判与修订，《人工智能法》于2024年7月12日刊登于欧盟公报，于2024年8月1日生效并将分阶段适用 [3]。《人工智能法》对人工智能统一定义、全域适用、构建体系化的处罚机制，为全面性、系统性的监管治理提供法律依据。就风险分级而言，欧盟《人工智能法》将人工智能系统基于风险分为不同级别，每级风险都由一套预定义的监管工具来管理。就分类治理而言，欧盟针对类 GPT大模型引入通用目的人工智能专门条款，并延续了风险分级管理思路，将通用人工智能模型进一步区分为是否存在系统性风险两类，并施以不同的合规义务。3.1.2 美国美国联邦层面尚未出台系统性的人工智能安全法。2023年10月，白宫发布《关于安全、稳定和可信的人工智能行政令》 [4]构筑美国人工智能安全监管的蓝图。强调“管理联邦政府自身使用人工智能的风险，并提高其监管、治理和支持负责任使用人工智能造福美国人的内在能力”。出于国家安全考量，行政令首次提出有硬性监管效力的大模型政府报告要求，要求 “存在重大安全风险的强大双重用途基础模型开发者”，向政府报告并分享安全信息、测试信息等。美国多个州，包括科罗拉多、佛罗里达、印第安纳、加州等也开始关注人工智能相关的立法，特别关注高风险人工智能系统开发者的义务等。此外，美国将人工智能技术视作国际战略竞争的关键科技因素，并将人工智能相关技术列入《关键和新兴技术清单》 [5]，明确相关人工智能技术属于对美国国家安全产生重要影响的关键和新兴技术。人工智能各界关注与风险[1] https://ec.europa.eu/commission/presscorner/detail/en/IP_21_1682[4] https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/[2] https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52021PC0206[3] https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ:L_202401689[5] https://www.whitehouse.gov/wp-content/uploads/2022/02/02-2022-Critical-and-Emerging-Technologies-List-Update.pdf3.1.3 中国2017年国务院《新一代人工智能发展规划》[1]奠定中国人工智能法治发展的总基调，提出“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展”。规划在人工智能治理方面提出战略目标：一是到2025年，初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力；二是到2030年，建成更加完善的人工智能法律法规、伦理规范和政策体系。目前，中国《网络安全法》、《数据安全法》、《个人信息保护法》等在涉及人工智能相关场景时可延伸适用。在规章层面，国家网信办联合有关部门，先后针对算法推荐服务、深度合成、生成式人工智能服务等不同应用领域进行针对性立法，保障人工智能健康发展、规范应用。3.2 人工智能安全相关标准与认证围绕AI治理，世界各国政府及产业界积极协作，发布OECD《A