云上人工智能安全发展研究报告（2025）

报告愿景及目标读者在数字化浪潮推动下，云计算与人工智能成为各行业变革的核心动力。云计算以强大算力和灵活资源为人工智能发展提供坚实基础，人工智能则赋能云服务实现智能化，两者深度融合，引领智能云时代。随着云计算技术成熟及市场快速扩张，全球云服务提供商持续扩大数据中心规模，优化架构以满足数字化转型需求。与此同时，人工智能在自然语言处理、计算机视觉、机器学习等领域取得突破，广泛渗透金融、医疗、制造、交通等行业，创造巨大商业价值。然而，云上人工智能的普及也带来了显著安全挑战。数据在存储、传输和处理过程中面临泄露、篡改和滥用风险；模型训练和应用遭受窃取、中毒及对抗攻击等威胁；云基础设施的漏洞及多租户环境中的隔离不足也增加系统风险。这些安全隐患不仅威胁企业数据和业务连续性，还可能对个人隐私、公共安全甚至国家安全造成严重影响。本报告从云上人工智能安全概述、云上大模型安全风险分析与防护体系建设、云上人工智能安全发展趋势展望等方面进行深入解读和细致分析，全面覆盖云上人工智能的安全现状与挑战。通过剖析大模型在云环境中的安全风险及防护实践，探讨多方协同与技术创新驱动下的安全治理新模式，为云上人工智能安全建设提供系统性解决方案与发展参考。主要撰稿人马铭洋、郭雪、卫斌、李忠权、贾金鹏、喻洪莲、王浩硕、宋志明、王锴、周飞、何亮忠、常三强、李军华、江为强、郭中元、程艳、张然、姚杨、曾祥楷、饶飞、徐正军、王龑、唐佳伟、王晨迪、吴剑刚、张暴、肖鹏、靳莉、王睿超、梁雷、马乐乐、岑黎光、孙侠、荆昆仑、张建伟、梅瑞、郑淼、蔚永强、李志伟、王新洋、刘冰、毛昱、蔡义祥、胡毅勋、陈希宁、潘文伦、柳晶、冯子祥、张俊强、杨柳、栗伟清、刘涛、金士英、夏营、廖文、徐钟豪、刘宇馨、刘岩致谢本报告在撰写过程中得到了以下单位和个人的支持和帮助，在此表示感谢。由于撰稿时间有限，行业态势变化快，如有疏忽和纰漏，欢迎批评指正。中国信息通信研究院、阿里云计算有限公司、中国移动通信集团、天翼云科技有限公司、中移（苏州）软件技术有限公司、中国平安人寿保险股份有限公司、科大讯飞股份有限公司、华为云计算技术有限公司、腾讯云计算（北京）有限责任公司、浪潮云信息技术股份公司、蚂蚁科技集团股份有限公司、奇安信科技集团股份有限公司、启明星辰信息技术集团股份有限公司、北京天融信网络安全技术有限公司、瑞数信息技术（上海）有限公司、北京百度网讯科技有限公司、中兴通讯股份有限公司、北京知道创宇信息技术股份有限公司、中电云计算技术有限公司、北京兴云数科技术有限公司、北京金山云网络技术有限公司、北京海泰方圆科技股份有限公司、北京神州绿盟科技有限公司、北京云起无垠科技有限公司、上海斗象信息科技有限公司（排名不分先后）目录一、 云上人工智能安全发展概述 .............................................1（一） 云上人工智能产业生态深度演进，服务模式多元化与安全挑战并存 ... 11． 产业生态持续发展，市场驱动与技术赋能协同共进 ............... 12． 服务模式体系多元适配行业需求，面临差异化安全风险挑战 ....... 3（二） 云上人工智能安全面临多维度风险困境，需以协同创新筑牢防护屏障 . 61． 面临系统性安全风险，亟需构建全栈协同防护体系 ............... 62． 构建多元安全技术协同创新体系，筑牢产业高质量发展安全屏障 ... 73． 多元主体协同发力，构建健全云上人工智能安全生态 ............ 10（三） 云上人工智能安全相关法律法规不断完善，标准化治理加速推进 .... 11（四） 云上人工智能安全发展意义重大，多维价值支撑产业前行 .......... 121． 筑牢企业业务安全防线，夯实高质量发展根基 .................. 122． 激活技术创新发展动能，拓展产业应用边界 .................... 133． 筑牢社会公共安全屏障，维护数字时代稳定 .................... 144． 提升企业安全防线，夯实高质量发展根基 ...................... 14二、 云上人工智能安全风险分析与防护体系建设 ..............................16（一） 云上人工智能安全风险分析，全流程暴露安全隐患 ................ 161． 准备阶段：数据与基础设施风险 .............................. 162． 训练阶段：模型安全与对抗攻击风险 .......................... 173． 推理部署阶段：模型完整性与访问控制风险 .................... 194． 集成应用阶段：内容安全与多模态攻击风险 .................... 20（二） 云上人工智能安全防护体系建设实践，全链条筑牢安全防线 ........ 211． 明确云上人工智能安全防护需求，锚定防护目标方向 ............ 212． 构建全链覆盖人工智能风险治理框架，统筹安全治理路径 ........ 253． 建立云上人工智能风险识别与预警机制，提升安全防御能力 ...... 324． 提升云上人工智能风险系统综合治理能力，强化整体防控效能 .... 335． 健全标准建设与模型应用风险评估，规范安全评估流程 .......... 346． 完善云上人工智能风险响应与恢复方案，筑牢安全兜底保障 ...... 35三、 云上人工智能安全发展趋势展望 ........................................36（一） 技术创新驱动安全升级 ........................................ 361． 人工智能赋能安全实现主动智能防御，以智能技术反制风险 ...... 362． 人工智能安全技术创新，构建协同发展新生态 .................. 373． 开源技术驱动人工智能安全创新与产业协同发展 ................ 38（二） 多方协同联动构建全链条安全防护生态 .......................... 401． 强化企业主体协同，夯实安全治理技术根基​.................. 402． 深化产学研用联动，增强安全治理创新动能​.................. 413． 推进企业自律与行业协同，共筑安全治理防线​................ 42（三） 完善标准应用筑牢产业规范发展根基 ............................ 421． 健全标准体系架构实现全链条覆盖​.......................... 432． 强化标准推广应用提升产业执行效能​........................ 44（四） 多层次的人工智能安全治理体系建设 ............................ 451． 深化产业协作，凝聚多方安全治理合力​...................... 452． 健全风险防控，提升