大模型和智能体安全风险治理与防护

大模型和智能体安全风险治理与防护分享人：李滨2025年7月8日AI技术带来新的生产驱动力，企业数字化进入“大模型时代”专家系统 1968知识表征 1974XCON 1980支持向量1995语义网络线路图 1998AlexNet 2012ResNet 2015联邦学习2016Transformer 2017GPT-O3NLP神经网络 2013算力瓶颈1990计算机视觉 1976深度学习2006条件随机场 2001GPT-4图神经网络 2005BERT2018BP算法 1986CgatGPTAI进入“大模型”时代感知机 1957GeminiAlphaGoAI超越图灵测试的人工智能标准，使机器开始像“人”一样与用户交流。以大模型生成技术为核心的人工智能正在成为下一轮经济增长的关键动力，也为解决产业痛点带来了全新的思路。深蓝击败卡斯帕罗 1995达特茅斯会议 1956Deepseek-R1QWEN-3混元大模型在企业应用场景中的十大常见安全风险样本投毒（数据污染）恶意利用（Prompt注入攻击）代码辅助工具数据泄露（第三方代码辅助工具）第三方代码依赖风险（开源模型/库污染）自动化Agent权限滥用误用0102030405自建模型平台暴露面过大模型数据和隐私泄露模型推理劫持（对抗样本攻击）AI伦理与偏见放大开源模型滥用（深度伪造与辅助犯罪）0607080910人工智能与大模型的风险组成结构• 敏感信息泄露风险：越狱攻击输出受控内容；• 应用开发安全风险：编码规范、风险开源组件；• 应用服务风险：api攻击，web服务攻击、ddos攻击；• 业务安全风险：批量注册、恶意引导、内容爬取；大模型应用的安全风险结构大模型应用安全• 开发框架风险：框架漏洞(包含组件漏洞)；• 开放数据集及训练工具风险；• 污染的开放数据集风险；大模型运行环境安全• 数据泄露的风险(私有数据集、模型文件、个人隐私)；• 供应链安全风险：木马后门、组件漏洞；• 越狱风险；• prompt 指令数据泄漏；大模型本体内生安全• 基础设施自身的安全性：操作漏洞风险、计算资源漏洞风险权限设置不当风险；• 基础设施的运维安全性：误操作、违规操作；大模型基础设施安全训练推理部署大模型安全端到端过程的风险分析大模型越狱攻击方法和威胁模型MCP协议和应用生态风险：从传统漏洞到AI控制系统性的安全疏忽Ø身份认证机制缺失Ø权限控制不足Ø缺乏审计追溯能力Ø默认配置不安全MCP协议设计初期以“便利”和“易用”为主要考量，缺乏基础安全控制机制针对AI的新型混合攻击Ø工具投毒（Tool Poisoning）Ø规划线路僭越（Line Jumping）Ø存储式提示注入Ø级联幻觉攻击ØRAG上下文污染结合传统漏洞与AI特性的新型攻击模式，实现语义层面的控制新的供应链安全风险ØMCP生态的"漏洞债务"Ø“木偶”攻击/ 恶意服务器伪装Ø“地毯抽拉”攻击(Rug Pull)Ø跨服务器恶意调用链社区驱动的生态系统缺乏治理，形成信任匮乏的软件供应链混淆代理人问题Ø身份管理一致性缺失Ø权限提升攻击Ø双向混淆代理人风险Ø多智能体系统复杂性权限传递不一致导致的越权访问和权限滥用传统漏洞攻击链放大Ø命令注入（43%实现存在）ØSSRF（30%实现存在）Ø路径遍历（22%实现存在）ØSQL注入转提示注入经典安全漏洞在AI环境中被显著放大，升级为控制面攻击12345发现传统应用漏洞（如SQL注入）注入恶意提示到数据库AI读取被污染的上下文执行恶意指令控制AI行为横向移动扩散影响MCP与Agentic场景下攻击链的变化：智能体应用场景的主要风险点Agent集群主Agent模型层认知层LLM 大语言模型(推理・理解・生成・规划)工具交互层工具选择与调用逻辑环境交互层感知与观察Agent通信与协作认知与意图管理(评估・决策・规划)记忆与状态管理(短期・长期・上下文)其他AgentLLMMCPServerTools本地MCP服务资源(Resource)工具（Tools）提示词(Prompt)交互层用户多模态交互接口文本 / 语音 / 视觉 / 图形事件服务其他AgentLLMMCPServerToolsSSESTDIO协调平台MCP/A2A感知执行输入结果远程MCP服务知识库（RAG）API工具（Tools）资源(Resource)提示词(Prompt)代码执行幻觉/校准不足/对抗样本推理劫持/模型规避记忆投毒/篡改/注入意图劫持/操纵/混淆决策干扰/注入提示词注入/信息泄露本地越权访问/敏感信息窃取命令注入/代码执行跨智能体/信息域的越权访问身份仿冒/越权访问流氓智能体/决策操纵通讯投毒/篡改/注入v3.4 Author: freedemon@msn.com提示词注入/泄露/混淆/绕过违规输出/信息泄露侧信道注入/篡改/欺骗大模型风险评估与控制方法框架大模型安全治理框架安全治理：腾讯大模型安全治理框架部署环境安全训练过程安全安全基准安全运营安全管控计算环境安全访问与身份安全运行环境安全网络安全身份安全开发安全安全运维应用安全模型训练模型推理及部署模型应用向量数据库安全模型安全GPU芯片安全大模型安全标准安全基准策略数据安全数据采集安全样本对抗输入输出内容安全数据使用安全数据存储安全供应链安全Red teaming测试工具及平台风险监测及响应大模型安全治理框架监管要求标准体系API安全满足监管要求，提供安全、可控、可靠的服务业务阶段模型训练安全风险安全防护训练数据泄露训练代码泄露模型架构泄露模型参数泄露推理部署业务应用可用性风险DDoS攻击造成服务中断、性能下降应用攻击风险API越权访问风险API命令注入攻击敏感数据泄露安全隔离专区敏感数据防外传/防删除数据独立隔离存储主机操作审计&监控主机安全防护代码安全扫描Web漏洞扫描云原生微隔离账号风控安全内外部安全众测蓝军攻防演练大模型威胁情报核心技术攻防对抗模型引擎密码学技术机器学习图计算分析敏感数据识别主机/容器安全腾讯大模型安全防护方案模型输入安全安全合规风险提示注入风险数据投毒风险模型输出安全黄色、暴力、涉恐等违法违规内容泄露个人隐私大模型滥用风险DDoS攻击防护API安全防护基础服务组件/AI组件风险后门植入风险账号盗用风险未授权访问风险内部横向移动风险漏洞入侵风险钓鱼攻击风险弱密码风险数据库访问控制数据加密防篡改内容安全过滤Prompt安全检测基础设施安全风险大模型安全防护整体架构围绕大模型的生命周期，根据不同阶段的风险制定对应安全防护措施和策略重点5：数据安全全流程安全治理重点3：智能体与MCP身份和特权防护重点1：边界API与用户输入输出安全重点2：模型运行环境安全防护和态势管理重点4：智能体行为与意图安全管控边界与API安全：腾讯 LLM-WAF 大模型智能安全防护网关企业用户平台用户提问内容模型返回内容APPWeb小程序请求风险消耗拦截不当内容提示词攻击正常返回LLM-WAF 大模型安全防护平台请求风险不当内容数据泄露提示词泄露正常返回大模型服务源站Deepseek混元大模型Qwen2.5阶跃星辰大模型业务安全防护大模型生成内容安全过滤注入攻击BOT 攻击API 越权算力消耗内容安全提示词攻击数据泄露WAF + 大模型安全引