基于大语言模型（LLM）的系统安全：关键授权实践

© 2025 云安全联盟大中华区版权所有1© 2025 云安全联盟大中华区版权所有2人工智能技术与风险工作组的官网是https://cloudsecurityalliance.org/research/working-groups/ai-technology-and-risk©2025 云安全联盟大中华区 —— 保留所有权利。你可以在你的电脑上下载、储存、展示、查看及打印，或者访问云安全联盟大中华区官网(https://www.c-csa.cn)。须遵守以下:(a)本文只可作个人、信息获取、非商业用途;(b)本文内容不得篡改;(c)本文不得转发;(d)该商标、版权或其他声明不得删除。在遵循中华人民共和国著作权法相关条款情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。© 2025 云安全联盟大中华区版权所有3© 2025 云安全联盟大中华区版权所有4致谢《基于大语言模型（LLM）的系统安全：关键授权实践》由 CSA 工作组专家编写，CSA大中华区组织 AI 安全工作组进行翻译并审校。中文版翻译专家组翻译组成员：何伊圣卜宋博崔崟邢海韬卞超轶郭建领刘刚审校组成员：崔崟高健凯卜宋博感谢以下单位的支持与贡献：北京启明星辰信息安全技术有限公司天翼云科技有限公司北京百度网讯科技有限公司（以上排名不分先后）© 2025 云安全联盟大中华区版权所有5英文版本编写专家主要作者：Nate Lee、Laura Voicu联合主席：Chris Kirschke、Mark Yanalitis贡献者：Bhuvaneswari Selvadurai、Damián Hasse、Erik Hajnal、Jason Garman、John Jiang、Malte Højmark-Bertelsen、Michael Roza、Tim Michaud审校组：Arsalan Khan、Akhil Mittal、Adam Lundqvist、Alex Rebo、Amity Fox、Dan Gora、Gaurav Puri、Ilango Allikuzhi、Ivan Djordjevic、Ken Huang、Otto Sulin、PrathibhaMuraleedhara、Semih Gelisli、Sven Olensky、Srinivas Inguva、Ravin Kumar、WalterHaydockCSA 全球工作人员：Josh Buker、Stephen Smith在此感谢以上专家及单位。如译文有不妥当之处，敬请读者联系 CSA GCR 秘书处给予雅正！ 联系邮箱 research@c-csa.cn；国际云安全联盟 CSA 公众号。© 2025 云安全联盟大中华区版权所有6目 录致谢 ............................................................ 4引言 ............................................................ 7目标读者 ........................................................ 8范围 ............................................................ 8原则 ............................................................ 9基于LLM的系统的组成部分 ........................................ 10编排器 ...................................................... 11向量数据库 .................................................. 11LLM缓存 ..................................................... 12验证器 ...................................................... 12机器学习的安全运维（MLSecOps） .............................. 13挑战和注意事项 ................................................. 14提示注入 .................................................... 15系统与用户提示 .............................................. 16微调与模型训练 .............................................. 17使用LLM的系统的常见架构设计模式 ................................ 19检索增强生成（RAG） ......................................... 19上下文数据 .................................................. 19使用向量数据库的RAG访问 ..................................... 21使用关系数据库的RAG访问 ..................................... 23使用API调用外部系统的RAG .................................... 26LLM系统编写和执行代码 ....................................... 29基于LLM的自主智能体 ......................................... 33结论 ........................................................... 36© 2025 云安全联盟大中华区版权所有7摘要自 2022 年 ChatGPT 等生成式 AI 应用推出以来，越来越多的组织开始利用大语言模型（LLM）解决各种业务问题。尽管发展迅速，但安全设计这类系统的的正式指导和最佳实践依然匮乏，特别是在涉及 LLM 外部数据源或 LLM 参与决策过程的场景中。LLM 的非确定性，及缺乏明确的控制和数据平面的特点，为系统架构师和工程师带来了独特的挑战。这些挑战影响了集成 LLM 的系统的安全性和授权机制。本报告旨在为工程师、架构师以及隐私和安全专业人士提供指导，帮助他们深入理解在设计使用 LLM 的系统时所面临的特定风险与挑战。本报告探讨了授权和安全相关的潜在风险，并说明了需要特别注意的事项。本报告概述了将 LLM 集成到更广泛系统中的设计模式和最佳实践，涵盖了扩展LLM 功能的高级模式，如添加上下文或实现与其他组件和服务的交互。每种模式都有相应的推荐实践、注意事项和常见误区，帮助系统架构师更有效地权衡设计决策。关键原则