2024报告：生成式AI安全准备报告

1 2024报告2024报告WWW.LAKERA.AI生成式AI安全准备报告2 04 执行摘要2024报告36 方法论2024报告WWW.LAKERA.AIWWW.LAKERA.AI26 第四章：安全措施和最佳实践目录21 第三节：遭遇和管理漏洞16 第二节：使用与感知31 第五章：挑战与未来方向38 贡献者10 第一部分：被调查人背景与组织背景3 诚挚地，前言乔·沙利文2024报告序言WWW.LAKERA.AI与人工智能相关的风险尚未完全显现，但 tại Lakera，我們致力於引領安全人工智能創新的浪潮。我們站在這場革命的潮頭，專注於確保人工智能的益處能够夠安全負責任地享受。大卫·哈伯首席执行官兼联合创始人，Lakera欢迎来到2024年GenAI安全准备报告！随着我们步入生成式人工智能（GenAI）和大型语言模型（LLMs）的变革时代，很明显这些技术正在以深远的方式重塑商业格局。LLMs通过自然语言进行交互和执行任务的独特能力，使黑客领域实现了民主化，使其几乎对任何人来说都触手可及。这种转变突出了针对AI的细微差别制定加强安全措施的必要性。在保护我们的组织方面，人工智能既挑战又颠覆了我们现有的信念、方法和策略。威胁格局就在我们谈论间不断发展变化，但已经很清楚的是，人工智能让我们面临的新威胁比过去我们所见的风险更为复杂和不同。仅靠传统安全措施是无法保护我们的。我们需要在思考如何保护传统软件和未来融合的人工智能系统时，进行范式转变。乌克兰之友首席执行官兼乔·萨利文保安公司总裁人工智能的采用爆发正在从根本上重塑2024年的网络安全格局，为所有网络安全领导者带来了独特的挑战和新的机遇。我鼓励您探索这份报告，以深入了解当前的人工智能安全形势。它汇集了参与人工智能安全的不同利益相关者的观点，包括一些全球顶尖人工智能优先公司的CISO（首席信息安全官）的引言和意见。让我们一起驾驭这片不断发展的领域，建设一个安全的、由人工智能驱动的未来。对于我们的安全领导者来说，这是重新定义我们角色的时刻。我们需要行动起来，帮助我们的组织制定一个新方案，确保我们的员工和客户的安全。Lakera的AI就绪安全报告是一个很好的起点。跨行业，公司们渴望探索和利用人工智能的潜力。从提升客户体验到优化运营，人工智能驱动效率和价值承诺是诱人的。然而，这种热情伴随着解决人工智能安全这一关键需求，该领域仍处于起步阶段。我们的报告强调，各组织在人工智能安全方面的准备程度差异很大，反映了这一挑战的新颖性和复杂性。4执行摘要关键洞察执行摘要2024报告WWW.LAKERA.AI WWW.LAKERA.AI生成式人工智能（GenAI）和大型语言模型（LLM）的快速采用正在改变行业，近90%的组织正在积极实施或探索LLM用例。然而，这种采用浪潮与当前安全措施的置信度极低形成鲜明对比——只有大约5%的组织对其生成式人工智能安全框架表示高度置信。这份报告基于对1000多名安全专业人士的调查，以及来自Lakera AI黑客游戏Gandalf的实地发现，揭示安全风险可能被低估。Gandalf是世界上最大的AI红队演练，已吸引了超过一百万用户参与，包括网络安全专家，以发现漏洞。值得注意的是，超过20万名玩家成功完成了Gandalf七级防御，展示了AI系统多么容易被利用。这些发现与调查见解相互印证，突显了制定强大的、针对AI的安全策略以应对GenAI带来的独特挑战的紧迫性。人工智能应用激增，安全准备不足5“ 大卫·坎贝尔执行摘要2024报告 2024报告WWW.LAKERA.AI WWW.LAKERA.AI规模AI的AI安全风险主管与规模化生成红队德比·泰勒·摩尔网络股份公司及消费技术协会的执行董事我对开始实施人工智能安全措施的组织建议，应在开发生命周期早期就整合人工智能红队演练实践。等到部署之后才行动，可能会让关键漏洞得不到处理。主动进行红队演练有助于在风险被利用之前识别和减轻风险，从而确保更安全的人工智能部署。“我最担心的是那些相信人工智能相关漏洞可以通过传统方法发现和修复的安全专业人士的过度自信。640%60%网络安全体验少数人对安全措施有信心执行摘要对 GenAI 的强烈采用WWW.LAKERA.AI2024报告超过5年经验经验较少当前安全措施的信心水平处于中等至较低，有5%的人将其信心评为5分中的5分。对于现有安全方法在抵御复杂AI威胁方面的有效性存在不确定性，有86%的人对其当前措施持有中等或较低的信心水平。这种谨慎的做法承认了在AI特定威胁和控制方面的经验有限。值得注意的是，超过60%的受访者拥有丰富的网络安全经验，这使其见解具有可信度，并突显了驱动本报告结论的专业知识深度。该调查包括超过1,000名来自广泛职位的受访者，例如开发者、安全分析师以及CISO等高管级别安全职位。这种多样性确保了从组织内不同角度全面理解GenAI安全。多样化的角色和丰富的安全经验712345客户服务（聊天机器人）仅存在适度风险顾虑执行摘要WWW.LAKERA.AI编程辅助GenAI的5大用例数据分析2024报告当前安全测量中的置信水平内部知识库和搜索内容创作（写作、翻译等）尽管38%的受访者对GenAI/LLM漏洞相关的风险高度关注（评分为4或5），但62%的人只表现出中等到低度的关注。看到大多数受访者并不太担心，这是令人惊讶的，因为只有5%的人对自己的控制措施有很高的信心。也许他们认为模型并没有访问机密数据，但用例却表明并非如此。8 2024报告 2024报告现实检查执行摘要WWW.LAKERA.AI WWW.LAKERA.AI创造力可以超越通用人工智能这些发现强调了应对人工智能特定安全领域差距的紧迫性，明确表明仅有关注是不够的—采取行动是当务之急。前七个等级可以在短短45分钟内突破——通常时间更短。拉基拉（Lakera）的AI黑客游戏Gandalf，展示了这些漏洞的实际应用。这款拥有超过一百万玩家（包括网络安全专业人士）的游戏揭示了GenAI系统是多么容易被利用——20万玩家成功通过了游戏的第七关。第七关模拟了最受欢迎的GenAI模型中嵌入的典型安全控制。这个模拟展示了操控AI模型执行非预期操作的可能性。生成式人工智能模型容易被攻破人们快速进化黑客技术4000万独一无二的提示和猜测证明。9 9Alex Jolliet执行摘要阿维纳什·辛哈2024报告 2024报告WWW.LAKERA.AI WWW.LAKERA.AI克里斯蒂娜·里亚加蒂博士这是我们的专家回答的：存在大量可以通过正确的上下文来识别的“未被发现的风险”。两点要注意：1. “一个好的工具永远不会像它的制造者那样好，这有助于使生成式 AI 工具变得更好”。2. “这个工具的有效性只取决于使用它的人的头脑”一个好的 AI 网络安全策略始于雇佣正确的技能。GE医疗保健公司资深员工网络安全麻省理工学院 MITRE ATLAS 首席和值得信赖及安全人工智能部门索菲亚基因高级首席安全工程师先停一停，想一想，再计划一下，再 jumped in。随着AI变得无处不在，信息安全专业人员可能会面临大量内容和资源需要处理，我们需要找到一个务实的出发点。专注于一个主题，制定计划，并按照计划执行，而