关于人工智能治理，10个问题应该被问及：代理型AI风险与金融服务业韧性

关于人工智能治理，10个问题应该被问及：代理型AI风险与金融服务业韧性© Oliver Wyman2 金融机构一直都在从事风险定价的业务。 每一项信贷决策、交易、保险单以及客户互动都包含着机构需要评估和管理并承担相应责任的风险。正是因为这种问责制被高度重视，金融监管的整个架构，从资本要求、模型验证到行为准则和审计标准，才得以存在。自主AI改变了控制框架需要“捕捉”的内容。 主要挑战并非规模；信用模型多年来一直在加速决策，交易算法自20世纪90年代以来以毫秒级速度调整头寸，欺诈检测系统在过去十年中近乎实时地处理了数百万笔交易。行业已习惯于规模——它在模型风险框架下管理这些系统，并且总体上做得相当称职。AI代理的不同之处不在于它做出了多少决策，而在于有多少决策事先并未指定。它的输出空间并非固定。它选择自己的答案路径，调用工具，并且可以在批准时无人预料的方式行事。这是一种范围而非处理能力的改变，这也是现有控制框架感到挣扎的原因。我们无法用人类速度的治理来管理机器速度的风险。自主型人工智能并未消除这种问责制。 改变的只是问责制的执行机制。金融风险治理建立在一个假设之上，该假设在其大部分历史时期内都成立：错误以人类速度发生，一次一个决策。一名贷款员批准了信用不良的贷款。一名交易员做出了错误的判断。一名客户关系经理错误地销售了产品。这些事件代价高昂，会发生，但它们发生在旨在逐个捕获它们的控制框架之内。自动化决策多年来一直在侵蚀这一假设，而自主型人工智能则消除了其残余。模型只能在你们预料的方面出错。而智能体可以在无人列举的方面出错，在任何人看到模式之前，这种情况会重复成千上万次。然后，这些错误就被规模化生产了。© Oliver Wyman3 横向的，而非各自为政的风险结果是在该机构应负责的范围与其当前控制力所能实际监管的范围之间存在治理差距。这种差距体现在四个不同的方面。1987年，一系列各自理性且管理得当的相关投资组合保险计划同时触发，导致道琼斯工业平均指数单日下跌22. 6%。十年后，长期资本管理公司（LTCM）进行约25倍杠杆的相对价值趋同交易。当1998年8月俄罗斯违约引发避险情绪时，利差变动远超其模型所认定的合理范围，该基金未能持有头寸足够长的时间来证明其正确性。为避免混乱的清算，纽约联邦储备银行协调14家机构注资36亿美元对其进行资本重组。未动用公共资金。这两起事件都带来了同样的教训：风险已经超出了为控制它而建立的管理机制。由此而重建于整个行业中的治理架构，如今已成为其脆弱之处。 它依然围绕个体风险类型进行组织，例如信用风险、欺诈风险、市场风险和运营风险，每种类型都有其自身的流程、监督机制和治理结构。人工智能并不尊重现有的架构。它具有横向穿透性和快速性。单个人工智能系统可以同时影响信用决策、欺诈检测、定价、客户建议以及运营流程。当其偏离方向、失效或被攻破时，其影响将以机器速度波及所有风险类别。© Oliver Wyman4 2. 对抗风险自主权风险3. 相关风险人工智能带来的风险环境四大变化当机构部署基于相似数据训练、以相似目标进行优化的AI系统时，整个市场都存在以机器速度进行关联行为的条件。 1987年的股灾是最清晰的先例：每个程序在孤立状态下都是理性的，但在整体汇总时却同时触发。如今，在AI驱动的信贷、交易和风险管理系统中，存在类似动态的条件，覆盖更广泛的资产类别，并且执行速度比当时更快。许多机构都在运行代理程序，用于扫描信号、重新平衡敞口和执行交易。当触发条件出现时，这些系统不会犹豫。当人们恐慌时，他们会打电话给某人，并且可能在行动前等待。而算法不会。经典模型风险框架假设一个具有固定输入、离散输出的模型，并围绕这两者构建验证流程。 而智能体打破了这一假设。它可以规划多步任务、调用工具、将任务委托给其他智能体，并在两次运行相同提示时选择不同路径得到不同答案。没有单一决策需要验证，只有一系列相互关联的决策链，其执行速度远快于人肉审查者能够跟进。审计这一决策链，不仅要了解智能体做了什么，还要理解其推理过程，这是大多数机构目前尚未具备的能力。为单一模型和单一输出构建的风险框架不能简单地扩展以覆盖这种情况，它必须被重新构建。恶意行为者正直接针对人工智能系统，而不仅仅是客户。 逆向工程模型、设计对特定系统看似合法的输入，或在人工智能处理的内容中嵌入隐藏指令等对抗性技术，已不再是理论概念。2025年，一个广泛部署的企业级人工智能助手曝出了一个关键漏洞：一封精心构造的电子邮件即可导致系统在无需用户交互的情况下静默地窃取内部数据。攻击面涵盖了所有摄入外部内容（如电子邮件、文档和申报文件）的人工智能系统，而这类系统现在构成了大多数大型金融机构技术架构的重要组成部分。© Oliver Wyman5 4. 检测延迟在当今大多数机构的AI治理问题上，人人都有份，但又无人拥有。当一个AI模型带有缺陷假设时，它不会立即失效。 它能在规模上持续稳定运行数周或数月，而问题则会逐渐累积。信用损失、有害行为、模型漂移和定价错误等问题可能要到后期才会显现，届时风险敞口早已累积扩大。AI风险在执行上可能很快，但在发现上却很慢。这种结合使其与现有周期性控制旨在捕捉的风险在结构上有所不同。发展最快的机构正在为AI风险指定一名负责的负责人——不是委员会，也不是由首席风险官、首席技术官和首席数字官分担的共同责任——而是一个单一的、有明确姓名的个人，其绩效评估取决于这一点。高级问责制度已经在许多市场存在，包括英国的“高级管理人员和认证制度”和澳大利亚的“财务问责制度”。然而，在大多数机构中，目前还不存在将这些制度与单个AI系统进行映射的做法。通常，一名高管可以说明他们负责哪些业务服务。但能说出哪些AI系统代表他们行事、这些系统被允许做什么以及谁批准了这种权限的人却少得多。© Oliver Wyman6 响应不能超过人为疏忽对人类判断的影响是，它并没有变得不那么重要，而是在更小的决策集中变得更为重要。这些问题是治理设计层面的问题。从根本上说，它们也是领导力层面的问题。治理缺位时，本能的制度性应对是加强监管：增加审查者、增加委员会和增加检查点。 然而，在人工智能赋能的环境下，这种应对方式将无法扩展。玻璃翼计划（Project Glasswing），一个于2026年4月启动的联盟，由亚马逊网络服务（Amazon Web Services）、Anthropic、苹果（Apple）、博通（Broadcom）、思科（Cisco）、CrowdStrike、谷歌（Google）、摩根大通（JPMorgan Chase）、Linux基金会（Linux Foundation）、微软（Microsoft）、英伟达（NVIDIA）和帕洛阿尔托网络（Palo Alto Networks）作为创始合作伙伴共同发起，具体展示了大规模AI防御的形态。该项目利用前沿AI模型扫描了超过1000个开源项目，并识别出超过6000个高或严重等级的漏洞，其中一些漏洞已存在于广泛部署的软件中近三十年。数个合作伙伴报告称，与先前的安全审查流程相比，漏洞检测率