白皮书关于对网络安全领域可解释人工智能的全面调查

由N Eswari Devi女士、N Subramanian博士、N Sarat Chandra Babu博士编制MGR知识城，CIT校园，特拉马尼，钦奈 – 600 113白皮书关于电子交易与安全学会（SETS）在印度政府首席科学顾问办公室之下对网络安全领域可解释人工智能的全面调查 1.1 背景 1.2 目的和范围1.3 论文结构SETS | XAI在网络安全领域该研究方法论文的结构如下：XAI基础部分提供了可解释人工智能的概念、技术和在人工智能模型中可解释性的重要性概述。XAI在网络安全部分探讨了XAI在网络安全任务中的应用和好处。相关研究回顾部分总结了该领域现有的研究，突出与网络安全中的XAI相关的方法和发现，同时纳入了国家与国际的努力。随后，XAI在网络安全中的挑战部分讨论了在网络安全系统中实施XAI的局限性以及潜在的对立威胁。最后，该研究方法论文以关于未来方向的见解作结，提出了XAI在网络安全方面的研究方向和问题。该研究于2004年开始，重大突破始于2014年左右，当时DARPA宣布了其XAI项目。根据DARPA [3]，XAI的目标是“在保持高水平的学习性能（预测准确性）的同时，生成更多可解释的模型；并使人类用户能够理解、适当信任并有效管理新兴的人工智能伙伴”。人工智能通过提升威胁检测、预防和响应能力，显著增强了网络安全。根据2024年2月发布的NASSCOM报告，印度的人工智能市场正以25-35%的复合年增长率增长，预计到2027年将达到约170亿美元。[4]人工智能系统通过分析大量数据以识别异常、检测恶意软件和预测潜在的网络安全威胁。它们自动化威胁情报收集和事件响应，使快速有效的应对措施成为可能。人工智能还优化了扫描和修补流程，增强了漏洞管理，并强化了用户行为分析，以检测内部威胁和欺诈。此外，将人工智能集成到网络安全框架中不仅加强了防御机制，还增强了预见和应对复杂网络攻击的能力，确保了更加坚固和有弹性的数字环境。这是一篇方法论文。 专注于在国内外层面进行的“可解释人工智能（XAI）”在网络安全领域的相关研究成果。理解模型的决定也解决了公平性问题，并在调试模型方面提供帮助。2. 网络安全中的可解释人工智能（XAI）2.1 人工智能在网络安全中的作用 2.2 XAI在网络安全中的必要性SETS | XAI在网络安全领域一项关于XAI在网络安全领域的简短调查列出了几个支持可解释性实施的XAI工具包和库[8,9]。通过对244篇文献的详尽综述，突出了使用深度学习技术（如入侵检测系统、恶意软件检测、钓鱼和垃圾邮件检测、僵尸网络检测、欺诈检测、零日漏洞、数字取证和加密挖矿）在网络安全领域的各种应用。他们的调查还考察了这些方法中可解释性的当前使用情况，确定了有前途的工作和挑战，并提供了未来的研究方向。它强调了需要更多的形式化，强调了人机交互评估的重要性，以及对抗性攻击对XAI的影响[10]。关于将XAI应用在网络安全领域划分为三组的研究，例如：针对网络攻击的防御性应用、各行业在网络安全方面的潜力、针对XAI应用的网络安全对抗威胁以及防御方法。他们还强调了在网络安全领域实施XAI面临的挑战，并强调了标准化可解释性评估指标的重要性 [12]。可解释人工智能已成为安全领域的关键，因为它增强了透明度、信任和问责制。XAI在网络安全中的关键性之一在于其促进AI系统决策过程的透明度和信任。它帮助网络安全专业人员理解为什么一个AI模型将某个活动标记为恶意或良性。通过使AI系统的运作透明化，XAI允许持续优化和改进。统计数据表明，与2021年同期相比，2022年第三季度全球攻击增加了28%[5]。从三个网络安全利益相关者的角度出发，可解释方法的使用包括：1）设计者，2）模型用户，3）对手。他们的工作彻底审视了各种传统和安全特定的解释方法，并探索了有趣的研究方向[6]。X_SPAM方法结合了机器学习技术随机森林和深度学习技术LSTM来检测垃圾邮件，利用可解释人工智能技术LIME通过解释分类决策来增强可信度[11]。XAI提供对模型决策过程的洞察，使得能够识别和纠正偏差。这确保了网络安全措施是公平和无偏见的，维护了安全协议的完整性。在聚焦于网络安全中的可解释人工智能（XAI）应用，特别是在公平性、完整性、隐私和健壮性方面时，很明显，现实场景通常是Gautam Srivastava [7] 专注于XAI在特定技术领域的应用，如智能医疗、智能银行、智能农业、智能城市、智能治理、智能交通、工业4.0以及5G及以后的技术。 SETS | XAI在网络安全领域掩码和隐藏是用于在实现层面保护秘密信息的对策。但是，AI算法在击败这些对策方面是有效的。在SCA（侧信道攻击）中，ExDL-SCA（基于深度学习的SCA的可解释性）方法被用来理解这些对策对AI辅助SCA的影响[21]。这有助于开发者评估实施对策的安全性。此外，XAI（可解释人工智能）在硬件木马检测[81]中也发挥着重要作用。图1描述了XAI在网络安全各个领域的应用。一种称为真理表深度卷积神经网络（TT-DCNN）的可解释神经网络，其内部结构具有可解释性，被用于执行SCA。通过将神经网络（NN）转换为SAT方程，实现了互操作性，以了解NN模型学到了什么[20]。XAI在网络安全威胁情报（CTI）中的应用跨越了三个主要主题：钓鱼分析、攻击向量分析和网络安全防御开发[14]。另一项研究[15]讨论了现有方法在安全日志分析等应用中的优势和担忧，并提出了一个设计可解释和隐私保护的系统监控工具的流程。在人工智能辅助的侧信道攻击（SCA）中，特征/兴趣点（PoI）对秘密信息的检索起到了贡献作用。对那些对决策贡献最大的特征/兴趣点（PoI）的可解释性进行了解释[19]。这有助于通过识别潜在的脆弱泄露点和实施适当的对策来验证设计对侧信道攻击的抵抗性。侧信道分析（SCA）通过分析物理发射如功耗、电磁泄露或定时信息，从加密设备中提取机密信息。AI算法在增强SCA轮廓方面发挥着重要作用。AI算法用于识别大型数据集中的模式，并用于识别侧信道发射与机密信息之间的微妙相关性[17,18]。训练数据集在任何机器学习应用中都起着至关重要的作用。可解释AI（XAI）有助于检测高度不平衡的数据集和纠正偏差，从而提高系统的鲁棒性。可解释安全（XSec）[16]的概念解决了XAI系统的安全问题，提供了一个关于如何确保这些系统安全的全面回顾。XAI在网络安全应用中变得越来越重要，因为缺乏可解释性会损害对AI预测的信任。除了可解释性之外，用于网络安全的AI模型还必须保证准确性和性能。被忽视。此外，当前用于防御XAI方法的对策是有限的[13]。 • • • • • 图1：可解释人工智能在网络安全中的应用SETS | XAI在网络安全领域勒索软件 &恶意软件检测硬件安全入侵检测系统可解释人工智能在安全领域的应用对于所有利益相关者网络僵