可信AI操作指引（V0.5版）

1可信 AI 操作指引（V0.5 版）1 前言人工智能（AI）技术和应用的发展正在呈现加速趋势，在大力推动经济社会创新发展的同时，人工智能暴露出难以解释、偏见歧视等普遍性风险，人工智能信任问题也日益受到重视。为进一步细化《人工智能行业自律公约》文件要求，构建健康的人工智能产业发展环境，中国人工智能产业发展联盟特组织开展《可信 AI 操作指引》的编写工作。2 适用范围本文件规定了可信 AI 的概念，详细阐述了 AI 系统的可信要求，旨在为人工智能产业健康发展提供参考。本文件在现阶段适用于 AI 系统提供方，主要是指研究、设计、制造、运营和服务人工智能系统的企业、高校、科研院所、行业组织、个人以及其他实体。并且，在适用于 AI系统提供方的同时，也要综合考虑 AI 系统部署情况以及运行环境等。另外，本文件只适用于较成熟的商用 AI 系统，不适用于非商业化，及处于研究或实验阶段中的 AI 系统。3 概念本文件中所指的“可信 AI”，即人工智能在技术、产品、2应用、运营、管理等方面，应能遵循以人为本、公平公正、增进民生福祉、防止危害社会、避免侵犯公众利益和个人合法权益的总原则，并能够重点满足《人工智能行业自律公约》中可靠可控、透明可释、保护隐私、明确责任、多元包容等基本要求。当前，本文件中所指的“可信 AI”聚焦于人工智能系统，即“可信的人工智能系统”。4 使用说明本文件在第 5 节《可信要求》中，对所有 AI 系统提出了通用的基本要求和实践指引。建议 AI 系统提供方可根据不同的应用场景和技术领域，参考第 5 节《可信要求》中的内容做出具有针对性的实践操作。5 可信要求可信 AI 应满足可靠可控、透明可释、保护隐私、明确责任、多元包容等五项基本要求。依据现阶段人工智能技术发展水平和产业界的实际情况，本文件规定了三个级别的要求等级，代表了不同的重要性、通用性和可操作性，由强到弱分别为一级要求、二级要求和三级要求，分别对应文中“应”、“宜”、“可”的文字描述，其中一级要求共 30 条，二级要求共 25 条，三级要求共 5 条，具体如表 1 所示。3表 1 可信要求等级对照表基本要求具体要求要求内容要求等级（一级：★，二级：★★，三级：★★★）5.1 可靠可控5.1.1 系统安全性5.1.1 1）★★5.1.1 2）★★5.1.1 3）★★5.1.1 4）★★★5.1.1 5）★5.1.1 6）★★5.1.1 7）★★5.1.2 系统成熟度5.1.2 1）★5.1.2 2）★★5.1.2 3）★★5.1.3 系统稳健性5.1.3 1）★★5.1.3 2）★5.1.3 3）★★5.1.4 人类对系统的监督和接管能力5.1.4 1）★5.1.4 2）★5.2 透明可释5.2.1 系统决策过程描述5.2.1 1）★5.2.1 2）★★5.2.1 3）★5.2.1 4）★45.2.1 5）★5.2.2 系统技术意图描述5.2.2 1）★5.2.2 2）★5.2.3 系统可复现性描述5.2.4 1）★★5.2.4 2）★★★5.2.4 外部监督和审查渠道5.2.5 1）★5.2.5 2）★★★5.3 保护隐私5.3.1 数据收集使用合法合规5.3.1 1）★5.3.1 2）★5.3.1 3）★5.3.1 4）★5.3.1 5）★5.3.2 数据主体隐私保护5.3.2 1）★5.3.2 2）★5.3.2 3）★5.3.2 4）★5.3.2 5）★5.3.3 未成年人隐私保护5.3.3 1）★5.3.3 2）★5.3.4 确保数据安全5.3.4 1）★★5.3.4 2）★★5.3.4 3）★★5.3.5 防范数据泄露5.3.5 1）★★5.3.5 2）★★55.3.5 3）★★5.3.5 4）★5.3.5 5）★★★5.4 明确责任5.4.1 明确权利义务5.4.1 1）★★5.4.1 2）★★★5.4.2 确定责任主体5.4.2 1）★★5.4.2 2）★5.4.2 3）★★5.4.3 探索 AI 创新保险机制5.4.3 1）★★5.4.3 2）★★5.4.3 3）★★5.5 多元包容5.5.1 产品需求多样化5.5.1 1）★5.5.2 2）★★5.5.2 训练数据全面化5.5.2 1）★5.5.2 2）★5.5.3 算法公平性测试验证5.5.3 1）★★5.5.3 2）★具体可信要求内容如下：5.1 可靠可控确保人工智能系统在其整个生命周期内安全、可靠、可控地运行。评估系统自身安全和潜在风险，不断提高系统的成熟度、稳健性和抗干扰能力。确保系统可被人类监督和及时接管，避免系统失控的负面影响。65.1.1 系统安全性1）对于 AI 系统输入环节，影响系统安全性的因素有：常规信道攻击(重放攻击)、传输信道攻击和侧信道攻击等传感器欺骗手段。针对以上问题，AI 系统提供方宜采取传感器增强(忽略相应的攻击频段)、输入滤波等措施来检测恶意破坏系统构造的攻击信息,实现对系统输入环节的安全增强。2）对于 AI 系统数据预处理环节，影响系统安全性的因素有：插值算法逆向、轮询推测还原等重采样攻击手段。针对以上问题，AI 系统提供方宜采取对输入预处理引入随机化或重采样等质量监测等方法来增大攻击难度。3）对于 AI 系统机器学习模型训练环节，影响系统安全性的因素有：数据投毒、攻击模型后门、对抗样本、逆向、萃取等攻击手段。针对以上问题，AI 系统提供方宜采取鲁棒性机器学习、数据清洗等方法，使污染数据和正常数据产生分布差异；采取检测还原后门、输入过滤、神经元剪裁等策略去除后门；采取直接对抗训练、梯度掩模、输入变化、模型集成、模型正则化、可验证性防御、引入随机波动、对抗样本检测等方法进行对抗样本防御；采取定期删除无关训练细节、差分隐私模型、联邦学习等方法进行逆向防御；采用近似处理、模型水印等方法进行萃取防御。4）对于 AI 系统输出环节的劫持、篡改、逆向、萃取等攻击手段，AI 系统提供方可采取输出值近似处理、引入随机7波动、限制近似数据频繁访问等方法来提高攻击难度。5）AI 系统提供方应对系统进行安全测试，以预防潜在的风险。对于代码漏洞风险，AI 系统提供方可利用模糊测试等传统漏洞检测方法进行预防；对于学习偏差、过拟合等问题，AI 系统提供方可根据系统实际情况进行测试样本触发潜在异常的检测，还可以通过输入预估网络，进行是否触犯安全限定检查。6）AI 系统提供方宜对系统部署安全监控，建议在安全事故前测压演练，事故中实时监控，事故后故障分析，并且定期维护，及时调优，保证能够及时发现、解决或避免系统的安全问题。7）AI 系统提供方宜建立物理安全隔离区域，并且只允许专业人员进行维护，有效避免恶意攻击以及潜在竞争对手的破解。5.1.2 系统成熟度1）AI 系统提供方应根据应用场景，为用户提供相适应的解决方案，精准化选择准确率指标、测试方法以及测试数据集等。2）AI 系统提供方宜针对系统成熟度开展自评估测试，综合考虑准确率以及其他可能对系统成熟度造成影响的因素，如时间间隔1、业务并发量2和可用性3等，并依据测试结1 时间间隔是指 AI 系统在收到用户的请求到响应请求之间的时间间隔。2 业务并发量是指 AI 系统最大能承受的业务并发量。8果不断优化算法、