给AI系统做“安全体检” 阿里发布自动化AI对抗平台

首页 / 业界 / 资讯 /  正文
发布于:9个月前
安全人员曾为某著名车企自动驾驶系统做过一次安全测试,用物理对抗攻击欺骗Autopilot车道检测系统,导致汽车在Autopilot不发出警告的情况下驶入错误车道。假如这是一场真实的攻击,后果不堪设想。事实上,AI系统如果没有足够的“免疫力”,甚至会被一张图片欺骗,如将停车标志识别为通行,在医疗应用中将有问题的医疗影像识别为正常图像等。

为帮助AI应用从源头构建安全性,阿里安全图灵实验室整理归纳了学界针对AI模型提出的32种攻击方法,以此为基础搭建了一个自动化AI对抗攻击平台CAA,帮助检测AI系统存在的安全漏洞。

经CAA“体检”后,AI安全专家可针对被检测AI的薄弱地带提出安全建议,助力AI鲁棒性(稳定性)检测,以此增强AI系统的安全性,近日,该研究成果被人工智能顶会AAAI2021接收。

相比业界此前提出的其他攻击工具箱,阿里图灵实验室研发的自动化对抗攻击平台CAA首度实现了对抗攻击的“工具化”。它让AI应用的使用者即使不具备任何专业领域知识的情况下,也可以进行AI模型的对抗攻击和鲁棒性测试。

此外,CAA还可预先评估待检测AI的特性,通过自动化搜索技术来合成多个攻击算法的组合,提升了现有模型攻击方法的性能和效率。阿里安全专家通过实验表明,CAA超越了最新提出的攻击方法,是可有效评估当前AI系统安全性的最强“攻击”。

阿里安全提出的自动化对抗攻击平台CAA运行示意图
图示:阿里安全提出的自动化对抗攻击平台CAA运行示意图

以事前“攻击演练”检测AI系统的安全性,是当前提升安全AI的有效方法,也是阿里提出新一代安全架构,从源头构建安全的核心理念。但如果不知道目标模型的防御细节,研究者通常很难根据经验选择到对当前模型最优的攻击算法,从而难以验证“体检”的真实效果。

阿里安全图灵实验室算法专家箫疯表示,阿里安全首次提出将智能技术引入到对抗攻击中,使得所有攻击细节和参数作为一个黑箱,而攻击者只需要提供目标模型和数据,算法就会自动选择最优的攻击组合和参数。

以AI体检AI,以AI训练AI。萧疯认为,对识别黄、赌、毒等不良内容的安全检测AI而言,模型可靠性和鲁棒性显得尤为重要。目前,在鉴黄算法上,图灵实验室正在借此技术方法提升曝光、模糊、低画质等极端分类场景下的模型识别能力,并且逐渐提升模型在极端场景下的鲁棒性,为业界提供更安全可靠的AI算法能力。