百度安全亮相Black HatAsia2019：当云端深度学习模型失去“黑盒保护”

在3月26日-29日于新加坡召开的Black Hat Asia 2019上，来自百度安全对于深度神经网络（DNN）模型算法安全性、Rowhammer新型攻击方法、Meltdown新变种等三大创新性研究报告成功入选。其中，在The Cost of Learning from the Best: How Prior Knowledge Weakens the Security of Deep Neural Networks的议题中，百度安全研究员们分享了在AI时代下机器学习算法安全领域的最新研究与实践。百度安全希望通过这个研究呼吁业内更加迫切的将人工智能模型算法的安全问题纳入研究范畴，携手工业界、学术界共同探索与建设安全的AI时代。

Black Hat是国际安全工业界的顶级会议之一，具有广泛的影响力。Black Hat每年分别在美国、欧洲、亚洲各举办一次安全信息技术峰会，会议聚焦于先进安全研究、发展和趋势，并以其强技术性、权威性、客观性引领未来安全思想和技术的走向。近年来，百度安全多次登上Black Hat的舞台，分享在AI安全、移动安全等领域的研究与实践成果。本届Black Hat Asia上，百度安全Tao Wei、Yunhan Jia、Zhenyu Zhong、Yulong Zhang、Qian Feng的研究成果再次引发业内关注。

深度学习模型容易受到对抗样本的攻击，这在业内已不是新鲜事。对图像数据叠加人类难以通过感官辨识到的细微扰动，就可以“欺骗”模型，指鹿为马，甚至无中生有。业内将这种影响AI决策边界的细微扰动称之为“对抗样本”(Adversarial Example Attack)，攻击者往往提前知晓模型的架构、参数，既而利用特定算法针对性的生成“对抗样本”，诱导模型做出错误的、甚至攻击者预设的判别结果。此乃深度学习模型的“白盒攻击“，若应用到人脸识别、语音识别、无人驾驶等领域，不仅会导致严重的安全事故，也会破坏整个人工智能生态应用的进程与基本信任。

幸运的是，通常情况下，攻击者未必对深度学习模型内部架构、参数那么了若指掌，不知道它是怎么“想“的，也不知道它是怎么“学“的，此时制造“对抗样本“则要麻烦许多——此乃“黑盒攻击“，理论上需要攻击者采取类似于“穷举法”的手段逐一测试，才能找到那个形成攻击者预期结果的关键位点，所需时间足够长，难度系数足够高，过程中凭手感、碰运气成分足够大。当下以Google、Amazon为代表的国内外知名科技公司将云计算的运作模式与人工智能深度融合，将人工智能技术作为一种云服务（AIaaS，人工智能即服务）提供给用户和合作伙伴，除Amazon等少数公司会告知模型算法，绝大多数公司仅向用户反馈调用结果。这意味着云端深度学习模型是黑盒模型，理论上可有效抵御对抗样本的攻击。

然而，百度安全在Black Hat Asia 2019上带来的最新研究成果表明：黑盒模型制造的只是虚假的安全感，当模型架构和参数不可知的情况下，攻击者依然有机会实施对深度学习模型的欺骗。报告中Zhenyu Zhong、Yunhan Jia博士展示了百度安全目前已实现的黑盒模型多种攻击技术，并创新性的提出了“指纹攻击“（Fingerprinting attack）——即根据极少的请求结果推测出模型的结构，既而针对性的构造对抗样本。

百度安全研究员们设置了条件充足、非充足的两个黑盒攻击场景，同时结合两种不同的攻击手段——非定向攻击（Dispersion attack）、定向攻击（Target Score attack）进行比较，现场展示了指纹攻击的实验结果。如图1所示，在攻击者条件充足的情况下，攻击的绕过率分别高达86%（非定向）和65%（定向），而在条件不充足（比如仅支持2次请求）的情况下，攻击的绕过率也可以达到33%（非定向）和16%（定向）。这个实验结果表明，深度学习模型的“黑盒保护”看似安全，但是现实中还是存在弱点，而且在高效的攻击手段面前，这个弱点还很严重。

图1：深度学习模型有限请求绕过率

如果说对抗样本的发现，将传统安全产业框架延伸至机器学习模型算法安全性的范畴，那么当云端深度学习模型失去“黑盒保护”，则令这个问题更加严峻和复杂。这意味着，攻击者一旦破译了云端模型，未来可让AI系统丧失对城市交通、道路标识及车辆正确的识别能力，对车辆实施远程控制和对相关隐私信息的窃取，这个场景还可延伸至医疗保健、金融认证、工业控制等领域，蕴含巨大的安全风险。

攻击技术实现背后，引出了当前深度学习模型训练常用的迁移学习（Transfer Learning）方法，及其从安全视角存在的缺陷。传统机器学习通常有两个基本条件，即用于学习的训练样本和新的测试样本同一分布且相互独立，且必须有足够可用的训练样本，以确保模型的高准确和可靠性，但是实际中两个条件往往无法满足。迁移学习放宽了这两个基本条件，这种机器学习的训练方法可以利用仅有少量的标签训练建立出一个模型，同时令原先需要几天甚至几个星期的训练时间缩短至几小时甚至几分钟，让普通用户同样可以享受到深度学习带来的技术革新。例如ImageNet视觉对象识别数据库的训练数据集有超过1400万张的图像，输出1000个类别，利用迁移学习，普通用户可以在ImageNet模型的基础上训练出一个输出远远低于1000类的模型。

图2：迁移学习训练方法高效性及缺陷

近年来，业内针对迁移学习展开广泛的算法研究和实践，在迁移学习放宽了机器学习两大基本条件、将大数据模型迁移到小数据、个性化数据模型的训练过程中，从安全视角，并非无懈可击。例如，迁移学习这种训练方法的高效性，来自于特征提取层的架构和参数被重复利用，同时在迁移学习过程中保持特征值和架构不变。正因如此，模型所使用的特征提取层可以通过一定的攻击手段推算出来。百度安全研究员提出的“指纹攻击”就是用于推算黑盒模型使用的特征提取层的有效方法——通过对深度学习模型的特征提取层中的最后一层的神经元的离散值的最小化，从而使得目标分类的置信度降低，通过搜集的14个不同的公开模型（VGG16， VGG19， RESNET50， MobileNET等），分别构造输入样本使得对应的模型特征提取层的最后一层神经元的离散值最小化，并把该构造后的样本以API方式输入云端黑盒模型，并观察最后分类层的输出结果。最后，选取API返回结果中置信度最低的样本，并把生成该样本的网络架构作为云端模型的架构。当攻击者知晓云端模型特征提取层的架构之后，他就可以按照白盒的方式精确的构造对抗样本，从而对云端模型进行定向和非定向攻击。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!