如何制造逃逸技术(为什么对抗性攻击会转移？解释逃逸和中毒攻击的可转移性)

摘要

迁移性可获取针对机器学习模型的攻击的能力。攻击的迁移性已经被很多文章所揭示，但其根本原因尚不清楚。在本文中，我们提出了一个综合分析，旨在调查测试时间评估和训练时间中毒攻击的迁移性。我们为逃逸和中毒攻击提供了一个统一的优化框架，并对此类攻击的迁移性进行了形式化定义。我们强调了影响攻击迁移性的两个主要因素：目标模型固有的对抗性漏洞和用于优化攻击的代理模型的复杂性。基于这些见解，我们定义了三个影响攻击迁移性的指标。有趣的是，我们从理论分析得出的结果适用于逃逸和中毒攻击，并通过大量线性和非线性分类器和数据集得到了实验验证。

一、引言

在本文中，我们首次对逃逸攻击和中毒可用性攻击的迁移性进行了综合评估，了解了影响这两种攻击迁移性的因素。特别地，我们考虑用基于梯度的优化技术来制作的攻击。我们首次将逃逸和中毒策略统一到一个优化框架中，该框架可以针对一系列威胁模型和对抗性约束进行实例化。我们提供了迁移性的正式定义，推导了一种新的逻辑回归中毒攻击，并对多个数据集的逃避攻击和中毒攻击进行了综合评估，证实了我们的理论分析。

我们的工作包括以下方面：

逃逸和中毒策略的优化框架：我们的框架支持具有不同对抗目标、敌方可用知识量以及不同对抗能力的威胁模型。

迁移性的定义和理论界：我们给出了逃逸攻击和中毒攻击迁移性的形式化定义，以及迁移攻击成功的上界。这使我们能够导出与模型复杂性相关的三个度量。

迁移性的实验评估：我们考虑不同的分类器以反映不同的模型复杂度。我们评估了针对三个数据集的攻击的迁移性：手写数字识别（MNIST）、Android恶意软件检测（DREBIN）和人脸识别（LFW）。

对迁移性的见解：我们证明了攻击的迁移性在很大程度上取决于目标模型的复杂性（见图1）。

二、背景与威胁模型

监督学习包括：（1）训练阶段，其中训练数据作为学习算法的输入，产生训练的ML模型；（2）将模型应用于新数据并生成预测的测试阶段。

攻击者的定义如下：（i）其攻击系统的目标或目的；（ii）他们对该系统的知识；（iii）通过输入数据影响系统的能力。

符号表：我们定义如下符号

2.1威胁模型：攻击者的目标

我们根据所需的安全违规来定义攻击者的目标。特别注意，攻击者的目标可能是造成完整性违规，在不影响正常系统操作的情况下逃避检测；或违反可用性，损害合法用户可用的正常系统功能。

2.2威胁模型：攻击者的知识

我们将攻击者的知识k描述为包含四个主要维度的抽象知识空间K中的元组，分别表示：(k.i)训练数据D；(k.ii)特征集X；(k.iii)学习算法f，以及在训练过程中最小化的目标函数L；(k.iv)在训练模型后学习的参数w。攻击者完全了解目标分类器，则进行为白盒攻击。若只有输入特征表示X是已知的，那么攻击者会进行黑盒攻击。

2.3威胁模型：攻击者的能力

此攻击特征定义了攻击者如何影响系统，以及如何根据特定应用程序的约束操纵数据。如果攻击者可以操纵训练和测试数据，则称攻击为因果攻击。如果攻击者只能操作测试数据，则它被称为探索性攻击。这些场景通常被称为中毒和逃逸。另一个方面，攻击者能力取决于在数据操作上是否存在针对应用程序的约束。

三、基于梯度的攻击优化框架

我们在这里介绍了一个通用的优化框架，其中包括逃逸和中毒攻击。基于梯度的攻击也被考虑在内。

3.1基于梯度的优化算法

攻击者的目标可以用目标函数A(x’,y,k)来定义。k是攻击者的知识，x’为攻击样例，y是标签。最优攻击策略表示为

攻击算法：

如算法1所示，它沿着目标函数的梯度迭代更新攻击样本，通过预射算子确保结果点在可行域内。对于不可微学习算法，可以使用更复杂的策略进行攻击。

3.2逃逸攻击

在逃逸攻击中，攻击者操纵测试样本使其错误分类，即通过学习算法躲避检测。对于白盒逃逸，等式中给出的优化问题可以改写为：

其中Vp是v的Lp范数，并假设分类参数w已知。对于黑盒逃逸，使用分类参数w就够了。

最大置信度与最小距离逃逸：我们对逃逸攻击的表述旨在产生对抗性示例，这些示例在给定的可行修改空间内被分类器以最大置信度错误分类。这与最小距离对抗性示例有很大不同。图2中在概念上描述了该差异。

初始化：还有另一个已知的因素可以改善逃逸攻击的迁移性。它从不同的初始化点开始运行攻击，以缓解陷入局部最优的问题。

3.3中毒可用性攻击

中毒攻击包括操纵训练数据以支持入侵而不影响正常系统操作，或故意破坏正常系统操作以造成拒绝服务。前者被称为中毒完整性攻击，而后者被称为中毒可用性攻击。

至于逃逸情况，我们在白盒环境中描述中毒，因为黑盒攻击的扩展是通过使用代理学习者立即实现的。中毒被描述为一个双层优化问题，其中外部优化使攻击者的目标A最大化（通常是在未污染的数据上计算的损失函数L），而内部优化相当于在中毒的训练数据上训练分类器。等式（1）改写为：

其中Dtr和Dval是训练集和验证集。攻击者只能向训练集中注入少量中毒点，中毒点可以通过梯度上升过程进行优化，如算法1所示。假设攻击者函数是可微的，则可以使用链式规则计算所需的梯度：

某些情况下可以用隐式方程来计算梯度：

我们用计算W对X的梯度并替换等式7，得到

支持向量机的梯度：

我们用c,s,k来表示攻击点、支持向量和验证点α表示算法分配给中毒点的对偶变量，k和K包含索引点集之间的核值。

逻辑回归梯度：

θ表示分类器权重，o为元素乘积，Z等于σ(1-σ),σ表示sigmoid函数，且：

I是单位矩阵。

四、迁移性定义和度量

我们在此讨论迁移、逃逸和中毒攻击能力、输入梯度和模型复杂性之间的联系，并强调影响迁移性的因素。

逃逸攻击的迁移性：将损失函数的线性近似简化为：

并且不难看出，对任何给定的x,y，逃逸攻击的等式(2)(3)可以重写为

在相同的线性逼近下，ε对应于

对迁移矩阵，我们定义三个核心指标，即被攻击模型损失函数在样本点的梯度大小、梯度对齐、损失函数的变化情况，并观察它们之间的联系，如图3、4所示。

中毒攻击的迁移性：对于中毒攻击，我们基本上可以遵循前面讨论的相同推导。我们根据目标分类器在中毒点影响下获得的验证损失来定义迁移性。这种损失函数可以像前一种情况那样线性化为：

五、实验分析

我们进行了关于逃逸攻击和中毒攻击的实验。关于逃逸攻击，我们考虑手写数字识别和Android恶意软件检测。

关于中毒攻击，我们使用手写数字和人脸识别进行实验。

综上所述，对于逃逸攻击，通过适当调整代理模型学习算法的超参数来降低代理模型的复杂性，可以提供更好地迁移到一系列模型的对抗性示例。对于中毒攻击，最佳代理通常是与目标模型具有相似正则化水平的模型。

理解攻击的迁移性有两个主要含义。首先，即使攻击者不知道目标分类器，低复杂性代理有更好的机会迁移到其他模型。我们建议执行黑盒逃逸攻击的方法是选择低复杂度的代理。为了执行中毒攻击，我们建议获取关于目标正则化水平的额外信息，并训练具有类似正则化水平的代理模型。第二，我们的分析启示了如何设计更健壮的模型来抵御逃逸和中毒攻击。

六、结论

我们在一个统一的优化框架下对规避和中毒攻击的可转移性进行了分析。我们的理论形式化揭示了影响迁移成功率的各种因素。特别是，我们定义了影响攻击迁移性的三个指标，包括目标模型的复杂性、代理模型和目标模型之间的梯度对齐以及攻击者优化目标的方差。系统设计人员的经验是根据这些标准评估分类器，并选择复杂度较低、规则化程度较高的模型，这些模型往往对逃逸攻击和中毒攻击都具有较高的鲁棒性。

七、鸣谢

作者要感谢NeilGong指导我们的论文，并感谢匿名评论员的建设性反馈。这项工作得到了欧盟地平线2020研究与创新计划（批准号780788）下欧盟H2020项目ALOHA的部分支持。这项研究也由作战能力发展司令部陆军研究实验室赞助，并根据编号为W911NF-13-2-0045（ARL网络安全CRA）的合作协议完成。本文件中包含的观点和结论是作者的观点和结论，不应解释为代表作战能力发展司令部陆军研究实验室或美国政府的官方政策。美国政府有权为政府目的复制和分发再版，不受此处任何版权标记的影响。我们还要感谢丰田国际贸易中心资助这项研究。

本文由南京大学软件学院2021级硕士周宣策翻译转述。