干货！对有目标对抗图像迁移性的反思

当前有关对抗样本的研究普遍认为基于单图像迭代优化的简单方法很难实现有目标 (targeted) 对抗攻击的迁移性，所以不得不诉诸于大量额外数据来训练多个生成模型的复杂方法。然而，我们发表在NeurIPS 2021的工作却发现事实并非如此：当简单方法在拥有足够迭代次数保证收敛的前提下，利用非常简单的目标函数，Logit Loss，来替代目前常用的交叉熵损失函数（Cross Entropy Loss），就足以使得其性能碾压当前最强的复杂方法。此外，我们也对当前评估迁移性的常用场景进行了反思、改进。具体来说，我们发现当前评估场景设置过于简单、不现实，导致很多评估结果存在误导性。因此我们提出了三种更具挑战性、更现实的场景，为未来相关研究提供参考。

本期AI TIME PhD直播间，我们邀请到莱德国亥姆霍兹信息安全中心 (CISPA) 博士后研究员——赵正宇，为我们带来报告分享《对有目标对抗图像迁移性的反思》。

赵正宇：德国亥姆霍兹信息安全中心 (CISPA) 博士后研究员。博士毕业于荷兰Radboud 大学。研究方向涉及计算机视觉的安全与隐私问题，主要包括对抗样本 (Adversarial Examples)，训练样本投毒 (Data Poisoning)，以及训练样本成员推理 (Membership Inference)。

01

Background of Computer Vision

计算机视觉是通过训练计算机来模仿人类视觉，以实现对大千世界的感知。

计算机视觉已被广泛应用在我们的日常生活中：比如自动驾驶、医疗成像和人脸识别等。

在计算机视觉中，一个典型的图像识别任务主要由以下三个步骤组成：

首先，计算机摄像头捕捉现实场景并存储成RGB三维图像矩阵的形式；

然后，我们会用大量带有正确标签的图像去训练计算机学习如何识别；

最后，经过了训练之后的计算机就可以用来识别新的图像。

众所周知，随着深度学习技术的发展，计算机视觉在特定任务上的识别能力在2015年前后已经可以超越人类。

然而，在面对一些非常规场景下拍摄的图像时，计算机的识别能力会急剧下降。如图所示，虽然人眼可以无视各种噪声识别出这只黄色的鸟，但是计算机视觉却很难做到。

为了研究这种现象产生的原因，从而进一步理解计算机视觉的不足，研究人员开始了对于对抗图像的研究。那么接下来就让我们看下什么是对抗图像。

02

Running Time of Frank-Wolfe

对抗图像是通过篡改一张正常图像而产生的人造图像，计算机视觉模型不再能够正确识别出该图像的真实内容。

如上图所示，一个常规的模型训练过程通过输入一张正常的猫猫图像x0，通过优化模型参数θ来最小化损失函数J(x,y0=cat)的输出，从而使得模型可以学习如何正确识别x0。此训练过程可以表示成如下形式：

产生对抗图像的过程可以被看作是上述训练过程的一个镜像操作。也就是说，为了使得已经训练好的模型不再能够正确识别出输入图像x0中的猫猫，我们会通过优化输入图像x0来最大会损失函数J(x,y0=cat)的输出。此产生对抗图像的过程可以表示成如下形式：

由于仅仅是让模型不再输出正确的识别结果y0=cat，我们把这种对抗过程称为无目标（untargeted）对抗。同样地，我们也可以通过如下方式来让模型输出一个特定的错误识别结果，比如yt=dog。我们称之为有目标（targeted）对抗。

除此之外，产生对抗图像还需要满足一个基本条件，那就是不带有明显的篡改痕迹。这种条件一般通过如下限制对抗图像和原始图像的Lp距离来实现：

总结来说，产生有目标对抗图像的过程可以表示成如下优化问题：

当前研究最常使用如下所示的基于迭代的梯度下降方法来实现这个优化：

03

Data Structure

很显然，在上述优化过程中，我们有一个很强的假设：我们可以获取到模型的梯度。这种情况我们称为白盒对抗。

而在现实（黑盒）对抗场景中，我们很难得知模型的技术细节，更别说可以获得它的具体梯度。所以在现实对抗场景中，我们需要在本地的白盒模型上优化得到对抗图像，同时使得它也能够欺骗未知黑盒模型。我们把对抗图像的这种能力叫做它的Transferability（迁移性）。

当前有很多基于上述I-FGSM来提高对抗图像迁移性的迭代方法。他们大概可分为如下两类。

第一类是从优化梯度的角度，比如通过相邻两次迭代产生的梯度进行累加可以使得梯度方向更加稳定，不易落入局部最优：

第二类是从数据增广的角度，比如在每次迭代中都将经历了不同变换的图像作为输入。这同样能够使得梯度更具有泛化性，即生成的对抗图像更具有迁移性：

除了上述基于I-FGSM的迭代方法之外，最近一些研究人员还提出基于生成模型的更为复杂的方法。

如下图所示，如果我们需要生成目标类别为yt的有目标对抗图像，我们需要训练一个生成模型，使得从yt类别对应的自然训练图像与其生成的对抗图像图像分布尽可能靠近。

最后，将任何一张正常（测试）图像输入到这个训练好的生成模型，就可以得到它对应的目标类别为yt的对抗图像。

相对于迭代方法来说，生成模型方法不可避免地消耗更多的数据以及计算资源

从数据的角度来看，迭代方法只需要测试阶段的单张输入图像，而生成模型方法需要大量数据进行额外训练；

从模型的角度来看，当产生对应n个不同目标类别yt的对抗图像时，迭代方法只需使用同一个白盒模型，而生成模型方法需要训练n个不同的针对特定yt的生成模型。

研究人员自然也发现，在消耗了大量额外数据以及计算资源的前提下，生成模型方法取得的迁移性效果要比简单的迭代方法好很多。

04

Our New Insights into Targeted Transferability

我们对当前针对有目标对抗图像的研究进行回顾，发现只要对传统的迭代方法进行微小的改动，就能取得甚至超出生成模型方法的迁移性表现。

如下表所示，这种迁移性的差距在更具挑战性的小图像距离场景下更为突显。

详细来说，我们发现不同于无目标的场景，生成具有迁移性的有目标对抗图像需要上百次的迭代来完成优化算法的收敛。

如下图所示，红线代表的非目标场景在20次以前就已经收敛到近乎100%的迁移性，而对于有目标的场景还袁没有达到最优效果。然而现有研究中却偏偏有目标的场景也停止在了20次迭代以下，所以自然也就不能获得很好的迁移效果。通过增加迭代次数，我们发现有目标场景的迁移性也得到了显著的提高。

虽然增加迭代次数可以一定程度上提高迁移性，我们却发现目前常用交叉熵损失函数（Cross Entropy Loss）因为梯度下降的缺陷而不适用于我们的大量迭代场景。

如下公式所示，随着迭代次数的增加，目标类别yt对应的概率pt会逐渐趋向于1，而损失函数对应的梯度却不断降低直至最后趋向于0。

这种现象也可以通过下图更直观地理解。

正是由于这种缺陷的存在，使用交叉熵损失函数（Cross Entropy Loss）对迁移性的优化即使使用大量迭代也会很快停滞。由此，我们提出一个简单有效的Logit 损失函数来避免上述现象的发生。

如下公式所示，Logit损失函数的梯度一直固定为1，从而使得在应用大量迭代次数时也不会出现优化停滞。

从下图展示的迁移性结果来看，使用Logit损失函数虽然在迭次数很少时与交叉熵损失函数区别不带，但是随着迭代次数的增加，它的优势就逐渐显现出来。

至此，我们提出通过增加迭代次数和应用Logit损失函数的方法来大幅提升传统迭代方法的迁移性。接下来我们还对当前研究中常用评估场景进行了反思和提高。

我们对评估场景的反思主要从以下两个维度出发：

模型的多样性

我们发现当前迁移性评估场景过于简单，因为涉及到的白盒和黑盒模型在结构上都是非常相似的。

如下表所示，在这种简单场景下，不同方法在迭代次数足够的前提下都能取得90%左右的高迁移性。这样高饱和的表现使得不同方法的优劣不能够很好体现出来。

所以我们提出涉及更多样模型结构的，更具挑战性的迁移场景。

如下图所示，在这种更具挑战性的新场景下，我们发现新提出的Logit 损失函数取得了比其他两种现有方法更好的效果。

我们进一步测试了更为严苛的现实迁移场景：我们直接把从白盒模型上优化得到的对抗图像上传到Google Cloud Vision API上测试其对抗效果，同样得到了Logit 损失函数表现最好的结论。

从如下截图的例子可以看出，虽然对抗图像相对于原始图像看起来只是多了一些不规则的噪声，但是却足以欺骗黑盒的Google Cloud Vision API到我们预先设定的目标类（yt=boat）。

当前研究中的评估场景大多只测试随机选取对抗目标类别yt的情况，而我们认为对于同一张图像，不同yt对应的迁移性也会有所差异。

特别地，我们人为从2nd类别变动到1000th类别时，迁移性将会随之变得更加难以实现。如下表格展示的结果验证了我们的这个想法。

基于如上结论，我们可以通过将yt设置成序列底部类别（比如1000th）使得评估更加具有挑战性，而不再仅仅限于随机选取yt的简单评估场景。

同时我们也可以发现，即使是在最难的情况下，我们的Logit损失函数也依旧表现最好。

05

总结

1、我们发现通过微小的改动 （包括增加迭代次数和用Logit损失函数来替代传统交叉熵损失函数），现有简单的迭代方法竟然可以取得媲美复杂的生成模型方法的迁移性效果。

2、我们提出了对迁移性评估更具挑战性、更现实的新场景。这种新场景主要考虑到了模型的多样性以及对抗目标类别的多样性。

06

展望

1、如下图所示，我们发现当设计某些特定模型结构（比如Inception）时，迁移性的效果尤其差，未来我们需要更多的探究去理解和解决这个问题。

2、虽然生成模型方法需要大量的数据和计算资源来训练生成模型，它却能够在测试阶段只通过一次向前操作就能生成对抗图像。

相反，虽然迭代方法设计更为轻量化，在测试阶段却难免需要大量的迭代优化。

所以在未来我们可以考虑如何结合两种方法的优点，实现既快速又相对节省数据、计算资源的方法。

提醒

论文链接：

https://arxiv.org/abs/2012.11207

论文题目：

On Success and Simplicity: A Second Look at Transferable Targeted Attacks