1. 概述

题目：用于语义分割和目标检测的对抗样本
核心点：将对抗性样本的概念扩展到语义分割和对象检测，并提出稠密对抗生成算法 (Dense adversary generation, DAG)。
引用：

@inproceedings{Xie:2017:13691378,
author		=	{Ci Hang Xie and Jian Yu Wang and Zhi Shuai Zhang and Yu Yin Zhou and Ling Xi Xie and Alan Yuille},
title		=	{Adversarial examples for semantic segmentation and object detection},
booktitle	=	{{CVPR}},
pages		=	{1369--1378},
year		=	{2017}
}

2 算法

2.1 稠密对抗生成

令$\mathbf{X}$表示包含$N$个识别目标 T = { t 1 , t 2 , … , t N } \mathcal{T}=\{t_1,t_2,\dots,t_N\} T={t1​,t2​,…,tN​}的图像。每个目标$t_n$对应一个真实标签 l n ∈ { 1 , 2 , … , C } l_n\in\{ 1,2,\dots, C \} ln​∈{1,2,…,C}，其中$C$是类别数。所有的标签记为 L = { l 1 , l 2 , … , l N } \mathcal{L}=\{l_1,l_2,\dots,l_N\} L={l1​,l2​,…,lN​}。

$\mathcal{T}$依据所在的场景而有所变化，例如在图像分类中，$\mathcal{T}$只包含一个元素，即完整图像；在语义分割中由所有像素，或者说相应地感受野组成；在对象检测中，则由所有提案组成。

给定特定任务下的神经网络，令$\mathbf{f}=(\mathbf{X},t_n)\in {\mathbb{R}}^c$表示第$n$个识别对象在softmax之前的分数向量。为了生成对抗样本，理想的目标是令所有目标上的预测出错，即：
∀ n , arg max ⁡ c { f c ( X + r , t n ) } ≠ l n \forall n,\argmax_c\{ f_c(\mathbf{X}+\mathbf{r},t_n) \}\neq l_n ∀n,cargmax​{fc​(X+r,tn​)}=ln​这里的$\mathbf{r}$即是想要生成的对抗样本。该公式的含义为，当添加扰动后，应当使得最大预测概率所对应的类别偏离原有类别。对此，我们为每个目标制定一个对抗标签$l_n^{\prime }$，其中$l_n^{\prime }$是从其它不正确类别的随机采样，即 l n ′ ∈ [ 1 , C ] ∖ { l n } l_n'\in[1,C]\setminus\{l_n\} ln′​∈[1,C]∖{ln​}。同理有 L ′ = { l 1 ′ . l 2 ′ , … , l n ′ } \mathcal{L}'=\{l_1'.l_2',\dots,l_n'\} L′={l1′​.l2′​,…,ln′​}。实际上，我们定义了一个随机排列函数 π : { 1 , 2 , … , C } → { 1 , 2 , … , C } \pi:\{1,2,\dots,C\}\to\{1,2,\dots,C\} π:{1,2,…,C}→{1,2,…,C}，其中$\pi (c)\ne c$。在这种设置下，损失函数定义为：
$$L(\mathbf{X},\mathcal{T},\mathcal{L},{\mathcal{L}}^{\prime })=\sum _{n=1}^N\left[f_{l_n}(\mathbf{X},t_n)-f_{l_n^{\prime }}(\mathbf{X},t_n)\right]\text{\hspace{1em}(1)}$$最小化$L$可以通过使得每一个目标错误预测来实现，即抑制正确类别$f_{l_n}(\mathbf{X}+\mathbf{r},t_n)$的置信度，而增加不正确类别$f_{l_n^{\prime }}(\mathbf{X}+\mathbf{r},t_n)$的置信度。

这里使用梯度下降法来优化，在$m$次迭代时，添加了扰动的图像记为${\mathbf{X}}_m$。我们将寻找一个正确预测目标的集合，称为激活目标集 (Active target set)： T m = { t n ∣ a r g m a x c { f c ( X m , t n ) } = l n } \mathcal{T}_m=\{ t_n| argmax_c\{ f_c(\mathbf{X}_m,t_n)\}=l_n \} Tm​={tn​∣argmaxc​{fc​(Xm​,tn​)}=ln​}。然后计算关于输入数据的梯度并累计这些扰动：
$${\mathbf{r}}_m=\sum _{t_n\in {\mathcal{T}}_m}\left[{\nabla }_{{\mathbf{X}}_m}{f}_{l_n^{\prime }}\left({\mathbf{X}}_m,t_n\right)-{\nabla }_{{\mathbf{X}}_m}{f}_{l_n}\left({\mathbf{X}}_m,t_n\right)\right]\text{\hspace{1em}(2)}$$注意当$m$增大时，$\left|{\mathcal{T}}_m\right|\ll |\mathcal{T}|$，因此该策略可以降低时间复杂度。为了避免数值不稳定，我们将${\mathbf{r}}_m$标准化为：
$${\mathbf{r}}_m^{\prime }=\frac{\gamma }{{\Vert {\mathbf{r}}_m\Vert }_{\infty }}\cdot {\mathbf{r}}_m\text{\hspace{1em}(3)}$$其中$\gamma =0.5$是一个固定的超参数。然后我们在${\mathbf{X}}_m$中添加${\mathbf{r}}_m^{\prime }$并进行下一次迭代。算法将在${\mathcal{T}}_m=\varnothing$或者达到最大迭代次数时停止。最大迭代次数在分割和检测时分别设置为$200$和$150$。

最终的对抗扰动计算为$\mathbf{r}={\sum }_m{\mathbf{r}}_m^{\prime }$。注意在算法实现时，输入的图像为$\mathbf{X}$减去均值图像$\hat{\mathbf{X}}$，因此对抗图像为$\text{Trunc}(\mathbf{X}+\mathbf{r}+\hat{\mathbf{X}})$，其中$\text{Trunc(…)}$表示将通过$[0,255]$的像素修剪函数。尽管修剪将损害对抗扰动，我们观察到在实验中这样的影响其实是很小的，因为扰动$\mathbf{r}$的量级是很小的。DAG算法的总体流程如算法1。

2.2 选择用于检测的输入提案

DAG的一个关键问题是选择一个合适的$\mathcal{T}$。这种语义分割中是相对简单的，因为我们的目标是在所有的像素上发生错误分类。因此可以将每一个像素设置成为一个独立的目标，即在图像网格上执行稠密采样。该过程的时间复杂度正比于像素的总和。

在对象检测领域，目标选择会相对困难，因为可能的目标 (边界框提案) 的综述比语义分割中的目标大几个量级。一个简单的提案是仅考虑sideway网络，即区域提案网络 (regional proposal network)，而我们发现，当对抗扰动$\mathbf{r}$ 被添加到原始图像$\mathbf{X}$时，提案的差集可以通过新的输入$\mathbf{X}+\mathbf{r}$来生成，以及网络依然能够正确地分类这些新提案。为了克服这个问题，我们通过增加RPN中非极大值抑制 (non-maximal suppression, NMS) 的阈值来使得提案非常稠密。实际上，当IOU (intersection-over-union) 从0.7增长到0.9，每个图像的平均提案数从300增长到了3000。使用该稠密目标集$\mathcal{T}$，最可能的对象边界框距离至少一个选定的输入提案只有像素，我们可以预期相邻边界框之间的分类错误转移。在实验中，这样的一个直观方法是很有用的，对抗扰动的性能与DAG中提案的数量成正比。

技术方面，给定RPN生成的提案，我们保留所有正提案而忽略其它。满足以下条件的称为正提案：

1. 最近的真实目标的IOU大于0.1；
2. 真实类的置信度得分大于0.1.

如果有多个真实目标满足以上条件，我们选择IOU最大的那一个。提案的标签定义为相应地置信类。