SPARK: Spatial-Aware Online Incremental Attack Against Visual Tracking

introduction

在本文中，我们确定了视觉跟踪对抗性攻击的一个新任务：在线生成难以察觉的扰动，误导跟踪器沿着不正确的（无目标攻击，UA）或指定的轨迹（有针对性的攻击，TA）。为此，我们首先采用现有的攻击方法，即FGSM、BIM和C&W，提出了一种空间感知的基本攻击，并综合分析了攻击性能。我们发现在线对象跟踪带来了两个新的挑战：1）很难生成可以跨帧传输的难以察觉的扰动，2）实时跟踪器要求攻击满足一定的效率水平。为了应对这些挑战，我们进一步提出了空间感知在线增量攻击（SPARK），它在线执行时空稀疏增量扰动，并使对抗性攻击不易被察觉。此外，作为一种基于优化的方法，SPARK通过考虑历史增量扰动，在多次迭代内快速收敛到非常小的损失，使其比基本攻击更加有效。对 OTB100、VOT2018、UAV123 和 LaSOT 上最先进的跟踪器（即 SiamRPN with Alex、MobileNetv2 和 ResNet-50）的深入评估证明了 SPARK 在两种情况下误导跟踪器的有效性和可转移性UA 和 TA 有轻微扰动。

与图像、语音和自然语言处理任务不同，在线目标跟踪对对抗性攻击技术提出了一些新的挑战。 首先，与现有的顺序输入相关任务（例如用于分类的音频 [ 4 ]、自然语言 [ 19 ]或视频 [ 43 ]相比，它们可以访问完整的顺序数据），对象跟踪在其中逐一处理输入帧。令当当前帧t受到攻击，所有先前的帧（即）仍然不可用，也无法立即受到攻击。由于时间数据片段和动态场景变化有限，生成可随时间转移的难以察觉但有效的对抗性扰动（即多个连续帧）更加困难。 此外，对象跟踪通常依赖于从视频的第一帧中裁剪的目标指定对象模板 [ 2 , 24 ]以进行进一步分析。不同的初始指定对象可能会导致不同的跟踪分析，这使得通用对抗性扰动 [ 31 ]通常无效。

此外，在线对象跟踪通常以实时速度运行。因此，它要求攻击足够有效，以便在下一帧到达之前完成当前帧的对抗性扰动。尽管基于梯度下降的方法（例如，FGSM [ 13 ]，BIM [ 22 ]）被证明可以有效地攻击图像分类器，但当多帧时，它们仍然遇到欺骗最先进的跟踪器的效率问题很快到达。实时攻击多个帧的成本也相当高，即稀疏性 [ 43 ]。

为了更好地理解攻击 VOT 的挑战和独特性，我们首先通过适应用于攻击每个帧的现有最先进的攻击技术（即 FGSM、BIM、C&W），提出了一种空间感知的基本攻击方法单独。我们的实证研究证实，由于实时的连续时间帧，基本攻击对于攻击 VOT 确实无效。在此基础上，我们进一步提出了空间感知在线增量攻击（SPARK）方法，该方法可以在有效性和效率方面产生更多难以察觉的在线扰动。

本文的主要贡献如下：

• 我们将 VOT 的对抗性攻击问题形式化，即在线生成难以察觉的扰动，以误导跟踪对象的视觉跟踪器进入不正确的（非目标攻击，UA）或指定的（目标攻击，TA）轨迹。

• 我们通过调整现有攻击（即 FGSM、BIM、C&W）提出了几种基本攻击，并进一步进行实证研究，以更好地理解对抗性攻击对实时对象跟踪的挑战。

• 我们提出了一种新的空间感知在线增量攻击（SPARK）方法，可以有效地为实时 VOT 生成更多难以察觉的扰动。

• 与基本方法一致，我们的深入评估证明 了SPARK在UA和TA。SPARK 生成的攻击还表现出对 SiamRPN 跟踪器在线更新变体的强大可转移性。

相关工作

与这些作品不同，我们的攻击旨在通过有限的在线数据访问来误导视觉跟踪器，即未来的帧不可用，过去的帧也不能被攻击。在与我们最相关的工作中， [ 43 ]提出了在整个视频数据可用并且多个帧的扰动可以联合调整的情况下，基于范数的攻击生成用于动作识别的稀疏扰动。为了进一步显示差异，我们使用[ 43 ]实现了跟踪攻击，并将其与我们的评估方法进行比较。 [ 25 ]攻击了SiamRPN跟踪器 [ 24 ]中也使用的区域提议网络（RPN） 。然而，这种攻击的重点是欺骗图像检测器来预测不准确的边界框，因此不能直接用于攻击旨在通过在线视频误导错误轨迹的跟踪器。 [ 42 ]提出了通过独立寻址每一帧的视频对象检测攻击，这不适合跟踪器通常以实时速度运行的在线跟踪。另一项相关工作[ 26 ]研究了在强化学习环境中何时攻击代理，并使用对动作的偏好程度来决定关键攻击时间。相比之下，这项工作主要探讨如何利用时间约束在线生成难以察觉的有效扰动来误导实时跟踪器。

据我们所知，到目前为止，关于攻击在线对象跟踪的研究还很有限。 [ 44 ]生成物理对抗纹理，使 GOTURN 跟踪器 [ 17 ]始终错误地跟踪对象。与这项工作不同的是，我们打算对对象跟踪的对抗性攻击进行全面的研究，并提出有效的攻击来误导在线实时跟踪器沿指定的轨迹移动，并产生较小的扰动。由于目标跟踪器通常嵌入在移动控制系统中，因此对 VOT 特定领域对抗问题的深入分析和理解可能是加速实际应用的关键。此外，我们研究的主题模型，即基于SiamRPN 的跟踪器，在各种基准[ 10、45、20 ]上实现了最先进的性能， 并且获得了比 GOTURN 跟踪器更高的精度，因此将更具挑战性攻击时。

https://arxiv.org/abs/1904.11042

实证研究

1）对每个帧应用基本攻击的攻击效果如何？2）视频中时间帧的影响如何？为了回答这些问题，我们对最先进的跟踪器（例如 SiamRPN-Alex * ）执行两种基本的有针对性的攻击：

表 1显示了 BA-E、BA-R1 和 BA-R2 在 TA 下攻击 OTB100 上基于 SiamRPN-Alex 的跟踪器的成功率、平均绝对扰动和每帧平均迭代次数。我们看到：1）通过 BIM 和 C&W 的 BA-E 方法通过攻击每一帧获得了很高的成功率。然而，它们的扰动很大，并且用 10 次迭代来攻击每一帧非常耗时，并且超出了实时跟踪器的范围。FGSM虽然高效，但成功率却低得多。2）随机攻击10%帧，即BA-R1，比BA-E快10倍左右。然而，成功率显着下降。3）BA-R2方法每10帧攻击一次，效率较高，但牺牲了成功率。与BA-R1相比，在相同的攻击率，即10%帧数的情况下，BA-R2的成功率高于BA-R1。例如，基于BIM，BA-R2的成功率是原来的两倍以上。它推断，由于时间平滑性，相邻 10 帧的扰动具有一定的可传递性。

基于 BIM 的案例研究如图1所示 ，其中我们使用三种 BA 攻击来误导基于 SiamRPN-Alex 的跟踪器来定位场景左上角的感兴趣对象（图 1 中的目标位置 （ c ））。我们没有遵循标准的 Siamese 跟踪管道，而是根据地面实况裁剪搜索区域，并确保对象始终位于搜索区域的中心。我们显示了目标位置（图1 （a））和跟踪结果之间的距离 ，以及 帧级别的 平均绝对扰动（MAP）（图 1 （b））。我们得出与表 1一致的结论。BA-E是最简单的解决方案，在某个时刻（距目标位置距离小于20）MAP在5左右时可以成功攻击跟踪器，但攻击效率较低，不适合实时跟踪。此外，根据图 1 （c），扰动很大并且是可察觉的。结果回答了第一个问题：对每一帧进行攻击并不有效，即耗时且MAP较大。

考虑帧之间的时间特性，如果攻击可以在相邻帧之间转移，我们可以只攻击某些帧，同时减少开销，例如BA-R1和BA-R2。不幸的是，表1和图 1中的结果 表明BA-R1和BA-R2仅在执行攻击的特定帧上工作。

结果回答了第二个问题：由于视频中的动态场景，BA 产生的扰动很难直接转移到下一帧（参见 BA-R1 和 BA-R2 的结果）。

在线增量攻击

根据基本攻击的实证研究结果，我们发现直接针对每一帧进行攻击是无效的。由于帧是连续的并且附近的帧非常相似，我们的深入分析发现附近的帧之间存在可转移性。然而，如何有效地利用先前帧的扰动，同时在攻击新的帧时保持不易察觉，这是值得怀疑的。一种直接的方法是将以前的扰动添加到新的计算扰动中，这将提高攻击的成功率，但会导致严重的扭曲。为了解决这个问题，我们提出了在线增量攻击（SPARK），它可以更有效地生成更多难以察觉的对抗性示例以进行跟踪。SPARK 的直觉是，我们仍然攻击每一帧，但通过优化将先前的扰动应用于新帧，并结合小但有效的增量扰动。

增量扰动的时空稀疏性： 增量扰动沿着空间和时间逐渐变得稀疏（见图 1 （d））。与 BA 方法相比，这有助于产生更多难以察觉的扰动。此外，SPARK在所有帧中获得最小的MAP，并且在OTB100上比BA-E更高的成功率（见图 1 （b））。