link
code

Abstract

由于图像数据中微小物体所占像素比例很小，因此精确地检测这些物体仍然是一个巨大的挑战。特别是在地理科学和遥感领域，高保真度的微小物体检测可以促进城市规划和环境监测等应用的发展。特征金字塔网络中的特征融合对于多尺度目标的检测至关重要。但是，由于不同尺度的特征之间没有正则化，在融合过程中可能会产生噪声特征。因此，作者提出了一个新的框架DNTR，它由DeNoising FPN模块和Trans R-CNN检测器组成。DN-FPN模块利用对比学习抑制FPN上每个级别的特征中的噪声，并在Top-down路径中融合不同尺度的特征。同时，基于两阶段框架，作者将R-CNN检测器替换为一种新的Trans R-CNN检测器，以关注自我注意下的微小物体表示。

Introduction

微小的尺寸使检测具有挑战性。例如，广泛使用的CNN模型[13]将输入分辨率降低了32倍，导致微小物体的表示不足[14]。
传统上，为了准确检测不同尺度的目标，FPN[17]通过自上而下的路径聚合多尺度特征，以结合几何和语义信息，如图1所示。

具体来说，来自自底向上路径的横向特征提供几何信息，而来自自顶向下路径的上层特征提供语义信息。然而，上采样方法，如双线性插值和最近邻方法，会产生冗余信息，而信道减少会导致特征中的信息丢失。在这种情况下，特征失真被认为是FPN融合过程中产生的噪声[14]，[18]，[19]，[20]。如图1所示，信道降约可能在几何信息中引入噪声，而上采样操作可能在语义信息中产生噪声。因此，FPN的噪声特征映射会对微小目标的检测产生不利影响，因为低分辨率特征对噪声更敏感。

最近的一系列研究[19]，[20]，[21]侧重于利用额外的模块来增强特征融合，同时减少冗余特征的产生。例如，[20]构建了特性反馈模块，以更好地捕获自底向上和自顶向下的特性之间的通信。[21]引入了FA2M模块来学习像素空间信息以对齐多层特征。尽管如此，这些方法需要一个额外的模块来提高它们的性能，从而导致一个繁琐的模型。此外，一些作品的目的是根据它们的属性从背景中回忆起微小的物体。例如，由于IoU度量对微小物体过于敏感，[22]、[23]、[24]设计了新的基于高斯的标签分配方法来取代IoU度量。[25]在RPN和NMS的新损失函数中考虑了中心点距离和数据集的平均大小。以上方法虽然都取得了一定的改进，但都只是侧重于增强微小物体的性能，以抵消噪声的影响。它们都不能在噪声源处抑制噪声，即FPN融合过程。因此，作者率先将FPN的噪声问题最小化，以提高微小物体的性能。

在这项工作中，作者提出去噪FPN (DN-FPN)利用对比学习来减少FPN的噪声问题。DN-FPN的目标是在融合特征中保持几何和语义信息，如图1所示。具体来说，作者首先使用几何和语义编码器从FPN的不同层特征中提取表征。为了监督编码器，作者提出了一种新的对比损失，根据FPN特征的固有特征来学习其几何和语义关系。因此，融合特征在对比学习后保持了与横向特征(自下而上路径)等效的几何信息，并保留了与上层特征(自上而下路径)等效的语义信息。因此，减少了信道缩减和上采样产生的噪声1。
此外，两级检测器以其定位和识别的精度而闻名[1]，[2]，[27]。然而，由于微小物体的像素表示不足，它们往往难以对微小物体进行细致的检测[28]，[29]。为了解决这个问题，作者引入了Trans R-CNN，这是一种两级新型检测器，它集成了vision Transformer的优势[30]，促进了丰富的远程依赖关系的提取。具体来说，Trans R-CNN首先将每个提案解构为一系列补丁令牌。这些符号代表了微小物体的不同方面，比传统的整体建议方法提供了更细粒度和更有效的表示。随后，作者提出了一种shuffle展开算法，旨在将周围的令牌聚合为未展开的令牌，以实现局部信息的同化，从而为微小物体提供更具歧视性的表示。

作者在这一领域的贡献，以DN- FPN模块和Trans R-CNN检测器为代表，通过有效地提取无噪声干扰的多尺度特征而脱颖而出，将自己定位为更精确的微小目标检测工具。

如图2所示，作者将DNTR与传统框架进行比较，以强调其优势。虽然基于r - cnn的检测器在定位潜在目标区域方面表现出色，但它们在全局信息捕获方面存在不足(图2(a))。此外，如[31]所示，由于视觉特征的整体处理所产生的过多背景响应，类der系统容易出现高误报率(图2(b))。相比之下，作者的DNTR方法利用DN-FPN模块通过创建去噪的多尺度特征来强调前台元素(图2©)。RPN和RoIAlign[32]技术的后续集成2，以及shuffle展开，通过与相邻令牌的协同作用，促进了roi内更丰富的本地信息池。Trans R-CNN探测器通过提出的掩模变压器编码器(MTE)进一步强调roi内的全局信息捕获，从而增强微小物体的可识别性。

Contribution

1. 提出了一种突破性的航空图像目标检测方法，在AI-TOD和VisDrone数据集上表现出色，其中作者的DNTR模型分别以26.2和33.1的AP分数超过了目前最先进的模型。
2. 推出了通过几何-语义对比学习设计的DN-FPN，这是一种开创性的技术，用于减轻基于fpn的噪声特征融合中经常遇到的冗余特征的影响。
3. 开发的Trans R-CNN集中体现了特征识别的创新，利用新颖的洗牌展开技术，掩码变压器编码器和任务令牌选择机制来促进更全面和详细的特征提取，增强局部和全局判别特征。

Related Work

Advancements in Feature Pyramid Networks (FPNs)

考虑到多尺度概念为目标检测提供了巨大的好处，许多研究都致力于基于FPN的网络优化[17]。例如，[18]提出了一种有效的融合因子，在融合过程中对特征映射进行重新加权，因为小物体的语义信息可以通过有效的融合因子衰减，从而减少来自顶层的信息。此外，[38]将FPN的高级语义特征旋转成四个不同的度，沿着通道维度将它们串联起来，然后通过卷积层。这样，高层语义特征的不同视角之间的相互作用可以进一步强化全局语义信息。[16]通过自适应分层上采样产生FPN特征，可以对底层特征提供很大的语义补偿，从而防止FPN融合带来的稀释干扰问题。然而，上述各种FPN方法也需要额外的模块或更强大的输入，例如额外的高分辨率图像或额外的模块。相比之下，所提出的DN-FPN模块仅用于训练阶段，并且在不增加图像分辨率的情况下显着提高了性能。

Coarse-to-Fine Image Partitioning in Drone Imagery Detection

与一般的目标检测不同，无人机图像检测[39]、[40]、[41]、[42]、[43]采用由粗到细的框架，将输入图像分割成小块，再将大小调整后的小块作为检测网络的输入，从而获得更精确的检测结果。例如，[43]将图像分割成具有重叠部分的大小相等的图像，以消除物体在边界处的不连续。此外，[42]引入了一种密度引导的训练方法来获得密度区域，然后将其放大以更好地检测小而拥挤的物体。[39]，[40]利用mosaic填充合并多尺度图像，提高前景比例，加快推理过程。虽然这些从粗到精的框架在性能上的提升是显著的，但是在后处理融合中需要额外的时间消耗，并且还会产生许多局部对象。

Developments in Loss Function Approaches for Tiny Object Detection

在微小目标检测中，一般的IoU指标对预测边界框和地面真实数据之间的轻微偏移过于敏感。因此，DotD[25]将数据集中所有对象的平均大小作为一个新的度量标准，专注于中心点之间的相对距离。NWD[22]进一步将边界框建模为二维高斯分布，并使用归一化的Wasserstein距离来减轻微小物体位置偏差的敏感性。基于NWD [22]， NWD- rka[23]没有设置固定阈值，而是选取top-K个高质量区域进行采样，避免分配大量负标签。[44]引入了面积加权损失来加强对小物体的学习，其中权重随着尺寸的减小而增加。

R-CNN for Small Object Detection

受R-CNN[27]的启发，[45]强调了RPN生成的提案对于小对象来说太大，导致效果不佳。为此，他们根据数据集的统计特征，采用专为检测较小物体而定制的较小锚盒。此外，[46]观察到，由于小目标在训练数据中的样本较少，小目标很容易与不同尺度锚点不匹配。因此，他们采用将小对象复制粘贴到没有重叠的图像上的策略进行过采样，增加小对象的数量。此外，[47]侧重于通过超分辨率放大提案，以缓解小物体分辨率差的问题。

Transformer Models Leveraging Self-Attention in Object Detection

视觉转换器(Vision Transformer, ViT)[30]引入了目标检测的关键转变，图像被分解成不重叠的标记，通过转换器层进行分类任务分析。尽管该方法具有创新性，但由于相邻代币之间的关系减弱，该方法面临着一些问题，[48]通过利用展开操作来增强局部关系来解决这个问题。在此基础上，DETR[26]启动了一个端到端对象检测框架，该框架依赖于变压器力学来识别对象边界，尽管它在检测小对象方面存在困难，并且训练周期很长。为了解决这个问题，[49]在可变形的注意力模块中引入了多尺度特征，增强了小目标检测并加速了收敛。[50]，[51]通过部署对比去噪训练方法实现了进一步的改进，显著提高了COCO数据集的性能[12]。

虽然transformer模型可以更好地利用自我关注，但它们在处理微小物体时仍然存在致命缺陷。由于遥感图像中物体的体积很小，在图像中所占的比例也很小，因此在遥感图像中往往会出现前景与背景不平衡的情况。此外，微小的物体是模糊的，很容易与背景混淆，因为类似der的方法使用整个特征图作为输入，导致高误报(FP)[31]。更准确地说，自关注层主要执行与背景的相似性计算，这是低效和混乱的。为了克服这一障碍，作者的Trans R-CNN结合了RPN和自关注的优点，可以更好地捕获区域提案内的本地和全局信息。

Method

由于缺乏微小物体的像素表示，它们的表示对噪声更敏感。此外，从周围像素中整合局部和全局信息增强了微小物体的表示。为此，作者提出了一种有效的检测框架，即DNTR，用于微小目标的检测。作者的DNTR的指导思想是利用增强的几何和语义关系，有效地捕获RoI特征中的局部和全局信息，从而提高微小对象的性能。因此，可以实现两个目标:(1)通过保留纯粹的几何和语义信息(DN-FPN)来降低融合过程中引入的FPN特征噪声。(2)可以更好地利用RoI特征来捕获局部和全局信息，从而实现更好的检测(Trans R-CNN)。

图3显示了DNTR的整体结构，其中图3 (a)显示了所提出的DN-FPN，这是一个基于所提出的对比损失优化的几何和语义编码器的FPN。本部分旨在降低FPN融合过程中产生的噪声。然后，对FPN特征进行RPN网络和RoIAlign[32]来获得roi。图3 (b)展示了提出的创新检测器Trans R-CNN，旨在增强RoI内的局部关系并捕获更多的全局信息。

DN-FPN

FPN[17]通过融合不同层次的特征，极大地促进了目标检测的发展。FPN第i层的融合过程可表示为:

Pi表示自顶向下路径的特征，Ci表示自底向上路径的特征，即下采样产生的ResNet50 backbone3的多尺度特征(见图1)。L表示FPN的层数。Conv(·)是通道缩减的卷积操作，Up(·)是上采样操作。作为FPN的共识，由于高分辨率特征图代表几何表示，横向特征包含强的低级信息。相比之下，由于特征提取的深度，上层特征具有丰富的语义表示。

由于信道减少导致几何信息失真(称为噪声)，而语义信息由于上采样而面临类似的问题，因此作者将FPN噪声问题表述为几何和语义信息丢失问题。为了解决这些问题，作者提出了去噪FPN (DN-FPN)，这是一种对比学习方法，可以消除由信道缩减Conv(Ci)和上采样Up(Pi+1)产生的噪声。DN-FPN的目的是保留来自横向特征Ci的几何信息和来自上层特征Pi+1的语义信息，以消除融合特征Pi中的噪声。

Geometric and Semantic Representations

首先，作者使用几何和语义编码器从minibatch内FPN的每个级别的特征中提取几何和语义信息。具体来说，作者将横向特征Ci,j分别通过几何编码器和语义编码器投影到几何表示和语义表示{gi,jc,sc i,j∈R256}中，其中i表示FPN的第i层，j表示minibatch中不同样本的索引。同样，上层特征Pi,j也分别被几何编码器和语义编码器投影到几何表示和语义表示{gi,jp,sp i,j∈R256}中。值得注意的是，作者在对比损失中考虑了不同层次和批次的几何和语义表示。

给定一个FPN的L个层次和一个minibatch中的B张图像，作者将FPN的特征映射分解为几何表示G = {gi,jc,gp i,j | i =0，…L;J = 0，…， B}和语义表示S = {sci,j,sp i,j | i = 0，…L;j = 0,…， B}，如图4所示。随后，作者努力减少融合特征的几何信息与横向特征的几何信息之间的距离，因为横向特征代表未受干扰的几何信息。同样，作者将融合特征和上层特征的语义信息更紧密地结合在一起。相反，作者的目标是排斥与融合特征无关的不同层次和批次的融合特征的几何和语义形成。

具体来说，作者利用InfoNCE loss[52]来学习几何表示G(称为几何关系)和语义表示S(称为语义关系)之间更好的关系。在几何表示和语义表示之间建立更好的关系可以实现无噪声特征融合，使FPN结构可靠。

Geometric Relation

如图4所示，利用横向特征Ci,j为融合特征Pi,j提供几何信息。理想情况下，Ci,j和Pi,j的几何表示应该是相同的。然而，通道的减少破坏了自上而下的特征Pi,j，导致横向特征Ci,j的几何信息不相等。给定自顶向下路径的第k层和第b批，作者将几何表示gk,bp (query)和gk,bc (positive sample)作为正对，因为几何信息在横向上应该尽可能相似。相反，作者将来自小批内不同图像的所有不同层次的几何表示定义为负样本，因为它们具有不同的几何信息。几何关系(G−)的负样本集可表示为
因此，第b批的第k层的几何损失，用Lg(gkp,b)表示，由式导出
其中温度τ用于控制特征在表示空间中的集中程度。总体几何损失可计算如下:

Semantic Relation

遵循FPN的概念，上层特征将丰富的语义信息传播到自顶向下路径的下层特征，即融合特征Pi,j。理论上，Pi+1 j和Pi,j应该有相同的语义表示。然而，上采样操作可能产生冗余噪声，丢失语义信息。在这种情况下，(+1,j)和(，j)不再相等。因此，给定自顶向下路径的第k层和第b批，作者将语义表示spk,b(查询)和spk+1,b(正样本)视为正对。相比之下，作者将小批内不同图像的语义表示视为负样本。

语义关系的负样本集(S−)可表示为

类似地，第b批的第k级语义损失，用Ls(spk,b)表示，由下式导出

总体语义损失可以计算如下
综上所述，图4说明了几何表示和语义表示的详细关系。Lgeo和Lsem的融合特征保持了与信息源(横向和上层特征)的一致性。因此，通过DN-FPN生成的特征可以更好地检测微小物体。

Trans R-CNN

在DN-FPN获得增强的多尺度特征后，下一步就是更好地利用这些特征进行微小目标检测。根据过去的两阶段检测方法，R-CNN[27]提供了一种很好的方法来生成目标检测的感兴趣区域特征，而远程依赖关系很难通过全连接层捕获。因此，作者引入了一种有效的检测器Trans R-CNN，它包括shuffle展开机制、掩码转换器编码器和任务令牌选择机制，如图5所示。

Trans R-CNN的目标是增强微小物体的表示，以及增加关于这些表示的全局信息。因此，作者提出了shuffle展开来增加微小对象表示的多样性，并提出了mask transformer编码器来集成掩码自关注层以获得全局信息。

Shuffle Unfolding

图6展示了提议的洗牌展开。该算法旨在对相邻的patch令牌进行过采样，通过保留复杂空间细节的展开操作来积累它们，这是微小物体检测中的关键策略。通过RPN和RoIAlign生成RoI特征后，作者将每个RoI特征平均划分为具有重叠的token。这确保了每个令牌与周围的令牌保持连续的本地信息。之后，作者将K × K滑动窗口中的标记连接为一个展开的标记，以更好地利用空间信息。对于连接顺序，由于使用光栅扫描顺序[48]可能会限制特征的多样性，作者建议shuffle顺序来增加特征的多样性。shuffle命令通过随机连接展开的令牌来对它们的组合进行过采样。由于展开的令牌是从周围的令牌连接起来的，增加特征多样性可以看作是增强了局部信息。

具体来说，光栅扫描顺序只包含相同的未展开令牌组合。相反，在洗牌顺序中，展开标记的组合与滑动窗口的大小成正比，这可以超过光栅扫描顺序K2!次了。然而，由于复杂性，作者使用过采样率r来控制生成的未展开令牌的数量。例如，r =4表示4x个令牌数，另外3个未展开的令牌(浅橙色)是通过对原始令牌(橙色)进行洗牌生成的。令ti∈RD表示维度为d的第i个展开令牌。展开令牌序列Tunfold = {ti|i = 1,2，…， r}可以维持RoI内的空间相关性(token的顺序)，并通过不同的token组合获得丰富的空间信息。请注意，在shuffle展开操作之后，展开令牌的顺序是固定的。下面的操作，如多头自注意层(MSA)和全连接层(FC)，维持这种顺序，从而保留展开令牌的空间关系。

Mask Transformer Encoder

利用展开的标记序列，作者进一步设计了一个mask transformer编码器(MTE)，在RoI内捕获更多的全局信息，这是一个由两个掩模自关注层组成的有效编码器。首先，在注意机制之前，作者将展开的令牌序列Tunfold与类令牌(tcls∈RD)和盒令牌(tbox∈RD)连接起来，形成一个局部令牌序列Tl:

注意，tcls和tbox是两个可学习的标记，分别表示分类头和回归头的特定任务标记。其次，为了获得全局信息，MTE通过多头自关注(MSA)层将局部令牌序列Tl转换为全局令牌序列Tg。具体而言，Tunfold通过MTE与tcls和tbox通信，形成全局令牌序列Tg，表示为:
这里*表示使用掩码忽略TCLS和tbox之间的注意力分数计算，因为它们彼此无关。NM为MSA层数。在蒙版的作用下，自关注层能够同时处理类和框信息。

Task Token Selection

在获得全局令牌序列Tg后，作者设计了一种任务令牌选择算法，将全局未展开令牌序列均匀地划分为类相关组Gc或盒相关组Gb。所选择的机制是基于展开的令牌对类令牌t ’ cls和框令牌t ’ box的重要性。具体来说，对于第i个展开的令牌，作者计算注意力得分(αclsi，αi box∈R)如下:

其中Q(t’cls)和Q(t’box)分别表示类令牌和盒令牌的查询。K(t’i)是展开令牌序列的键，dk是键和查询的维数。对于每个展开的令牌，作者根据它们的注意力得分的总和对它们进行排序，并根据它们的α classsi和αi盒值将它们分类为类相关组或盒相关组。与类相关的组用于分类任务，与框相关的组用于回归任务。任务令牌选择算法的细节见算法1。

Overall Objective

使用交叉熵损失(LCE)优化分类任务，使用平滑L1损失(LSmoothL1)进行边界盒回归。此外，DN-FPN通过联合使用几何损失(Eq. 4)和语义损失(Eq. 7)来优化特征。因此，总体损失函数如Eq. 12所示，其中经验地使用λ =0.1来平衡不同损失的影响。

Experiment