FII-CenterNet

An Anchor-Free Detector With Foreground Attention for Traffic Object Detection

FII-CenterNet：关注前景的anchor-free交通场景探测器

I. INTRODUCTION

anchor-based模型：它们的检测性能很大程度上依赖于锚点的超参数，如锚点的大小、长宽比和数量。由于仍然没有有效的方法来自主地调整这些超参数，所以它们必须逐个地被手动校准。针对这一问题，人们提出了无锚方法来提高探测器的灵活性，并得到了广泛的关注。

因此我们提出了一种新的无锚方法，通过引入前景信息到中心网络，叫做Foreground Information Introduction CenterNet (FII-CenterNet)

方法如图1所示：该方法提出了基于语义分割的交通场景前景区域，并将前景信息引入到交通目标检测中

综上所述，本文的主要贡献如下：

• 针对无锚点检测器，提出了一种基于语义分割的前景区域建议方法。

• 引入中景作为前景与背景的过渡区域，提供了丰富的目标边缘信息。

• 在回归过程中引入前景尺度信息，可以提高交通对象的尺度预测性能。

• 我们的方法在两个公共数据集KITTI和PASCAL VOC上进行了评估。大量的实验结果表明，FII-CenterNet有效地提高了交通目标检测的性能，在准确率和效率上都达到了最佳水平。

II. RELATED WORK

这一节还是挑没见过的看，A，B是关于Anchor-Based和Anchor-Free探测器的介绍，自行了解。

C. Detectors Exploiting Segmentation Information

语义分割是另一个重要的计算机视觉任务，广泛应用于ITS（智慧交通系统）中，如道路检测。我们的前景区域建议方法基于此。

我们使用语义分割特征来获得前景区域信息。位置信息用于生成前景区域特征图，尺度信息用于回归任务。

III. FII-CENTERNET APPROACH

特征提取：FII-CenterNet使用CenterNet中修改的DLA-34提取特征，在DLA上的具体修改：在每个上采样层用3 × 3可变形卷积替换原始卷积。

**网络模型：图2 FII-CenterNet，**如下所示：

**FII-CenterNet:**前景信息引入CenterNet进行交通目标检测。方框中的数字表示到图像的步幅。在CenterNet中使用改进的DLA-34进行特征提取。它使用可变形卷积来改变通道，并使用转置卷积来对特征图进行上采样。

我们用蓝色虚线箭头表示可变形卷积，用橙子虚线箭头表示这两个步骤。黑色虚线箭头表示没有向后传播的传播。

**前景区域建议网络：**旨在估计前景区域。由DLA-34提取的特征图生成前景特征图。在数学上，设FM为特征图，FFM为前景特征图。
$$FFM=FM\odot F$$
其中，F是前景区域建议结果，并且⊙是逐元素乘法。

在推理时，热图(heatmap)中值不小于其8连通邻居的前100个峰值被保持为中心点预测。

在回归过程中产生一个尺度预测图 S 和局部偏移量 O
$$尺度预测图S:S\in R^{(W/R)\times (H/R)\times 2},中心点为p_k,Sk=(wk,hk)是中心点p_k物体的宽高$$

$$局部偏移O\in R^{(W/R)\times (H/R)\times 2},中心点为p_k,O_k=({\delta }_{kx},{\delta }_{ky})$$

最终的检测结果被描述为边界框:
$$对于中心点p_k，对应的边界框是（x_{k1}，y_{k1}，x_{k2}，y_{k2}），其利用p_k和S_k来解码$$

以下各小节的组织方式如下。

• 首先，我们在A节中提出前景区域建议网路。
• 其次，描述了网络的训练方法。损失函数和前景分割标签生成方法分别在B和C节中描述。框诱导标记会丢失物体的一些边缘信息。
• 因此，我们在D节中提出了中景的概念。
• 在E节中，我们将尺度信息引入到回归网络中，以充分利用前景信息。训练图见图3：

FII-CenterNet训练图。损失函数可以分为四个部分。Lf是前景区域建议网络的损失;Lp为中心点预测网络的损失;Ls为规模预测网络的损失;Lo是偏移预测网络的损耗。

A. 前景区域建议网络(Foreground Region Proposal Network)

为了实现基于语义分割的前景区域建议，有两种可行的实现方法：

1. 上分支提出前景区域(Foreground Region Proposal by up Branch)

2. 自分支提出前景区域(Foreground Region Proposal by self Branch)

1) 上分支提出前景区域

在该方法中，前景区域建议是基于编码器的结果,如分支在图2所示。它通过一个附加分支执行上采样操作，并使用多次连续卷积获得的结果提出前景区域。在上分支中，使用可变形卷积来改变通道，并且使用转置卷积来对特征图进行上采样。编码器-解码器结构是语义分割网络中常用的结构。

2) 自分支提出前景区域

该方法基于特征图直接执行进一步的卷积运算,如自我分支在图2所示。它直接利用提取的特征图谱,并进一步分析和处理。前景区域建议是通过多个连续旋转获得。

B. 损失函数(Loss Function)

损失函数可分为四部分：

（a）Lf是前景区域建议网络的损失;

（B）Lp是中心点预测网络的损失;

（c）Ls为规模预测网络的损失;

（d）Lo是偏移预测网络的损失。

对于Lf和Lp，使用修改的焦点损失

总损失函数为:
$$L={\lambda }_f{L}_f+{\lambda }_p{L}_p+{\lambda }_s{L}_s+{\lambda }_o{L}_o$$
其中λf、λp、λs和λo是四个部分对应的损失权重。

C. 前景分割标签生成(Foreground Segmentation Label Generation)

生成前景分割标签来训练前景区域建议网络，这是一种框诱导的分割标注。

**分割标签生成示意图：**分割标签从边界框标签生成。右上角是前景标签的生成。标签中引入了中景，如右下角所示。

D. 中景(Midground)

值得注意的是，两阶段检测器的RPN中的一些区域既不被分类为前景也不被分类为背景。Faster R-CNN 中的锚根据与任何地面实况对象的重叠进行标记。

中景区域定义为前景区域外的环形区域，如图5所示。在生成分割标签时，中景区域的像素被设置为0.5。

E. 前景尺度信息介绍(Introduction of Foreground Scale Information)

位置信息只是前景信息的一部分。值得注意的是，由于前景区域建议网络是基于类别的，因此每个类别的建议实际上包含了对象的尺度信息。在回归过程中引入前景尺度信息可以辅助尺度预测。因此，不同类别下的前景区域建议与FII-CenterNet中的前景特征图连接作为回归的输入。

V. CONCLUSION

综上所述，为了提高无锚点检测器在交通目标检测中的性能，提出了FII-CenterNet算法，该算法引入前景信息以消除交通场景中复杂背景信息的干扰。前景区域建议网络基于语义分割，其由从边界框标签生成的分割标签监督。引入中景作为前景与背景的过渡，可以提供丰富的目标边缘信息。由于引入了前景位置和尺度信息，有效地提高了检测精度，在KITTI验证集上的实验结果验证了这一点。KITTI基准测试和PASCAL VOC 2007测试结果表明，FII-CenterNet在准确性和效率方面都达到了最先进的水平。

为了以后的研究，可以在网络中加入分割分支来处理交通对象的分割任务，这可以简单地在前景区域的基础上提出。此外，检测结果可以进一步用于其他ITS应用，例如交通拥堵检测。