论文地址

DETR

Abstract

提出了一种将目标检测视为直接集预测问题的新方法。简化了检测pipeline，有效地消除了许多手工设计的组件的需求，例如非最大抑制过程或锚生成，这些组件明确地编码了任务的先验知识。新框架的主要成分，是基于集合的全局损失，它通过二部匹配强制唯一的预测，以及变transformer encoder-decoder架构。给定一组固定的学习对象查询，DETR 推理对象和全局图像上下文的关系，以并行直接输出最终的预测集。DETR在具有挑战性的COCO对象检测数据集上展示了与成熟和高度优化的Faster RCNN基线相当的准确性和运行时性能。

Motivation

通常检测器通过在proposal、anchor 或center point 上定义代理回归和分类问题，以间接方式解决该集合预测任务。它们的性能受到后处理步骤、锚集的设计以及将目标框分配给锚的启发式方法显着影响。为了简化这些pipeline，所以提出了一种直接集预测方法来绕过代理任务。

模型框架

从论文图中可以看出，整个pipeline确实很简单。

详细结构

图像先经过下采样，用小的feature map输入transformer结构中，必然导致了对小目标检测效果较差。论文中也明确说了这个问题。 初始化的queries为0, 同时position embedding 每个模块都要加一次

Encoder

Decoder

小结

确实简化都不少手工设计的组建，但是在小目标的表现上较差。NMS感觉还是需要的，不可能刚刚好一个目标对应预测一个框。