arXiv-2019

---

---

1 Background and Motivation

基于深度学习的目标检测效果在MS COCO数据集上越来越好，但是小目标检出率还是无法媲美中目标或者大目标

原因

• only a few images are containing small objects（含有小目标的图片占比比较小）
• small objects do not appear enough even within each image containing them（每张图片的小目标数量也比较少——lack of diversity in the locations of small objects）

小目标比较少， both across images and across pixels

作者采用 oversampling 和 copy-pasting（not overlap with any existing object）方法来提升 MS COCO 数据集上小目标的检出率

2 Related Work

• Object Detection
• Instance Segmentation
• Small objects
  • increasing the input image resolution
  • fusing high-resolution features

3 Advantages / Contributions

用 oversampling 和 copy-paste 方法来提升目标检测任务中小目标的检出率

4 Method

Small object detection by Mask R-CNN on MS COCO

统计的还算细致，average matching anchors 比较少，average max IoU 也比较小

large object spanning multiple sliding-window locations often has a high IoU with many anchor boxes

小目标面积比较小，负责预测的 grid anchor 也会少很多（只能说高质量的负样本会变少，因为每个GT只有一个 anchor 负责预测——以前的正负样本匹配策略，小目标比较小，周边 grid 的 anchor 可能覆盖不到目标，同为负样本，但质量应该没有大目标的高）

4.1 Oversampling

over-sample images containing small objects

4.2 Augmentation

（1）copy mask

（2）random transformations——object size ±20% and rotate it ±15°

（3）paste

4.3 Copy-Pasting Strategies

5 Experiments

5.1 Datasets and Metrics

MS COCO 2017

• 118,287 images for training, 5,000 images for validation and 40,670 test images.

• 860,001 and 36,781 objects from 80 categories are annotated with ground-truth bounding boxes and instance masks

5.2 Oversampling

可以看出，小目标提升了，大目标的效果会响应的降低

5.3 Augmentation

aug 应该是 copy-aug-paste 替换了原图

aug + oversample 是 aug 的基础上过采样，应该也不涉及到原图

original + aug 应该是 aug + 原图相当于 2x 小目标图片，训练数据集变多了，对于 baseline 有一点点不公平

同样也可以观察到，小目标提升了，大目标的效果会响应的降低

5.4 Copy-Pasting strategies

（1）Copy-pasting of a single object

单个小目标被 copy-paste 很多次

（2）Copy-pasting of multiple objects

许多小目标，每个小目标仅可能被 copy-paste 一次

choose numerous small objects and copy-paste each of these exactly once in an arbitrary position

（3）Copy-pasting of all small objects

copy-paste all small objects in each image multiple times in random places

感觉和 multi 的区别是 all，效果没有 multi 好

5.4 Pasting Algorithms

paste 的时候，不 overlap，边缘也不做 gaussion blur 效果最好

6 Conclusion（own） / Future work

• MS COCO 数据集检测和分割的 leaderboard

  • https://cocodataset.org/#detection-leaderboard

• 提升点有限，吹的是相对提升很唬人，而且小目标提升后，大目标效果下降比较明显，整体 AP 的提升基本没有

• 方法没有任何创新点，文章描述不够简洁

• 数据集的分析可以参考参考