导推荐的,简单看了一下,(太菜,太多不懂,希望以后会懂,简单做个记录
其实做的是xmind,但是想放到csdn上只能导出成md了。
Imbalance Problems in Object Detection: A Review
类别不平衡
简单理解
- 正例数量远远小于负例数量
Foreground-Foreground Class Imbalance
-
分类类别上的不平衡
-
发生情况
- 数据集(dataset-level imbalance)
- 一个 batch (mini-batch-level imbalance)
-
存在的问题
- 没有太大的引起现阶段目标检测研究的重视
Foreground-Background Class Imbalance
-
研究最广泛,程度最深的一类不平衡
-
引发原因
- 不是由于数据集引起的
- 由于现有目标检测架构引起的
-
发生情况
- background anchors 远远多于 foreground anchors
-
解决方法
-
hard sampling
-
有偏采样
-
例子
- mini-batch undersampling (R-CNN 系列标准配置)
- OHEM
- IoU-balanced sampling
- PISA
- 类 RPN 的 objectness 方法
-
-
soft sampling
-
loss reweighting
-
例子
- Focal Loss
-
-
-
总结
-
一大问题
- 几乎所有的 sampling heuristics 都基于启发式
- 具有大量的超参数需要调整
-
举例
- OHEM 需要调 mini-batch size 和 fraction
- Focal Loss 需要调 α 与 γ
- GHM 有一些必要的前提假设与区间 M 需要调
-
解决不平衡最佳的策略(分布)是难以定义的
-
本文
-
回顾了 foreground-background imbalance
- 探讨 sampling heuristics 是否必要
-
由数据引起的不平衡
-
foreground-background imbalance 在训练和测试中是具有等同分布的
-
使用采样,可能会改变这种分布
- 不一定会在测试中取得更好的结果
-
不使用采样
- 陷入难以训练的境地
-
-
-
anchor-free 的 detector的不平衡
-
anchor-free 的检测器大多基于关键点的检测驱动
- extreme point
- center point
- corner point
-
foreground points 数量比 background points 存在着明显差异
-
影响
- 不若 anchor boxes 那般造成如此剧烈的不平衡
- 导致绝大部分的 anchor-free 检测器采用了 Focal Loss 或者其变体来训练网络
-
尺度不平衡
Object/box-level Scale Imbalance
-
例子
- COCO 中的小物体过多
-
发生情况
-
当某个尺度范围内的物体 over-represent 该数据集后
- scale imbalance 就会发生
-
-
影响
- An Analysis of Scale Invariance in Object Detection - SNIP 中的 investigation 指出
- 极大影响 overall detection performance
-
处理多样性的边界框
-
方法
-
pyramid
- image pyramid (SNIP, SNIPER)
- feature pyramid(SSD, FPN 等)
- image pyramid + feature pyramid
-
-
典型工作
- Naiyan Wang: TridentNet:处理目标检测中尺度变化新思路
-
Feature-level Imbalance
-
是什么
-
FPN-based architecture里
- 层级之间特征的不平衡性
-
ow Level 和 High Level 的特征之间互有定位/语义之间的优缺点
-
如何 mitigate 这种不平衡来达到最佳的检测效果?
-
-
解决方案
-
结构上
- 各式各样的连接方法
-
空间不平衡
Imbalance in Regression Loss
-
对于那些 low-quality IoU bounding-boxes
-
会产生很大的损失
- L1 和 L2 loss 会被它们所主导
-
IoU Distribution Imbalance
-
bounding boxes 在 IoU 段的分布上呈现出明显不均匀的分布
-
negatives
- IoU 在 0~0.1 范围内的样本占据主导
-
positives
- IoU 在 0.5~0.6 之间的样本占据主导
-
-
解决工作
-
Cascade R-CNN (Naiyan Wang: CVPR18 Detection文章选介(上))
-
步骤
- 通过级联结构
- 逐步调高 IoU threshold
- 增强正样本的质量
- 防止 regressor 对单一阈值过拟合
-
Object Location Imbalance
-
解决工作
-
Region Proposal by Guided Anchoring
-
作为一个 anchor-free 的 RPN
- 可以预测出 proposals 的 location
-
多任务损失优化之间的不平衡
一般来说,分类任务的损失要比回归任务的损失要大一些
-
原因
- 回归只做 foreground example
- 分类要做到所有的 example
解决方法
-
设置 weighting factor 来调
- 观察什么样的情况可以达到最佳
-
Prime Sample Attention in Object Detection 里的 Classification-Aware Regression Loss
- 让网络更加注意到回归较好的 bounding-boxes
- 此让回归损失和分类的 score 相关
- 从而使得梯度可以从 regression branch 流到 classification branch
参考文献
[1] https://mp.weixin.qq.com/s/tNQh-04Z1SWXvgH8dOm8qA
[2] https://github.com/kemaloksuz/ObjectDetectionImbalance