参考链接：霹雳吧啦b站

主要参考了b站霹雳吧啦的视频《深度学习目标检测篇》。

---

---

前言

YOLOv3的精度虽然已经过时，但思想仍旧值得学习，本帖记录所需所想的一些内容。

---

YOLOv3

网络结构

一共53层，利用了FPN特征金字塔结构，在不同的层进行预测，具体信息如图所示。

特征层预测目标框

图中展示了$(13^2,26^2,52^2)$三种特征图上的9种$\text{anchor}$大小，红色为$\text{GT}$框。一个$\text{GT}$框由哪一个输出特征层进行预测，取决于当前层对应尺寸的$\text{anchor}$与$\text{GT}$的$\text{IoU}$值，从图中可以看出，狗的目标框适合特征图层1(深层预测大目标)进行预测。

边界框预测回归

图中黑色的虚线框为$\text{anchor}$模板，蓝色实线框为预测的目标框。$(t_x,t_y,t_w,t_h)$为$\text{anchor}$预测的目标框的偏移量，利用这些偏移量我们最终可以得到预测的目标框的绝对坐标$(b_x,b_y,b_w,b_h)$。其中$\sigma (x)$是$\text{sigmoid}$函数，目的是将预测的偏移量缩放至0-1之间(相对坐标)，这样可以将每个Grid Cell中预测的目标框的中心坐标限制在当前Cell中，加速网络收敛。

问题
Q：anchor对应预测的目标框偏移量是怎样计算出来的？
A：偏移量是连同目标置信度以及类别置信度(4+1+80)一同被网络的最后一层输出直接预测得到的。

---

YOLOv3 SPP

• mosaic数据增强：将多张图拼接到一张图上(label同步)，增加了数据的多样性、目标个数(训练时增加了正样本个数)，同时BN能一次性统计多张图片的参数。

正负样本匹配

1. 假设$GT$的中心点落在特征图的哪一个$cell$内，哪一个$cell$的3个$\text{anchor}$就负责预测。首先一共会有$(16\times 16+32\times 32+64\times 64)\times 3=16128$个$\text{anchor}$，即16128个样本。其中仅选取与$GT$最大$IoU$的$\text{anchor}$当做正样本，又由于每个预测目标框根据计算的$IoU$来确定由哪个尺度的特征图负责预测，则基本上相当于一个真实目标框对应一个正样本$\text{anchor}$(由于$\text{mosaic}$，单图目标数量还可以)，所以一张图像的正样本一般只有十几个或几十个，而负样本大概有$10^4-10^5$个。