07- 算法解读 Faster_R-CNN (目标检测)

news2024/11/15 4:20:11

要点：

Faster_R-CNN = RPN + Fast R-CNN

GitHub地址：vision/torchvision/models/detection at main · pytorch/vision · GitHub

三 Faster_R-CNN

Faster R-CNN 是作者 Ross Girshick 继 Fast R-CNN 后的又一力作。同样使用 VGG16 作为网络的 backbone ，推理速度在 GPU 上达到 5fps( 包括候选区域的生成 ) ，准确率也有进一步的提升。在 2015 年的 I L S V R C 以及 C O C O 竞赛中获得多个项目的第一名。

Faster R-CNN算法流程可分为3个步骤

将图像输入网络得到相应的特征图
使用RPN结构生成候选框，将RPN生成的候选框投影到特征图上获得相应的特征矩阵
将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图，接着将特征图展平通过一系列全连接层得到预测结果

3.1 损失逻辑

对于特征图上的每个3x3的滑动窗口，计算出滑动窗口中心点对应原始图像上的中心点，并计算出k个anchor boxes (注意和proposal的差异)。

三种尺度(面积){ 1282 , 2562 , 5122}
三种比例{ 1:1, 1:2, 2:1 }
每个位置(每个滑动窗口)在原图上都对应有3x3=9 anchor

对于一张1000x600x3的图像，大约有 60x40x9(20k)个anchor，忽略跨越边界的 anchor以后，剩下约6k个anchor。对于RPN 生成的候选框之间存在大量重叠，基于候选框的cls得分，采用非极大值抑制，IoU 设为0.7，这样每张图片只剩2k个候选框。

3.2 RPN Multi-task loss

3.3 分类损失

3.4 边界框回归损失

3.5 Faster R-CNN训练

直接采用RPN Loss+ Fast R-CNN Loss的联合训练方法

原论文中采用分别训练RPN以及Fast R-CNN的方法

(1)利用 lmageNet 预训练分类模型初始化前置卷积网络层参数，并开始单独训练RPN网络参数;

(2)固定RPN网络独有的卷积层以及全连接层参数，再利用 marelNet预训练分类型初始化前置卷积网络参数，并利用RPN 网络生成的目标建议框去训练FastRCNN网络参数

(3)固定利用Fast RCNN训练好的前置卷积网络层参数，去微调RPN网络独有的卷积层以及全连接层参数。

(4)同样保持固定前置卷积网络层参数，去微调FatRCNN网络的全连接层参数。最后RPN网络与FastRCN网络共享前置卷积网络层参数，构成一个统一网络。

3.6 Faster R-CNN框架

结构对比：

3.7 FPN网络

针对目标检测任务
cocoAP提升2.3个点
pascalAP提升3.8个点

3.7.1 针对不同的预测特征层，RPN和Fast RCNN的权重共享

3.8 源码解读

环境配置：

Python3.6/3.7/3.8
Pytorch1.7.1(注意：必须是1.6.0或以上，因为使用官方提供的混合精度训练1.6.0后才支持)
pycocotools(Linux:pip install pycocotools; Windows:pip install pycocotools-windows(不需要额外安装vs))
最好使用GPU训练
详细环境配置见requirements.txt

文件结构：

├── backbone: 特征提取网络，可以根据自己的要求选择
├── network_files: Faster R-CNN网络（包括Fast R-CNN以及RPN等模块）
├── train_utils: 训练验证相关模块（包括cocotools）
├── my_dataset.py: 自定义dataset用于读取VOC数据集
├── train_mobilenet.py: 以MobileNetV2做为backbone进行训练
├── train_resnet50_fpn.py: 以resnet50+FPN做为backbone进行训练
├── train_multi_GPU.py: 针对使用多GPU的用户使用
├── predict.py: 简易的预测脚本，使用训练好的权重进行预测测试
├── validation.py: 利用训练好的权重验证/测试数据的COCO指标，并生成record_mAP.txt文件
└── pascal_voc_classes.json: pascal_voc标签文件

预训练权重下载地址（下载后放入backbone文件夹中）：

MobileNetV2 backbone: https://download.pytorch.org/models/mobilenet_v2-b0353104.pth
ResNet50+FPN backbone: https://download.pytorch.org/models/fasterrcnn_resnet50_fpn_coco-258fb6c6.pth
注意，下载的预训练权重记得要重命名，比如在train_resnet50_fpn.py中读取的是fasterrcnn_resnet50_fpn_coco.pth文件，不是fasterrcnn_resnet50_fpn_coco-258fb6c6.pth

本项目中使用的是PASCAL VOC2012数据集：

Pascal VOC2012 train/val数据集下载地址：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
如果不了解数据集或者想使用自己的数据集进行训练，请看之前课程中介绍PASCAL VOC数据集和制作自己的数据集的课程视频.
使用ResNet50+FPN以及迁移学习在VOC2012数据集上得到的权重: 链接:百度网盘请输入提取码提取码:vixt

训练方法：

确保提前准备好数据集
确保提前下载好对应预训练模型权重
若要训练mobilenetv2+fasterrcnn，直接使用train_mobilenet.py训练脚本
若要训练resnet50+fpn+fasterrcnn，直接使用train_resnet50_fpn.py训练脚本

注意事项：

在使用训练脚本时，注意要将'--data-path'(VOC_root)设置为自己存放'VOCdevkit'文件夹所在的根目录
由于带有FPN结构的Faster RCNN很吃显存，如果GPU的显存不够(如果batch_size小于8的话)建议在create_model函数中使用默认的norm_layer，即不传递norm_layer变量，默认去使用FrozenBatchNorm2d(即不会去更新参数的bn层),使用中发现效果也很好。
在使用预测脚本时，要将 'train_weights' 设置为你自己生成的权重路径。
使用 validation 文件时，注意确保你的验证集或者测试集中必须包含每个类别的目标，并且使用时只需要修改 '--num-classes'、'--data-path' 和 '--weights' 即可，其他代码尽量不要改动。