FastRcnn理论合集

Rcnn

论文原著
Rich feature hierarchies for accurate object detection and
semantic segmentation

R-CNN可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂，曾在2010年带领团队获得终身成就奖。

算法流程

RCNN算法流程可分为4个步骤

• 一张图像生成1K~2K个候选区域（使用Selective Search方法）
• 对每个候选区域，使用深度网络提取特征
• 特征送入每一类的SVM分类器，判别是否属于该类
• 使用回归器精细修正候选框位置

候选区域的生成

利用Selective Search算法通过图像分割的方法得到一些原始区域，然后使用一些合并策略将这些区域合并，得到一个层次化的区域结构，而这些结构就包含着可能需要的物体。

2，对每个候选区域

使用深度网络提取特征将2000候选区域缩放到227x227pixel，接着将候选区域输入事先训练好的AlexNet CNN网络获取4096维的特征得到2000×4096维矩阵。

3.特征送入每一类的SVM分类器

判定类别将2000×4096维特征与20个SVM组成的权值矩阵4096×20相乘，获得2000×20维矩阵表示每个建议框是某个目标类别的得分。分别对上述2000×20维矩阵中每一列即每一类进行非极大值抑制剔除重叠建议框，得到该列即该类中得分最高的一些建议框。

使用回归器修正候选框的位置

对NMS处理后剩余的建议框进一步筛选。接着分别用20个回归器对上述20个类别中剩余的建议框进行回归操作，最终得到每个类别的修正后的得分最高的bounding box。
如图，黄色框口P表示建议框Region Proposal，绿色窗口G表示实际框Ground Truth，红色窗口G表示Region Proposal进行回归后的预测窗口，可以用最小二乘法解决的线性回归问题。

算法的整体流程

Rcnn结构模型

Rcnn存在问题

1.测试速度慢：测试一张图片约53s（CPU）。用Selective Search算法提取候选框用时约2秒，一张图像内候选框之间存在大量重叠，提取特征操作冗余。

2.训练速度慢：过程及其繁琐

3.训练所需空间大：对于SVM和bbox回归训练，需要从每个图像中的每个目标候选框提取特征，并写入磁盘。对于非常深的网络，如VGG16，从VOCO7训练集上的5k图像上提取的特征需要数百GB的存储空间。

Fast R-cnn

Fast R-CNN是作者Ross Girshick继R-CNN后的又一力作。同样使用VGG16作为网络的backbone，与R-CNN相比训练时间快9倍，测试推理时间快213倍，准确率从62%提升至66%（再Pascal VOC数据集上）。

Fast R-cnn算法流程

• 一张图像生成1K~2K个候选区域（使用Selective Search方法）

• 将图像输入网络得到相应的特征图，将SS算法生成的候选框投影到特征图上获得相应的特征矩阵

• 将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图，接着将特征图展平通过一系列全连接层得到预测结果
  
  

fast-R-cnn分类器

输出N+1个类别的概率（N为检测目标的种类，1为背景）共N+1个节点

边界框回归器

输出对应N+1个类别的候选边界框回归参数（d1，d2，，d3，d4），共（N+1）x4个节点

Fast -R-cnn 结构（瓶颈在ss算法上）

Faster R-Cnn基础理论

Faster R-CNN是作者Ross Girshick继Fast R-CNN后的又一力作。同样使用vGG16作为网络的backbone，推理速度在GPU上达到5fps（包括候选区域的生成），准确率也有进一步的提升。在2015年的ILSVRC以及COCO竞赛中获得多个项目的第一名。

Faster R-cnn算法流程

• 将图像输入网络得到相应的特征图

• 使用RPN结构生成候选框，将RPN生成的候选框投影到特征图上获得相应的特 征矩阵

• 将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图，接着将特征图展平通过一系列全连接层得到预测结果

RPN网络结构