简介
FCN是首个端对端的针对像素级别预测的全卷积网络,发表在2015CVPR。全卷积的意思是全连接层全部替换成了卷积层。
FCN的评价指标
FCN的评价指标主要采用Mean IOU,他在当时已经超过了大多数网络的Mean IOU。
全卷积的优势
通过观察我们能够发现,在加入全连接层的网络中,如果你改变输入图像的分辨率(大小),在展平处理的时候就会报错,这是很不妙的情况(虽然后来可以通过全局池化消除)。所以引入全卷积,在引入全卷积后,你就不必要保证输入图片的大小必须为单一特定尺寸了。但是你输出的数据是1000个channel,但是宽高可能都大于1的数据,单个channel便是二维数据,这个时候你就可以使用heatmap来将每一channel展平后观察。
参数数量对比,都忽略bias:
输入图片的大小尺寸不能太小
以FCN-32s为例,作者一开始使用的图片输入卷积的padding设置为100,是为了防止输入图片的大小小于32,因为Backbone采用了VGG16,所以会下采样32倍,在做语义分割的时候我们也要注意:输入图片的大小不能太小,否则效果可能不好。
在上采样的时候,上采样的倍数也不能太大,否则转置卷积的话可能没有用,例如此时的上采样倍数设置为32,就没有实质上的用处。
一些其他的FCN网络
在这里会将VGG16 backbone中的部分输出特征矩阵取出来进行residual相加的操作,这也是为啥我们也经常能够在UNet中看到residual相加。
损失计算
针对每个pixel计算一下cross Entropy loss
评价指标
同语义分割中的评价指标。
代码实现
待续。