语义分割网络-FCN全卷积网络

news2024/11/26 4:31:40

全卷积神经网络FCN整体概述

FCN是首个端对端针对像素级预测的全卷积网络。FCN会用到分类网络作为backbone
FCN的网络结构类比分类网络

分类网络经过卷积操作后，接全连接层，最后一个全连接层输出长度与分类类别数量相同，最后经过softmax得到术语每个类别的概率。

对于FCN网络，特征提取会用到分类网络作为backbone。类比分类网络，FCN-s32经过一系列卷积操作（下采样）获取特征层，卷积最终输出特征层与语义分割类别数num_cls相等（包含背景），再通过convTranspose反卷积（上采样），得到与原图相同大小的特征图，通道数与num_cls相等。特征图上的每一个像素点在channel维度上对应channel个值，进过softmax得到每一个像素点在所有类别上的概率值，取概率最大值作为该像素点的预测类别。

FCN网络结构

以VGG16为FCN的backbne
VGG16网络结构如下图所示：
VGG16网络结构图
FCN-8s和FCN-16s使用到第3个max pooling和第四个max pooling特征层，分别对应原始图片宽高的1/8和1/16
（理解FCN-8s最后特征层经过8倍上采样， FCN-16s最后特征层经过16倍上采样）

FCN-32S网络结构

FCN-32S网络结构
图片来自
https://www.bilibili.com/video/BV1J3411C7zd/?spm_id_from=333.788&vd_source=91cfed371d5491e2973d221d250b54ae*

如上图所示，在backbone特征提取模块使用是VGG16模型中全连接网络之前的所有卷积模块，FC6表示连接一个7×7卷积、激活函数和dropout，特征层大小不变；
FC7表示连接一个1×1卷积、激活函数和dropout，特征层大小不变；
再经过一个1×1卷积，不改变特征层大小，将channel数量转换为与num_cls相同；
经过反卷积（上采样），将特征图上采样32倍得到与原始图片相同大小的特征层；
(如果训练过称重反卷积参数冻结，等于对特征图做双线性插值处理)
得到语义分割结果

FCN-16S网络结构

FCN-16S网络结构
图片来自
https://www.bilibili.com/video/BV1J3411C7zd/?spm_id_from=333.788&vd_source=91cfed371d5491e2973d221d250b54ae*

FCN-16s在反卷积结果中融合了backbone中的特征层。
使用VGG16第四个池化后的特征层（原始图像宽高1/16）进过一次1×1卷积将channel数转化为num_cls，
与两倍上采样后的卷积结果相加（特诊层对应位置像素值相加操作），
融合后的结果进行反卷积（16倍上采样），
输出特征层，得到语义分割结果。

FCN-8S网络结构

FCN-8S网络结构
FCN-8s在反卷积结果中融合了backbone中的特征层。
使用VGG16第四个池化后的特征层（原始图像宽高1/16）进行一次1×1卷积将channel数转化为num_cls，
与两倍上采样后的卷积结果相加（特征层对应位置像素值相加操作），
将结果再次两倍上采样，再与VGG16第三个池化后的特征层（原始图像宽高1/8）进行一次1×1卷积将chnnel数量转化为num_cls相加（特征层对应位置像素值相加操作），
融合后的结果进行反卷积（8倍上采样），
输出特征层，得到语义分割结果。