深度学习基础——U-Net图像分割

news2025/1/12 21:06:51

图像分割，就是根据图像的某种相似性特征(如亮度、颜色、纹理、面积、形状、位置、局部统计特征或频谱特征等）将医学图像划分为若干个互不相交的“连通”区域。
相关特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同，也就是说在区域边界上的像素存在某种不连续性。

U-Net网络介绍

U-Net是由Olaf Ronneberger等人提出的改进全卷积网络，常用于图像分割任务。U-Net得名于它的网络结构图，类似一个英文字母“U”.
U-Net网络主要有编码器和解码器两个部分，左半边是一个从上到下编码器，从原始图像抽取特征;右半边是一个从下到上解码器，从图像特征还原目标信息。

下采样和上采样

下采样(编码)

第一部分网络与普通卷积网络相同，特征图通过2个3x3卷积(padding为0，stride为1)和1个最大池化模块完成一次下采样，共压缩了4次，获取多尺度特征图。下采样的目的是获取图像中的上下文信息。

上采样(解码)

第二部分与前面基本对称，特征图通过2个3x3卷积和1个转置卷积模块完成一次上采样，共4个上采样模块。上采样的目的是恢复图像分辨率。

Skip-Connection

在网络传播的过程中，随着网络越来越深，相应特征图的感受野会越来越大，但是保留的细节信息会越来越少，为了进一步弥补编码阶段下采样丢失的信息，U-Net算法利用skip-connection进行拼接层来融合两个过程中对应位置上的特征图，使得解码器在进行上采样时能够保留更多高层特征图蕴含的高分辨率细节信息，进而提高分割精度。

底层特征与高层特征

数据预处理

例如，医学图像数据的获取和标注成本很高，难以找到充足的数据来完成任务。为了防止深度学习模型出现严重的过拟合现象，当数据量不足时，通常会做数据增强，扩大数据集样本量，提升数据样本空间的复杂度。

可以通过移动窗口的方式将一张图像切分成多个子图以及弹性形变达到数据增强的目的。除此之外还可以使用普通的仿射变换(即翻转，旋转，裁剪)和改变亮度来实现。

由于U-Net网络的输入是大于输出的，因此，在输入图像前，还需要对原图进行放大。如下图，左图中间白色线框为训练集中的原图，外面一圈是通过对边缘部分进行翻转，旋转变换得到的。实际预测的区域为黄色的区域，实际输入的区域为蓝色的区域。

交叉嫡损失函数

图像分割中最常用的损失函数是逐像素交叉嫡损失。该损失函数分别检查每个像素，将类预测(深度方向的像素向量)与目标向量进行比较。
交叉嫡损失函数单独评估每个像素矢量的类预测，然后对所有像素求平均值，可以认为图像中的像素被平等的学习了。但是，医学图像中常出现类别不均衡的问题，由此导致训练会被像素较多的类主导，对于较小的物体很难学习到其特征，从而降低网络的准确性。

左图为选定像素的预测结果，右图为对应像素的目标.
逐像素损失计算为对数损失，对所有可能的类求和。此评分在所有像素上重复计算并取平均值。

Dice损失函数

在图像分割的过程中，网络的损失函数一般使用Dice系数作为损失函数。Dice系数源于二分类问题，是一种相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0,1].
Dice系数的计算公式如下。其中，A表示真实值，B表示预测值。|A∩B|是A和B之间的交集，|A|和|B|分别表示A和B的元素的个数。通常用“1-Dice”作为可以最小化的损失函数，这种损失函数被称为soft dice loss。

TP:被正确分类的正例
FP:错分为正例的负例
FN:错分为负例的正例

目前分割主要存在问题

使用深度学习进行图像分割，采用了分类的思路，对每个像素点进行分类，判断像素点是属于目标前景还是背景

传统卷积神经网络做分类的步骤是:
·单个图像经过多层卷积得到降维之后的特征图

·特征图经过全连接层变成—个分类器

·输出一个类别的向量，这就是分类的结果

对于基于神经网络的图像分割问题来说，图像中的每一个像素都会输出一个分类结果，传统神经网络中分类的向量，就变成了一个分类的特征图，通道数等于类别数量。
分割网络中的池化操作在减少feature的空间分辨率的同时增加了模型感受野，这也是模型应对小型平移具有鲁棒性的根本原因。但是连续的下采样得到的feature map就会丢失一些low-level中关键信息(例如边沿，边界等)。这就让识别和准确定位产生了矛盾。如果网络不采取任何池化操作，这在目标边界定位上效果较好，但是识别性能差。
为了解决这个问题，U-net采用多个skip-connection将底层的feature和高层的feature concat，U-Net结构如下图。

每个蓝色框对应一个多通道特征图。通道数显示在框的顶部。x-y尺寸位于框的左下边缘。白框代表复制的特征图。箭头表示不同的操作。

卷积层数量在20个左右，包含4次上采样与4次下采样。

·U-Net建立在FCN的网络架构上，作者在网络框架上改进，使其能够使用很少的训练图像就得到很精确的分割结果。
·添加连续upsample阶段，并且channel维度增大，在decoder部分concat进入更多的原图像纹理的信息。
·U-Net没有FC层（全连接层），卷积层的数量大约在20个左右，4次下采样，4次上采样。