Triple-View Feature Learning for Medical Image Segmentation

摘要

深度学习模型，例如监督编码器-解码器风格的网络，在医学图像分割中表现出很好的性能，但标签成本很高。我们提出了一种半监督语义分割框架TriSegNet。

1. 在有限数量的标记数据和大量未标记数据上使用三视图特征学习。
2. 三视图架构由三个像素级分类器和一个低级共享权重学习模块组成。
3. 用标记的数据初始化模型。标签处理，包括数据扰动、置信度标签投票和标注的不置信度标签检测，使模型能够同时对标记和未标记的数据进行训练。
4. 每个模型的置信度通过另外两个特征学习视图得到提高。
5. 重复这个过程，直到每个模型达到与其对应模型相同的置信水平。
6. 该策略使通用医学图像数据集的三重视图学习成为可能。
7. 定制的基于重叠和基于边界的损失函数是针对训练的不同阶段量身定制的。分割结果在四个公开可用的基准数据集上进行评估，包括超声、CT、MRI和组织学图像。重复的实验表明，与其他半监督算法相比，所提出的网络在大量的评估措施中是有效的。

本文方法

中心思想是，数据不同的视图及其相关的学习参数同时在单独的模型中开发。这使每个模型都有机会补充其他模型对学习过程的贡献。此外，它们并非都处理相同的数据集:相反，它们精心制作数据的不相交部分，并从每个子集中学习它们所能学习的内容
伪标签在中间步骤中重新生成，从两个单独的CNN组件的输出中选择，以训练第三个组件。
三重框架通过选择那些单个组件模型具有高置信度并“投票”支持的伪标签来决定哪些伪标签要进一步传播。这也具有以我们具体展示如何度量的方式增加框架的总体信心的效果。
在接下来的步骤中不使用置信水平过低的伪标签。
信心水平有多低取决于培训的阶段:培训过程越深入，框架需要变得越有信心。
因此，可用于训练的图像数量逐渐增加
我们的医学图像语义分割网络(TriSegNet)的三视图特征学习架构如图1所示。基于置信度估计的非置信度标签检测和置信度标签投票的标签编辑改进了未标注数据的特征表达。



阶段1初始化分类器fn的三个视图;N = 1;2;如图2(d)所示，数据扰动如图2(a)所示。为了正确初始化具有不平衡数据的三个分类器，使用了重叠损失。训练过程中的置信度权重估计并记为αn;N = 1;2;直到推理完成。每个模型通过随机选择的伪标签来估计其对标记数据的置信度，并与图2©中勾画的其他两个模型进行比较。

阶段2以迭代的方式从生成的伪标签中学习。未标记的数据(x) 2u被fn用作(任何与低置信度标签相对应的数据都会被删除。来自另一个模型fn的新投票生成伪标签(x;Yn伪)= αn−1×fn−1(x) + αn+1×fn+1(x)用于训练模型的其余部分。这一阶段的损失函数是基于重叠和边界的混合损失。

阶段3是使用L, u额外训练最低置信度的分类器。所有训练阶段的学习率设置为2×10−4，使用Adam优化器

实验结果