SESV：通过预测和纠错实现精确的医学图像分割

286 IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 40, NO. 1, JANUARY 2021

背景

医学图像分割是计算机辅助诊断中的一项重要任务。尽管深度卷积神经网络普遍存在并取得了成功，但仍需要改进，以产生足够准确和稳健的分割结果供临床使用。在本文中，我们提出了一种新的通用框架，称为分割有效性分割验证（SESV），以提高现有DCNN在医学图像分割中的准确性，而不是设计更准确的分割模型。我们的想法是预测现有模型产生的分割误差，然后进行校正。由于预测分割误差具有挑战性，我们设计了两种方法来容忍误差预测中的误差。首先，我们不使用预测的分割误差图来直接校正分割掩模，而是只将误差图视为指示容易发生分割误差的位置的先验，然后将误差图与图像和分割掩模连接起来，作为重新分割网络的输入。其次，我们引入了一个验证网络，以逐个区域地确定是接受还是拒绝重新分割网络产生的细化掩码。在CRAG、ISIC和IDRiD数据集上的实验结果表明，使用我们的SESV框架可以显著提高DeepLabv3+的准确性，并在腺细胞、皮肤病变和视网膜微动脉瘤的分割中实现高级性能。当分别使用PSPNet、U-Net和FPN作为分割网络时，也可以得出一致的结论。因此，我们的SESV框架能够提高不同DCNN在不同医学图像分割任务中的准确性。

贡献

• 我们提出SESV框架，通过分割误差预测、误差引导的重新分割和细化验证来提高现有医学图像分割模型的准确性。
• 为了使我们的SESV框架容忍对分割误差的不太准确的预测，我们将每个预测的误差图视为指示分割误差位置的先验，使用误差图作为输入的一部分来执行重新分割，然后构建验证网络来拒绝不正确的“细化”。

实验

方法

• 第一步初始分割，初始分割和标签得到置信度图
• 第二步将初始分割和原始输入拼接，把置信度图当作标签，预测置信度图
• 第三步将初始分割，预测的置信度图，原始输入拼接，进行重新分割，得到重新分割结果
• 还有个选择初始分割还是重新分割的分类网络
  
  得到置信度标签的方法，预测和标签一样的就置0，否则就置1，得到二值化的置信度标签
  
  如何选择接受还是拒绝。如果预测的错误区域是完全错误的，则使用这样的预测作为输入的一部分可能导致分割错误，而不是校正。为了避免初始分割掩码的可能恶化，我们构建了一个验证网络Vnet来确定是否接受精化的分割掩码作为最终结果。由于每个误差图上可能有正确和不正确的预测，因此必须逐个地区进行此类验证。验证网络Vnet包含两个正常卷积层、三个最大池化层、六个可分离卷积层、3个1×1卷积的快捷方式，以及一个具有两个输出单元和softmax的全连接分类层（见图4）。由于我们只有有限数量的训练图像，因此使用深度可分离卷积[54]来减少模型参数的数量，从而限制过拟合。
  
  用精度判断是初始分割好还是再分割好
  
  得到最终预测结果
  

Thinking

充分利用了预测误差，也考虑到了初始分割和细化分割选哪个好