论文:https://openaccess.thecvf.com/content_ICCV_2017/papers/Dai_Deformable_Convolutional_Networks_ICCV_2017_paper.pdf
代码:https://github.com/4uiiurz1/pytorch-deform-conv-v2/blob/master/deform_conv_v2.py
参考博文:可变形卷积(DCN,Deformable Convolution Network)_Jumbo星的博客-CSDN博客
概要
优点
本人做医学分割的所以找ChatGPT问的一点该类型卷积在医学图像分割中的优势↓
可变形卷积(Deformable Convolution)在医学影像分割中具有一些潜在的优势,尤其是在处理具有复杂形状和结构的器官或病变时。以下是一些可能的优势:
-
适应不规则结构:医学影像中的器官和病变通常具有不规则的形状和结构,传统的固定形状卷积核可能无法很好地捕捉这些复杂的特征。可变形卷积允许卷积核的形状根据输入数据中的特征动态调整,从而更好地适应不规则结构。
-
精细的特征捕捉:医学影像中的细微特征对于诊断和分割非常重要。可变形卷积可以更好地捕捉到这些细微特征,因为它们可以根据局部信息进行微小的形状调整,以更好地对特定区域进行特征提取。
-
减少标注工作:医学影像数据通常需要大量的标注工作,以便进行监督学习。可变形卷积可以减少标注工作的需求,因为它们可以自适应地学习特征,并且不需要手动设计或标记特征。
-
提高分割精度:通过更好地捕捉图像中的局部特征和结构,可变形卷积可以提高医学影像分割的精度。这对于准确地定位和分割病变以及器官边界非常重要。
-
减少过拟合:可变形卷积可以通过减少不必要的参数数量来减少过拟合的风险,因为它们只调整卷积核的形状,而不增加参数数量。这对于医学影像分割任务中的数据稀缺问题非常有益。
尽管可变形卷积在医学影像分割中有潜在的优势,但它们也可能增加计算成本,并需要更多的训练数据来获得良好的性能
方法
可变形卷积实际是指标准卷积操作中采样位置增加了一个偏移量offset,这样卷积核就能在训练过程中扩展到很大的范围。(c)(d)是(b)的特例,表明可变形卷积推广了尺度、长宽比和旋转的各种变换
一共有两种卷积核:卷积核和卷积核学习offset对应的卷积层内的卷积核,这两种卷积核通过双线性插值反向传播同时进行参数更新。
这种实现方式相当于于比正常的卷积操作多学习了卷积核的偏移offset(下图所示灰色框)。
过程
① 我们一开始,和正常的卷积神经网络一样,根据输入的图像,利用传统的卷积核提取特征图。
② 我们把传统卷积得到的特征图作为输入,对特征图再施加一个卷积层,这么做的目的是为了得到可变形卷积的变形的偏移量。其中,偏移层是2N,因为我们在平面上做平移,需要改变x值和y值两个方向。
③在训练的时候,用于生成输出特征的卷积核和用于生成偏移量的卷积核是同步学习的。其中偏移量的学习是利用双线性插值算法,通过反向传播进行学习。