Large-kernel Attention for Efficient and Robust Brain Lesion Segmentation

摘要

ViT是用于医学图像分割等视觉任务的有效深度学习模型。然而，与卷积神经网络(cnn)不同，它们缺乏效率和平移不变性。为了模拟三维脑损伤分割中的远程相互作用，我们提出了U-Net架构的全卷积Transformer变体。我们证明，我们的模型在三个因素中提供了最大的妥协:与最先进的性能竞争;CNN的参数效率;以及变压器有利的感应偏置
代码地址

本文方法

这项工作中所采用的架构的核心总结在图1中。如图1a所示，LKA单元通过组学习卷积，生成一个注意掩模，将其与输入特征相乘。这一系列的层相当于一个更大核的矩阵分解。在所有实验中，DWConv的核大小为53,dDWConv的核大小为73，膨胀率为33，得到的注意机制相当于核大小为213。然后在图1b中的整体注意力模块中使用该方法，其中包含一系列PConv、GELU、LKA和PConv，模块的输入与PConv层的输出之间存在残差连接
变压器层通常包含一个注意力模块和一个前馈模块——在这项工作中使用了卷积前馈(ConvFF)模块。如图1c所示，它由一个PConv、DWConv(内核大小为33)、GELU和最终的PConv组成。这些模块组合在一起创建了如图1d所示的整体LKA块，由重叠的patch embedding组成，其步幅为23，补丁大小为33 -这直接用作卷积U-Nets中用于降尺度的跨步卷积的替代。

深度卷积(DWConv)、扩展深度卷积(dDWConv)和点向卷积(PConv)

实验结果