1.该文章属于YOLOV5/YOLOV7/YOLOV8改进专栏,包含大量的改进方式,主要以2023年的最新文章和2022年的文章提出改进方式。
2.提供更加详细的改进方法,如将注意力机制添加到网络的不同位置,便于做实验,也可以当做论文的创新点。
3.涨点效果:D-LKA Attention注意力机制,实现有效涨点!
变形模型在医学图像分割方面有了显著的改进,它擅长于捕捉深远的上下文和全局上下文信息。然而,这些模型不断增加的计算需求与平方令牌计数成正比,限制了它们的深度和分辨率能力。目前大多数方法都是逐片处理三维体图像数据(称为伪3D),缺少关键的片间信息,从而降低了模型的整体性能。为了解决这些挑战,我们引入了可变形大核注意(D-LKA注意)的概念,这是一种采用大卷积核来充分理解体积上下文的流线型注意机制。这种机制在类似于自我关注的接受场中运行,同时避免了计算开销。此外,我们提出的注意机制受益于可变形卷积,可以灵活地扭曲采样网格,使模型能够适当地适应不同的数据模式。
我们设计了D-LKA Attention的2D和3D版本,后者在跨深度数据理解方面表现出色。这些组件共同构成了我们新颖的分层视觉转换器架构,即D-LKA网络。