【论文速递】WACV2023 - 循环相似注意力的小样本医学图像分割

【论文原文】：Few-shot Medical Image Segmentation with Cycle-resemblance Attention

获取地址：https://arxiv.org/pdf/2212.03967.pdf

博主关键词： 小样本学习，语义分割，自监督，原型

推荐相关论文：

【论文速递】PR2023 - 基于自正则原型网络的小样本语义分割
- https://blog.csdn.net/qq_36396104/article/details/128822068

摘要：

近年来，由于医学影像应用需求的不断提高以及对医学图像标注的专业要求，小样本学习在医学图像语义分割领域越来越受到重视。为了对数量有限的标记医学图像进行分割，现有的研究大多使用原型网络(PN)，并取得了令人瞩目的成功。然而，这些方法忽略了从所提出的表示网络中提取的查询图像特征，未能保持查询图像和支持图像之间的空间联系。在本文中，我们提出了一种新的自监督小样本医学图像分割网络，并引入了一种新的循环相似注意(CRA)模块，以充分利用查询和支持医学图像之间的像素级关系。值得注意的是，我们首先将多个注意块排列起来，提炼出更丰富的关系信息。然后，我们通过将CRA模块与经典原型网络集成来呈现CRAPNet，其中查询和支持特征之间的像素级关系被很好地重新捕获用于分割。在两种不同的医学图像数据集(如腹部MRI和腹部CT)上进行的大量实验证明了我们的模型优于现有的最先进方法。

简介：

语义分割是计算机视觉中的一项基本任务，近年来由于注释数据的蓬勃发展，语义分割取得了令人瞩目的成功。因此，它开创了医学图像分割的新兴现实应用，可以帮助医生更快地诊断疾病，更好地规划治疗和提供治疗。要高效地处理大规模医学图像，与一般图像不同，准确、专业的标签标注尤为重要。然而，对如此大量的数据进行标注是非常耗时和需要知识的[21,5,13,19,4]。因此，在医学影像领域，小样本学习[32,34,16,41]由于其不需要太多标记数据的显著优势，越来越受到研究者的关注。具体来说，可以从一个或几个像素级注释样例(支持数据)中提取判别表示，实现对未注释样例(查询数据)的像素级标签预测。此外，与一般以2D格式存储的图像相比，医学图像通常是高度结构化的人体器官和躯干区域的3D图像，有多种形式，如MRI(磁共振成像)、US(超声)、CT(计算机断层扫描)和x射线[1,24,20,29,6,35,15]。医学图像中感兴趣的区域通常很小且均匀，而不相关的背景相当广泛且不均匀[40,34]。在医学图像中，大量的小细胞、组织和器官往往被挤在一起，使得很难在前景和背景之间划出界限。

在这里插入图片描述

Fig. 1. 图1:(a)经典的池化网络原型。原型是通过从提取支持特性的窗口池生成的。(b)将我们提出的周期相似注意(CRA)模块插入到池化步骤前，通过像素级的注意将支持特征和查询特征整合在一起，增强它们之间的空间关系。此外，还引入了原型来指导查询掩码的预测。

根据生成预测二值掩码的方式，现有的小样本图像分割技术大致可分为亲和学习和原型学习[16]。后者设计原型网络[32,17,41,34,38,16]，并生成对噪声具有广义和鲁棒性的原型。如图1(a)所示，通过支持掩码对支持图像特征进行细化，并将其送入池化模块以获得原型。最后，原型与采用普通操作的查询特性(例如，连接)相结合。尽管基于原型的方法具有很好的性能，但仍然存在一些缺点。(i)这些方法不可避免地丢失了支持图像的空间信息，特别是当支持图像与查询图像之间的物体外观由于原型数量过多或不足而出现较大变化[16]时。(ii)图像中不同类之间的关系是对查询图像进行分割决策的关键，而目前的方法忽略了这一点。(iii)在训练阶段，目前的原型网络对支持特征和查询特征之间的交互没有足够的重视。这种不充分的相互作用将导致无法生成完全具有代表性的原型。然而，由于查询图像和支持图像在前景和背景上有更多的相似性，这种交互在图像分割任务中是至关重要的。特别是在医学图像环境中，不同对象的排列在查询图像和支持图像之间通常遵循类似的模式。

为了解决前面提到的问题，在本文中，我们提出了一种新颖的具有循环相似注意机制的小样本医学图像分割方法，如图1(b)所示。主要介绍了一种新的循环相似注意原型网络(CRAPNet)，以充分捕捉物体的内在细节，并保留查询图像和支持图像中像素之间的空间信息。 如图2所示，我们没有通过检查匹配的周期一致像素对是否属于同一类来给出一个附加偏差B，而是 比较这些像素对之间的相似度。 通过这种方式，我们建立了一个支持-查询-支持连接，并结合像素与其最相似的“邻居”之间的关系来获得原型。此外，通过深入研究支持和查询医学图像之间的差异，我们认为，如果对象是高度结构化和有组织的，查询和支持图像可以特别地被视为中断的视频序列或图像流。因此，我们设计了周期相似模块在给定像素位置上计算加权和的非局部操作，用于非局部结构的支持特征和查询特征。在某种意义上，这种非本地结构可以打包到一个网络块中，该网络块可以链接在一起，并用作一个drop-in模块。随后，在上述模块的基础上设计了支持分支和查询分支，并对它们之间的连接进行了交互描述。

本文的贡献可以总结如下:

据我们所知，这是通过设计一个周期相似注意力原型网络(cycle - similarity Attention Prototype Network, CRAPNet)来解决医学图像分割任务的第一次尝试，该网络可以保留图像特征之间的空间相关性，并顺利地将其纳入传统的原型网络中。
提出了一种具有内置循环相似模块的新型非局部块，可将其链接在一起并用作drop-in模块。
在两种不同的医学成像数据集(如腹部MRI和腹部CT)上进行的大量实验表明了我们提出的方法的有效性。

在这里插入图片描述

Fig. 2. 图2:(a)将骨干网提取的特征首先输入到每个分支的5个支持查询注意块，其中注意块g、φ、θ为1 × 1 × 1卷积运算。θ和φ之间的CRM模块利用了周期相似机制。(b) cycle - similarity首先计算φ和σ卷积后支持特征图和查询特征图之间的矩阵乘法。然后，对于支持特征图中的像素i，通过查找矩阵在查询特征中找到最相似的像素j *。对于j *，也可以找到最相似的像素i *。最后，计算特征x is与x i * s之间的余弦相似度，并采用softmax函数返回像素i的权值。