Paper Link：Multi-scale Hypergraph-based Feature Alignment Network for Cell Localization

Code：https://github.com/Boli-trainee/MHFAN/tree/main

核心思想：利用多尺度超图来统一解决定位任务中形状、尺度和颜色方面的显著变化带来的挑战，首次将定位任务转变为图像与定位图之间的特征对齐任务，然后利用超图来解决对齐问题。

摘要

医学病理图像分析中的细胞定位是一项具有挑战性的任务，因为细胞的形状、大小和颜色变化显著。现有的定位方法继续分别应对这些挑战，经常面临这些困难相互交织并对模型性能产生不利影响的复杂情况。在本文中，首先将这些挑战重新界定为细胞图像和位置地图之间特征不对齐的问题，然后进行综合处理。具体而言，我们提出了一种基于多尺度超图注意网络的特征对齐模型。该模型将特征图中的局部区域视为节点，并利用可学习的相似性度量在不同尺度下构建超图。然后，我们利用超图卷积网络来汇总与节点相关的特征，并实现细胞图像和位置地图之间的特征对齐。此外，我们引入了一种分步自适应融合模块，以有效且自适应地融合不同层次的特征。全面的实验结果证明了我们提出的多尺度超图注意模块在解决特征不对齐问题方面的有效性，以及我们的模型在各种细胞定位数据集上实现了最先进的性能。

贡献点

1、为了解决定位任务中形状、尺度和颜色方面的显著变化带来的挑战，本文引入了一种新颖的方法。首次，它将这些挑战重新界定为图像和位置地图之间特征不对齐的问题，从而为前述的复杂性提供了一个统一的解决方案。

2、我们首次将超图引入到细胞定位任务中，并提出了一个多尺度超图注意力模块。该模块具有智能地聚合不同尺度范围的特征的能力，从而实现特征对齐。

3、所提出的模型在多个细胞定位数据集上取得了最先进的性能，展现出巨大的潜力。

引言

细胞定位的主要目标是准确确定图像中每个细胞的位置。这项任务在医学领域具有重要应用，包括用于不孕症治疗的胚胎计数和用于癌症诊断的恶性细胞检测。此外，精确的细胞定位是进一步医学图像分析的基础初步步骤，例如细胞分割[1]和蛋白信号的亚细胞定位识别[2]。如图1(a)所示，细胞形状、大小和颜色的巨大变异对细胞定位任务构成了重大挑战。为了克服这些挑战，现有方法通常依赖于细胞定位的位置图范式。在这种范式中，定位网络预测位置图，然后对其进行后处理以确定细胞的数量和空间坐标。位置图，也称为Ground Truth (GT)，如图1(b)所示。

Challenges

现有的细胞定位方法仍然受限于独立处理细胞形状、大小和颜色的显著变异，导致多个相互干扰的问题，严重限制了性能。为了解决这个问题，我们首先提出将问题统一定义为细胞图像和GT之间特征不对齐的挑战。

具体来说，图1(a)显示了一幅病理图像，相应的GT显示在图1(b)中。颜色标记细胞的像素分布（图1(c)）和GT的像素分布（图1(d)）显示在下面的子图中，其中水平轴表示距离细胞中心点的距离，垂直轴表示相对像素值。图1(c)中的三条曲线展示了与图1(a)中颜色标记点对应的三个细胞的特征分布，其中曲线左侧的起点对应于细胞中心，从细胞中心沿着正X轴方向延伸的特征分布如图中所示。例如，图1(a)中红色细胞的中心相对较暗，导致图1(c)中红色曲线的开始处像素值相对较小。当距离中心点的距离超过细胞范围并达到白色背景时，像素值显著增加，但随后在曲线达到约20像素的黑色细胞边缘时再次减小。然而，与GT相对应的像素分布在每个细胞中心处均匀减小，导致特征不对齐的问题。

Our motivation

由于卷积核的设计，现有的基于CNN的方法受到了特征不对齐问题的限制，这限制了捕获不同区域之间关联的能力。标准卷积存在两个明显的缺点：1) 使用卷积核对本地区域进行统一映射，阻碍了特征相关性的探索；2) 本地感受野的设计限制了特征聚合能力。图2(a)说明了标准卷积在处理复杂形状对象时的局限性，其中使用固定形状的卷积核会导致卷积不足或过度。为克服这些限制，研究人员提出了可变形卷积，它允许卷积核在一定范围内变形，以适应更灵活的目标特征。然而，可变形卷积引入了高计算复杂性，因为它需要额外的变形网络和参数，从而显著增加了模型的计算需求和参数数量。此外，变形网络和参数容易受到输入图像的变形的影响，导致卷积核采样位置不准确，从而使得对于畸变或变形输入图像，模型性能不佳。

理想情况下，我们希望模型能够持续地将环绕细胞的特征聚合到其中心点，而不需要学习额外的参数来实现图像和GT之间的特征对齐。值得注意的是，我们发现上述的解决方法与图神经网络中观察到的节点聚合特性有惊人的相似之处。然而，由于图中仅存在节点之间的成对连接，因此难以对细胞周围广泛的特征进行建模。因此，我们首次将超图神经网络引入细胞定位任务。如图2(b)所示，超图卷积通过不断学习邻近节点的聚合来自适应地将特征聚合到细胞中心点，从而实现特征与GT的对齐。此外，鉴于基于欧氏距离的传统相似性度量难以区分细胞及其相似的背景，本文设计了一种多度量方法来构建注意力矩阵。此外，由于不同尺寸的定位目标导致需要聚合不同范围的特征，我们设计了多尺度超图，使模型能够自适应地聚合不同尺度的特征，从而实现特征对齐。

Our method

本论文旨在解决细胞定位任务中遇到的细胞形状、大小和颜色的显著变化。首先，我们将这些挑战重新定义为病理图像和位置图之间的特征错位问题。其次，我们引入了一种新颖的特征对齐模型，有效应对了细胞定位中的这一问题。为此，我们提出了一个多尺度超图注意力模块，捕获不同尺度上相邻节点的特征。这种方法允许在细胞图像和位置图之间对齐特征，提高了细胞定位的准确性。此外，我们引入了一种逐步自适应融合模块，有效地为特征重新分配权重以实现最佳融合。充分的实验结果表明，我们的模型在各种细胞定位数据集上取得了最先进的性能。

简而言之，本论文的主要贡献如下：

• 为了解决细胞定位任务中形状、尺度和颜色的显著变化所带来的挑战，本文引入了一种新颖的方法。首次，它将这些挑战重新定义为图像和位置图之间特征错位的问题，从而为前述复杂性提供了统一的解决方案。
• 本文首次将超图引入细胞定位任务，并提出了一个多尺度超图注意力模块。该模块具有智能地从不同尺度范围内聚合特征的能力，从而实现特征对齐。
• 所提出的模型在多个细胞定位数据集上取得了最先进的性能，展现出巨大的潜力。

Method

Experiments

数据集：

在细胞定位和计数领域，BCData [35] 和 PSU [3] 数据集是目前主要的公共数据集，分别包括1338张和120张图像。为了进一步验证我们提出的方法的有效性，我们将细胞实例分割数据集 [36, 37] 转化为细胞定位数据集，分别命名为Seg_Data和CoNIC。在接下来的章节中，我们将全面描述所有这些数据集。

特征对齐效果可视化：

注解：各个定位模型之间特征对齐能力的视觉比较。根据图1中的描述，这张图包括四行图像。第一行和第三行代表基于病理图像的各种模型的定位图预测，而第二行和第四行描述了来自第一行和第三行的三个带有相应颜色标记的细胞的特征分布，起始于细胞中心（曲线的起始点）并沿着正X轴延伸。从图像中的紫色椭圆可以看出，我们的MHFAN模型显著增强了细胞中心的特征值（与其他模型相比，MHFAN的椭圆相对位置较高）。这导致更合理的定位图，从而提高了模型的定位精度。此外，由于MHFAN模型建立在HRNet骨干上，本图中的额外消融实验证明了我们模块的有效性。此外，“CE”表示计数误差。

定位效果：

消融实验：

多尺度超图消融实验：

对比实验，超图对比注意力和可变形卷积：

Conclusion and Outlook

这篇论文通过将细胞图像定位任务重新定义为细胞图像和位置图之间的特征不对齐问题，从而解决了细胞大小、形状和颜色差异较大的挑战。为了解决这个问题，我们提出了一个利用超图自适应特征聚合能力的特征对齐网络。我们的方法利用多尺度超图来捕获与节点附近具有不同相关性的特征，并利用超图神经网络不断聚合和优化节点特征，以实现有效的特征对齐。此外，我们引入了一个逐步自适应融合模块，更高效和自适应地提取不同级别的有用特征信息。通过大量实验证明，我们提出的多尺度超图模块显著减轻了特征不对齐问题，在细胞定位和计数任务中实现了最先进的性能。

在未来的工作中，我们计划在两个主要方向上扩展我们的研究：1) 扩大现有方法的任务范围。正如图4所示，我们利用超图实现特征对齐的方法在细胞定位任务中取得了显著的改进。因此，我们未来的计划包括将这一方法扩展到更广泛的目标定位任务，如人群定位、少样本目标定位和通用目标定位。2) 进一步优化多尺度超图注意力模块。正如表8所示，我们提出的多尺度超图注意力模块优于各种注意力机制和可变形卷积模块，表明其巨大潜力。在随后的工作中，我们的目标是进一步优化这一模块，使其成为更多用途的基础组件。这些未来的方向与我们的目标一致，即推动我们研究的适用性和技术复杂性。