人工智能在医学图像分割中的最新研究进展

小罗碎碎念

今日推文主题——人工智能在医学图像分割领域中的最新研究进展。

今天的推文都来自同一个期刊——《Med Image Anal 》，最新的IF是10.7。

小罗观点

今天的六篇文献都是直接面向实际应用场景的，可以针对你自己的研究课题选择合适的文章进行阅读。

我一直以来都认为医学AI这个领域缺乏一个规范的流程，感觉就是一拍脑门，然后就往前冲了，脑子里没有一个系统的概念，不知道从哪一步开始，也不知道为什么到这一步要结束，自然更不知道出了问题如何解决。

下面举几个例子说明一下：

有监督学习我们都知道需要打标签，可是标签怎么打？要打哪些？怎样最大化利用标签？这些都是需要考虑的；
病理图像需要HE染色，那么我们为了保证模型的质量，就需要进行数据的预处理，预处理流程包括哪些？面向不同的场景，应该怎样执行预处理？
面向少样本数据，我们需要执行数据增强操作，什么情况应该进行数据增强？应该采取什么方式进行数据增强？

这还是观念上的问题，要落实到实处，编程写代码方面还有一系列的问题等待我们解决，光是配置环境就让人头疼了。我是非常清楚这些流程走下来是有多复杂，所以我的教程都非常系统，非常的详细，尽可能帮你们建立起一个系统的知识体系，但是我个人的力量是有限的。

先完成，再完美

文献速递从5-15开始，截止到6-24，共计158篇文献。

除了按话题总结文献，我还分析了一下这158篇文献所属的期刊。

不难看出，Nat Commun是很欢迎发表医学AI相关的论文的。做科研和写代码是一样的，都是一个模块一个模块的搭起来的，就像合成装备一样，我们先咬着牙发几篇Nat Commun，然后就可以把这些成果攒起来冲一篇Nat Med。

我做这些分析的目的，其实就是为了上面的规划做准备的，这一定很难实现，但是我们如果连想都不敢想，实现更加不可能了。老粉应该清楚，我每篇推文都推广交流群，一个月的时间，群里就已经到了两百多人（这还是我很早就限制扫码入群的结果）。

我目前才研一，如果你们在从未看过我的推文情况下，我说要建立一个交流平台，把博士，博后甚至是硕导/博导都联系起来，你们大概率觉得我疯了，但是现在我不也做到了吗？虽然不完美，但是出发了才有机会完善。

一、深度主动学习在医学图像分析中的全面综述

文章概述

这篇文章是关于深度主动学习在医学图像分析中的全面综述。

随着深度学习在医学图像分析中的广泛应用，对于大规模专家标注的医学图像数据集的需求不断增加。然而，医学图像的标注成本高昂，限制了这一领域的发展。为了降低标注成本，主动学习（Active Learning, AL）选择最具有信息量的样本进行标注，并用尽可能少的标记样本训练高性能模型。

文章首先介绍了医学图像分析的背景和重要性，包括医学成像在病变检测、诊断、治疗规划和外科干预中的作用，以及人工智能（AI）在这一领域的成功应用。接着，文章讨论了深度学习模型作为AI系统的核心，如何从原始图像中学习复杂模式，并将其泛化到更多未见过的案例中。

文章的主要贡献包括：

提供了深度主动学习的核心方法的综述，包括信息评估和采样策略。
首次详细总结了主动学习与其他标签高效技术的整合，如半监督学习、自监督学习等。
总结了专门针对医学图像分析的主动学习工作。
对不同主动学习方法在医学图像分析中的性能进行了彻底的比较分析实验。
提供了对未来趋势和挑战的展望，并提供了相关论文列表和代码。

文章还讨论了主动学习中的几个关键问题设置和公式化，包括成员查询合成、基于流的选择性采样和基于池的主动学习。此外，文章还详细介绍了主动学习中的核心方法，包括基于不确定性和代表性的信息评估，以及采样策略。

在实验部分，作者对几种流行的主动学习方法在多个医学成像数据集上的性能进行了评估，并提供了代码以促进结果的可重复性。最后，文章讨论了主动学习在医学图像分析中存在的挑战和未来的发展方向，并得出了结论。

重点关注

Fig. 1 在文章中提供了主动学习（Active Learning, AL）过程的示意图。

样本选择（Sample Selection）：在每一轮的标注中，使用信息量评估函数来衡量未标记数据池中每个样本的信息量。然后，根据特定的采样策略选择一批样本。
向专家查询（Querying an Oracle）：选定的样本集被发送给专家（如医生）进行标注，新标注的样本被添加到已标注的数据集中。
深度学习模型训练（Deep Learning Model Training）：在专家标注后，使用本轮标注的已标注数据集以全监督的方式训练深度学习模型。训练的目的是获得当前轮次的最优模型参数。
重复选择和训练过程（Repeating the Process）：这个过程会一直重复，直到达到标注预算的限制或期望的性能水平。
模型初始化（Model Initialization）：在开始主动学习过程之前，需要对模型进行适当的初始化。如果初始模型是随机初始化的，它可能只能产生无意义的信息量。为了解决这个问题，大多数主动学习工作会选择一组样本作为初始已标注数据集，并在此基础上训练初始模型。
模型更新（Model Update）：在每一轮标注后，模型会根据新标注的数据进行更新，以提高其性能。
终止条件（Termination Condition）：主动学习过程会在达到预定的标注预算、模型性能达到预期目标或没有进一步的性能提升时终止。

二、医学图像分析中不确定性量化的综述

文章概述

这篇文章是一篇关于医学图像分析中不确定性量化的综合综述论文。

文章主要讨论了在医学图像分析（MIA）中整合机器学习模型到临床实践中存在的挑战，尤其是模型可靠性的证据不足问题。

为了提高模型的解释性和可接受性，作者们提出了不确定性量化方法，并对现有的量化医学图像分析中机器学习模型固有不确定性的方法进行了全面概述。与以往只关注概率方法的综述不同，本综述还探讨了非概率方法，提供了一个更全面的关于机器学习模型不确定性量化的研究视角。

文章首先介绍了人工智能在医疗保健领域的潜力，尤其是深度神经网络在医学图像分析中的应用。尽管这些方法表现出色，但人们对其结果的可靠性仍持怀疑态度，这限制了它们在复杂肿瘤病例治疗决策中的应用。文章讨论了评估MIA结果可靠性的指标，如Brier分数、负对数似然（NLL）或预期校准误差（ECE），这些指标提供了关于预测准确性、校准和整体质量的宝贵见解。

文章深入探讨了两种主要的不确定性来源：随机性（aleatory uncertainty）和认知性（epistemic uncertainty）。随机性不确定性指的是由于固有的随机效应导致的实验结果的变异性，这种不确定性无法减少。而认知性不确定性则是由于对最佳分析模型缺乏知识而产生的不确定性，这种不确定性可以通过额外的信息或适当的学习算法设计来减少。

在方法部分，文章详细介绍了概率和非概率不确定性量化方法，并讨论了它们在医学图像分析中的应用。概率方法使用概率分布来表示不确定性，而非概率方法则不依赖于明确的概率模型，使用如区间分析、模糊集、证据理论等替代数学框架来量化不确定性。

文章还介绍了用于评估不确定性估计方法性能的协议，包括直接和间接评估方法。直接方法使用不确定性的真实值来验证技术的正确性，而间接方法则在没有真实不确定性值的情况下，通过评估预测不确定性与实际结果或数据变异性之间的相关性来进行定性评估。

在应用部分，文章讨论了不确定性量化在MIA中的多种应用，包括图像重建、配准、检测、预测、分类和分割等任务，并强调了在这些任务中量化不确定性的重要性。

最后，文章讨论了现有方法的优势和局限性，并提出了未来研究的潜在方向。作者希望这篇综述能够为机器学习和临床实践领域的研究人员提供指导，并为未来的研究铺平道路，以便基于量化的不确定性生成可靠和可解释的决策，或通过结合多个来源的信息和不确定性来提高整个医疗保健系统的公平性。

重点关注

Fig. 2 在文章中提供了一个关于如何选择符合条件的出版物（即相关论文）的流程图。

时间范围：搜索的论文发表时间限定在2013年1月1日至2023年7月15日之间。
初步筛选：使用特定的关键词组合进行搜索，这些关键词包括与不确定性量化相关的方法（如“Uncertainty quantification”、“fuzzy systems”等）和“Medical image analysis”这一领域限定词。
数量评估：在2013年到2023年间，超过5000篇关于MIA任务中不确定性研究的论文被发表。
相关性筛选：只包括在相关期刊和会议上发表的论文，并且通过筛选标题和摘要来确保论文的相关性。
引用次数：排除引用次数少于五次的出版物，以确保研究的临界性和影响力。
实质性相关性：进一步剔除与综述中心主题缺乏实质性相关的论文。
全文审阅：对剩余的论文进行全文审阅，使用图2中展示的包含标准。
最终选择：经过上述流程，最终确定了249篇论文作为综述的研究对象。

这个流程图包含了多个筛选阶段和决策点，以确保选出的论文在质量、相关性和影响力上都符合综述的要求。通过这样的流程，研究者可以确保综述内容的严谨性和深度，同时也保证了所选论文能够全面代表该领域的研究现状。

三、用于医学图像分割任务的数据高效学习框架

文章概述

文章提出了一种新颖的数据高效学习框架，用于一般医学图像分割任务。

这个框架通过将领域知识以强先验的形式引入深度学习框架来解决深度神经网络（DNNs）在医学应用中面临的两个主要问题：大量标记训练数据的需求和模型缺乏可解释性。

研究者们设计了一个混合的分割范式，结合了基于规则的方法和数据驱动方法的优势，开发了一个动态系统与深度卷积神经网络（CNN）相结合的全自动化框架。

实验在两个不同的数据集上进行：

JSRT（胸部X线图像的心脏和肺部分割）
ISIC2016（皮肤病变分割的皮肤科图像）

结果表明，该框架在使用相同数量的训练数据与最先进的方法相比具有竞争力，更重要的是，它展示了极高的数据效率，即使在极其有限的训练数据下也能获得可靠的结果。此外，所提出的方法具有旋转不变性，对初始化不敏感。

作者们还讨论了他们的贡献，包括提出的深度学习基础的自动分割范式，它比类似的端到端深度学习方法需要的训练数据更少。他们提出的新方法将分割视为一个迭代过程，使用CNN来追踪边界，并通过多采样和基于动量的课程校正两种新的分割细化方案来提高性能。此外，该方法在不同成像方式获取的数据集上进行了测试，证明了其由于所提出的基于补丁的训练策略而在训练中的数据效率极高。

文章最后讨论了该方法的局限性，包括它目前只能一次分割单一对象，分割过程比现有最先进方法慢，以及偶尔可能无法准确聚焦于感兴趣区域（ROI）。未来的工作将包括改进方法以处理多对象分割，扩展到3D以实现体积成像方式的分割，并结合不同类型的数据，包括临床、成像和分子档案，以全面了解疾病并提高诊断流程的可解释性。

重点关注

Fig. 2 描述的是所提出方法中的关键步骤，即如何在每个时间步使用卷积神经网络（CNN）来提取原始图像中的一个局部补丁，并通过该补丁预测代理（agent）的下一步位移。

以下是对这一过程的详细分析：

时间步和补丁提取：在每个时间步，CNN从原始图像中提取一个小的局部补丁。这个补丁是图像的一个较小区域，通常与周围的上下文有关，但专注于特定的局部特征。
补丁输入CNN：提取的补丁随后被输入到CNN中。CNN的作用是学习补丁中的模式，并预测代理在图像中的下一步位移。这一步是通过对补丁进行前向传播，利用网络的权重和偏差来计算位移。
位移预测：CNN输出一个2D位移向量，这个向量指导代理在图像空间中的移动。代理根据预测的位移进行移动，并在新位置上再次提取补丁。
迭代过程：这个过程是迭代的，意味着在每个时间步都会重复进行：提取补丁、预测位移、移动代理。通过有限次数的迭代，代理在图像上形成一条轨迹。
Poincaré 映射：在动态系统中，Poincaré 映射是一种分析周期性轨迹（如极限周期或稳定循环）的工具。在本文的上下文中，Poincaré 映射的幅度用来确定代理轨迹的最终周期性轨道。
确定ROI边界：最终周期性轨道代表了感兴趣区域（ROI）的边界。这意味着，通过迭代过程和Poincaré 映射的使用，代理最终会稳定在一个围绕ROI边界的轨迹上，这个轨迹定义了ROI的精确边缘。
多采样和动量校正：为了提高预测的准确性和鲁棒性，文中还提出了多采样方案（MSS）和基于动量的课程校正方案（CCS）。多采样在每个代理到达的位置进行多次补丁提取和预测，以改进位移预测。动量校正则利用指数移动平均来补偿每一步中的累积数值积分误差。

综上所述，Fig. 2 展示了一个动态的、迭代的过程，通过CNN和动态系统的结合，实现了对医学图像中ROI的精确分割。这个过程是数据高效的，因为它只需要有限的训练数据，并且能够处理旋转不变性和对初始化不敏感的问题。

四、一种新颖的半监督学习框架，进行大脑皮层表面的纵向配准和分割

文章概述

这篇文章是关于医学图像分析领域的一篇研究论文。

研究背景与动机：研究人类大脑的纵向形态和功能变化对于理解大脑发展和衰老模式至关重要。然而，现有的大多数方法仅针对单个大脑皮层表面的配准或分割，当应用于纵向研究时，这些方法独立处理每次扫描的皮层表面，导致结果在时间序列上不一致，尤其是在小的或边界不明确的皮层区域。
研究目标：提出一种新颖的半监督学习框架，利用有限的标记数据和大量的未标记数据，来更稳健和一致地进行大脑皮层表面的纵向配准和分割。
方法论：文章提出了一种利用皮层表面的球面拓扑特性的方法。通过一个球形网络作为编码器提取高级皮层特征，然后构建两个专门的解码器分别用于配准和分割任务。此外，为了提取更有意义的空间特征，设计了一种新颖的分割图相似性损失，利用配准和分割任务之间的关系，为配准任务提供额外的监督，并通过将图谱分割图变形到未标记表面来为分割任务提供增强数据。
实验与结果：在两个纵向数据集上进行实验，包括婴儿和成人的数据集，结果表明所提出的方法在配准/分割准确性和纵向一致性方面与现有方法相比有显著提高，特别是在小的和具有挑战性的皮层区域。
结论：文章提出的半监督学习框架能够有效地利用配准和分割任务之间的空间关系，以及纵向表面的时序关系，从而提高了大脑皮层表面分析的准确性和一致性。整个框架可以同时、快速且一致地执行纵向皮层表面配准和分割。
贡献与创新点：文章的贡献在于提出了首个综合深度学习框架，该框架将多个纵向表面作为输入，并直接输出一致的配准/分割结果。此外，引入了一种新颖的纵向一致性损失来解决纵向表面的时序不一致问题。

文章的详细内容还包括了相关工作的综述、提出方法的具体网络架构、损失函数的设计、实验设置、评估指标、结果分析以及半监督学习性能的评估。此外，文章提供了代码和训练模型的公开访问链接，以便研究社区使用和进一步研究。

重点关注

Fig. 1(a) 展示了来自婴儿连接组项目（Baby Connectome Project, BCP）的一个代表性受试者的左半球皮层表面随时间变化的情况，这些表面根据平均曲率进行了颜色编码（红色表示沟槽，蓝色表示脑回）。

在这个示例中，皮层表面的配准和分割是使用横断面FreeSurfer软件获得的。理想情况下，配准后的球面表面以及分割图应该彼此对齐并且视觉上相似，因为它们来自同一个受试者。

然而，正如黄色箭头所指出的，可以观察到错误的对齐和不一致的皮层分割，这导致了该受试者感兴趣区域（Region of Interest, ROI）的面积在时间序列上发展轨迹出现凹凸不平和不真实的变化，如图1(b)所示，这最终会导致不正确的纵向分析结果。

从定量角度来看，FreeSurfer在36个区域中有21个区域的轨迹是不一致的，而本文提出的方法在36个区域中只有8个区域的轨迹不一致，突出了本文方法在纵向分析中的优势。

分割图是基于皮层几何特征，根据Desikan-Killiany分割方案（Desikan等人，2006年）获得的，图1(b)和©中的分割图颜色和线条参考了Desikan-Killiany分割的颜色表。

分析这一图像，我们可以得出以下几点：

颜色编码：颜色编码帮助可视化皮层表面的特征，其中红色通常表示沟槽，蓝色表示脑回，这有助于区分不同的皮层区域。
配准问题：黄色箭头指出了配准过程中的问题，可能是由于表面特征的不匹配或配准算法的局限性导致的。
分割不一致性：分割结果的不一致性可能由多种因素引起，包括算法本身的限制、皮层表面复杂性或动态变化等。
纵向发展轨迹：纵向研究依赖于准确的配准和分割来追踪ROI随时间的变化。不准确的配准和分割会导致错误的发展趋势分析。
方法优势：本文提出的方法在保持纵向一致性方面表现更好，这可能归功于其半监督学习框架和新颖的损失函数设计，这些设计考虑了配准和分割任务之间的空间和时间关系。
分割方案：Desikan-Killiany分割方案是一种广泛使用的基于几何特征的皮层分割方法，为研究提供了一种标准化的ROI划分方式。
可视化重要性：图1的视觉展示对于理解配准和分割算法的性能至关重要，它直观地展示了算法的准确性和潜在的问题区域。

五、基于多尺度关系图卷积网络，适用于（前列腺癌）病理图像的多实例学习框架

文章概述

这篇文章是关于一种新型的多尺度关系图卷积网络（MS-RGCN），用于在显微病理图像中进行多实例学习。

多实例学习（MIL）是一种弱监督学习方法，广泛用于训练具有图像级注释的分类模型，而无需详细的图像块级或像素级注释。在显微病理图像分析中，MIL技术尤为重要，因为获取显微病理图像的详细细胞级注释既复杂又耗时。

文章提出了MS-RGCN，这是用于显微病理图像多实例学习的方法。该网络利用图卷积网络处理不同放大倍数下图像块及其关系的多尺度信息。

研究者选择了前列腺癌作为研究对象，这是一种在男性中常见的癌症，具有多样化的组织学模式，给分类和风险分层带来挑战。使用了来自不同中心的前列腺癌数据集，包括组织微阵列（TMA）、全切片图像（WSI）等。

研究者从5倍、10倍和20倍的放大倍数提取了图像块，并构建了一个图，其中每个节点代表一个图像块，边基于与邻近图像块或不同放大倍数图像块的关系。使用了两种尺度的RGCN层来增强每个位置的特征，并使用跨尺度的RGCN层传递不同放大倍数之间的信息。

MS-RGCN在所有评估的数据集上均优于现有技术，特别是在Vancouver和Zurich数据集上，与现有技术相比，性能提升显著。

总的来说，这项工作是提高图卷积网络在多实例学习问题上性能的重要一步，特别是在处理具有不同嵌入空间的多尺度信息方面。MS-RGCN能够更好地分类复杂的类别，对前列腺癌的诊断和预后具有重要意义。

与本文相关的大多数数据是公开可用的，包括Vancouver、Zurich、Karolinska和Radboud数据集。相关代码可在GitHub上找到。此外，文章还包含了对模型的可视化分析、参数和推理时间的比较，以及对模型进行消融研究的结果。

重点关注

图1提供了该模型的总览，详细说明了在不同放大倍数（5倍、10倍和20倍）下进行的图像块提取过程以及如何利用这些图像块构建图卷积网络。

以下是对图1中描述的模型的分析：

图像块提取：在5倍、10倍和20倍的放大倍数下进行了图像块提取。高分辨率的图像块（20倍）被放置在较低分辨率图像块（5倍和10倍）的中心位置。这种策略确保了在不同放大倍数下，相同区域的图像块能够相互关联。
颜色增强：为了提高模型的性能和泛化能力，使用了染色颜色和颜色增强的组合。这有助于改善模型对于不同数据集的适应性，尤其是在面对未见过的数据集时。
特征提取器训练：特征提取器被训练用于预测图像块级的注释，从而提取特征。这些特征将用于后续的图卷积网络中。
图构建：基于提取的图像块构建了一个图，在这个图中，每个节点代表一个图像块。图像块之间的关系通过边来表示，边的类型根据它们是邻近的还是跨放大倍数的不同图像块来确定。
多尺度关系图卷积网络（MS-RGCN）的四个步骤：
- 第一步：在每个尺度上，使用两层图卷积网络（RGCN）处理邻近节点之间的关系，以获取每个位置的更稳健的特征，这是通过利用周围图像块的特征实现的。
- 第二步：使用一层跨放大倍数的RGCN来传递不同放大倍数下的特征，将一个尺度的特征转换到另一个尺度。
- 第三步：再次使用两层RGCN处理邻近边缘，目的是结合和简化特征，为最终预测做准备。
- 第四步：使用深度自注意力机制来更好地关注复杂特征，并使用两层全连接神经网络来输出最终的图像级标签。

整体来看，MS-RGCN模型通过这种分层和多尺度的方法，能够有效地捕捉和整合来自不同尺度和邻近区域的病理图像特征，从而提高了对整个图像的分类和分析能力。

六、在少样本（few-shot）医学图像分析中应该标记哪些图像

文章概述

这篇文章是关于医学图像分析领域的研究，主题是“在少样本（few-shot）医学图像分析中应该标记哪些图像”。

文章提出了一种新的模板选择策略（TECP），旨在识别和选择最具代表性的图像进行标注，特别是在多个少样本医学任务的背景下，包括地标检测、解剖学检测和解剖学分割。

TECP由四个组成部分构成：

自监督训练
信息区域定位的替代方案
代表性得分估计
排名选择

通过在多个公共数据集上的实验，证明了TECP方法的有效性，可以显著提高模型性能。

文章首先介绍了深度学习方法在医学图像分析中的重要性，以及在标记大量训练数据时需要投入的放射科医师的有限时间资源。接着，讨论了半监督方法、主动学习方法和自监督学习技术，这些方法旨在解决标记成本问题，提高有限标记数据的潜力。

文章详细介绍了TECP框架，包括如何处理没有监督信号的困难、缺乏有效特征提取的问题以及没有适当评估指标的问题。TECP通过自监督学习提取特征，使用传统的关键点检测器或基于信息熵的超像素选择来确定图像中的感兴趣区域，并基于这些特征估计模板与数据空间之间的相似性，最终通过排名选择最具代表性的图像子集作为候选模板。

文章还进行了广泛的实验和分析，展示了TECP在三个不同的医学图像分析任务上的性能提升，并与主动学习、自监督学习等其他方法进行了比较。最后，文章讨论了TECP的效果，并通过可视化和统计测试证明了其有效性。

重点关注

Fig. 2 展示了所提出方法的流程图（pipeline）

获取提议（Proposal Obtaining）：使用自监督学习或传统方法来识别图像中的关键点或感兴趣区域。
特征提取（Feature Extraction）：通过自监督学习训练一个深度模型来提取图像的特征。
相似性估计（Similarity Estimation）：计算候选模板的特征向量与数据空间中其他特征向量之间的相似性。
排名（Ranking）：基于相似性得分对所有候选模板进行排名，并选择具有最高代表性得分的模板。
模型学习（Model Learning）：使用选定的模板来训练少样本医学任务的模型。
后处理（Post-processing）：对于不同的任务，可能需要不同的后处理步骤。例如，在解剖学检测中，可能需要从特征向量中确定边界框；在解剖学分割中，则可能需要将与前景原型匹配的区域视为预测结果。