病理切片染色标准化以及虚拟染色的系统总结

小罗碎碎念

本期推文主题：虚拟染色及染色标准化在病理AI中的应用

昨晚1群在讨论虚拟染色和染色标准化，2群在讨论病理基础模型，二者恰好互补了，哈哈。

染色标准化的文章大致分为两种类型——一种是专门研究标准化，还有一种就是作为整体模型的一个预处理流程出现在框架中。

但其实我们也可以看到，它们常见的做法是直接调用现成的

本来今天就打算整理这一主题的，正好昨天群里在讨论这事，还有一位大佬推荐了两篇文章，所以我这里就一并归入今天的推文中。既然上面提到了两种类型，那么我肯定会都涉及到。这一篇推文涉及到的六篇文献都属于第一种类型，第二种类型就在今天的第二篇推文中。

另外，昨天群里还有大佬分享了一些单独的仓库完成上述工作，同时我也会把自己这段时间积累的一些这方面的仓库统一汇总到第二篇推文中，按需自取。

一、革新传统病理学：深度学习在虚拟组织染色中的应用

一作&通讯

角色	姓名	单位名称（中文）
第一作者	Bijie Bai	加州大学洛杉矶分校电子与计算机工程系
第一作者	Xilin Yang	加州大学洛杉矶分校电子与计算机工程系
第一作者	Yuzhu Li	加州大学洛杉矶分校电子与计算机工程系
第一作者	Yijie Zhang	加州大学洛杉矶分校电子与计算机工程系
通讯作者	Aydogan Ozcan	加州大学洛杉矶分校电子与计算机工程系及生物工程系

文献概述

这篇文章综述了深度学习技术在虚拟组织染色领域的最新研究进展，展示了如何利用训练有素的神经网络数字化地生成组织染色图像，为传统化学染色方法提供了快速、成本效益高且准确的替代方案。

组织染色是临床病理学和生命科学研究中用于检查组织细胞结构的标准方法，但传统方法需要复杂的样本准备、专业的实验室设施和训练有素的组织技术员，这使得它在资源有限的环境中难以实现。深度学习技术通过训练神经网络，数字化地生成组织染色图像，为标准的化学染色方法提供了快速、成本效益高且准确的替代方案。

文章首先介绍了虚拟染色的基本概念和典型工作流程，然后讨论了代表性工作的技术和创新点。作者还分享了他们对这个新兴领域未来发展的看法，旨在激励不同科学领域的读者进一步扩展深度学习在虚拟组织染色技术及其应用方面的视野。

在开发虚拟染色模型的过程中，包括图像数据收集、图像预处理、网络训练和验证。根据使用的学习方法（如监督或无监督），相应的数据收集和预处理方法会有所不同。在监督训练设置中，需要精确配对的输入和真实图像对进行训练。而在无监督训练设置中，输入和真实域的图像不必成对，这减少了数据预处理的工作量，但增加了网络架构和训练计划的复杂性。

文章还讨论了多种类型的虚拟染色技术，包括无标记虚拟染色和染色到染色的转换。无标记虚拟染色使用深度学习成功地使用自发荧光图像对无标记组织样本进行了虚拟染色，而染色到染色的转换方法可以为病理学家提供额外类型的染色，而无需改变当前的工作流程。

最后，文章讨论了虚拟染色技术的未来发展方向，指出了需要进一步研究的领域，并认为这项技术将有助于加速整个组织学工作流程，减少成本、劳动力，并提高诊断的准确性和效率。

重点关注

图6展示了多阶段图像交叉配准的工作流程，用于虚拟染色模型的训练。

这个过程可以分为以下几个步骤：

粗配准和裁剪：首先，将未染色的全切片图像（Whole Slide Image, WSI）与相应的经过组织学染色的WSI进行初步配准，并将它们裁剪成大致匹配的图像对。
伪虚拟染色模型的训练：接着，训练一个伪虚拟染色模型，该模型的目的是将未染色的图像转换成与经过组织学染色的图像相似的图像。这一步骤是虚拟染色过程的基础，目的是让模型学会如何将未染色图像中的生物学特征映射到染色图像上。
局部特征配准：使用弹性金字塔配准算法，结合伪虚拟染色模型的输出来辅助局部特征的配准。这意味着模型将利用局部特征，如细胞和组织的形态特征，来进一步优化图像配准的精度。
细配准步骤：在伪模型的帮助下，进行更精细的配准步骤，以实现像素级的图像配准精度。这确保了输入图像和目标图像在细节上高度一致，从而为后续的虚拟染色模型训练提供了高质量的配准图像对。

整个流程的目的是为了在监督学习框架下，生成精确配准的图像数据集，这些数据集将用于训练能够准确执行图像转换的虚拟染色模型。通过这种方式，可以确保虚拟染色结果在结构和颜色上与实际的组织学染色图像非常接近，从而为病理学家提供可靠的数字化染色图像。

二、数字病理学中的生成对抗网络：应用、局限与未来展望

一作&通讯

角色	姓名	单位
第一作者	Shahd A. Alajaji	马里兰大学牙科学院肿瘤学与诊断科学系
通讯作者	Ahmed S. Sultan	马里兰大学牙科学院人工智能研究部、马里兰大学马琳和斯图尔特·格林鲍姆综合癌症中心

文献概述

这篇文章是关于生成对抗网络（Generative Adversarial Networks, GANs）在数字病理学领域的应用、局限性、伦理考量以及未来发展方向的综述。

文章首先介绍了数字病理学中使用的高分辨率全切片图像（Whole Slide Images, WSIs）以及人工智能（AI）在提高诊断准确性和减少病理学家工作负担方面的潜力。接着，文章深入探讨了GANs在图像合成领域的能力，尤其是在计算机视觉中的表现，并讨论了GANs在医学诊断应用中的潜力，例如生成罕见疾病的图像、辅助学习和作为可视化工具。

文章重点讨论了GANs在数字病理学中的新兴应用，包括图像增强（如颜色标准化、虚拟染色和墨水/标记去除等）。同时，文章也指出了使用技术时出现的伦理问题，例如依赖合成或伪生成图像可能引起的问题。此外，文章还探讨了当前的局限性，并强调了与使用该技术相关的伦理考量。

在方法部分，作者通过搜索Ovid、MEDLINE和PubMed数据库，选出了符合标准的关于在H&E染色的数字病理学图像上应用GANs的研究。结果表明，大多数应用GANs的研究与未使用GANs的模型相比，显示出改进的模型性能。文章总结了使用GANs的不同应用和方法的研究，并根据组织病理学应用和GAN架构类型对包括的研究进行了分类。

最后，文章讨论了使用GANs的机会和局限性，并强调了在负责任的技术发展过程中考虑伦理使用的重要性。文章指出，评估数据质量、解决偏差问题、保护隐私、确保问责和透明度以及制定规章制度对于确保GANs的伦理应用至关重要。通过积极解决这些局限性和伦理问题，GANs可能在特定用例中改善数字病理学。

重点关注

Figure 1展示了一个简化的生成对抗网络（GAN）模型的工作流程。

在传统的深度学习分类模型（A）中，为了进行图像分类或分割，通常需要大量的训练数据集，即所谓的“大数据”。然而，对于某些肿瘤类型来说，这样的数据集并不总是容易获得的。深度卷积神经网络（CNNs）被用来产生预测结果。而使用GAN可以补充训练数据，从而克服了训练样本量小的限制。

GAN的工作过程如下：首先，通过生成器使用随机噪声来创建合成图像。然后，将真实的训练数据集图像和生成的图像一起输入到鉴别器中。鉴别器的任务是预测图像是真实的还是合成的。如果图像被判断为真实的，那么模型就停止训练，网络被认为是完全优化的，不需要进一步的训练。如果图像被判断为合成的，模型就会向生成器提供反馈，以继续优化模型。

在这个例子中，一个GAN模型被用于图像合成，目的是扩展原始有限的宫颈上皮内瘤变（CIN）数字病理学上皮斑块的训练数据集。鉴别器尝试区分（B）真实的CIN图像斑块和（C）生成器产生的合成/假图像。随着训练的进行，生成的图像变得与真实图像无法区分，鉴别器也不再能够区分真实的训练数据图像或生成的伪现实图像。在这个插图中使用的CIN病理学斑块图像是由一个条件GAN模型生成的，其分类准确率达到了72%。这些图像经允许后被复制（Xue等人，2019年）。

三、数字病理图像分析中的染色归一化方法：全面回顾与实验比较

一作&通讯

角色	姓名	单位（中文）
第一作者	Md. Ziaul Hoque	奥卢大学信息技术与电气工程学院机器视觉与信号分析中心
通讯作者	Tapio Seppänen	奥卢大学信息技术与电气工程学院机器视觉与信号分析中心

文献概述

这篇文章综合回顾并实验比较了不同的染色归一化方法在组织病理学图像分析中的应用，发现结构保持的统一变换方法在提高对变异的鲁棒性和可重复性方面表现更佳。

文章首先介绍了整个幻灯片成像技术如何推动了通过医学成像和人工智能技术进行的高级计算机辅助诊断在数字病理学中的应用。这种技术通常用于癌症疾病的诊断，但是不同扫描设备、染色方法和组织反应等因素造成的图像颜色变化可能会降低计算机辅助诊断的准确性，影响病理学家的诊断。

文章回顾了不同的染色归一化方法，强调了相关作品的主要方法论、贡献、优势和局限性。研究者将最新的技术分为四个不同的类别，并从中选择了十种代表性方法进行了实验比较，以调查不同方法的优缺点，并根据选定的性能准确度量对它们进行了排名。通过在三个组织病理学图像数据集上进行实验，使用四元数结构相似性指数度量、结构相似性指数度量和皮尔逊相关系数比较了选定方法的质量性能。

研究发现，基于结构保持的统一变换方法通过提高对变异性的鲁棒性和可重复性，一致地超越了现有的最新方法。本文进行的比较分析将为未来的研究提供基础，这将有助于改进现有技术和开发新方法，以解决复杂组织病理学图像中染色归一化的复杂性。

文章还详细介绍了组织样本的准备和数字化步骤，包括组织收集、固定、脱水、石蜡包埋、显微切片、染色、装片和数字化。此外，文章系统地回顾和实验比较了不同颜色/染色归一化方法的性能，使用了多个图像质量评估指标，如归一化介数强度、结构相似性指数度量、四元数结构相似性指数度量和皮尔逊相关系数。

最后，文章讨论了染色归一化技术的潜在优势和局限性，并提出了未来研究的方向，包括探索深度学习技术、无监督学习技术、多光谱成像技术，以及开发更快速、高效的算法，以提高染色归一化方法的准确性和适用性。作者强调，选择适当的染色归一化技术应基于特定应用和被分析图像的特征，并呼吁进行进一步的研究以优化这些技术。

重点关注

Fig. 3展示了来自数据集1的四个子宫肌瘤（myoma）样本图像的归一化结果。

这些图像被不同的染色归一化方法处理，以比较它们在减少染色变异性方面的效果。图中使用颜色框来指示不同结果的质量：

绿色框：表示归一化结果中存在明显伪影的区域。伪影可能是由于归一化过程中的错误或过度处理导致的，这可能会影响图像的诊断价值。
红色框：表示归一化结果中没有伪影或任何显著的颜色不连续性的区域。这表明该方法能够较好地保持了组织结构和颜色的一致性，没有引入处理过程中的不期望变化。

四、STST：使用条件生成对抗网络实现组织病理学图像的染色标准化

一作&通讯

作者类型	作者姓名	单位名称（中文）
第一作者	Pegah Salehi	拉齐大学工程学院信息技术系
通讯作者	Abdolah Chalechale	拉齐大学工程学院信息技术系

文献概述

这篇文章提出了一种基于Pix2Pix的图像到图像翻译方法，用于组织病理学图像中的染色标准化，以提高自动化图像分析系统的鲁棒性和准确性。

背景：在组织病理学图像分析中，染色是必要的步骤，以增强对比度并帮助识别特定的组织成分。然而，由于化学试剂、扫描仪、切片厚度和实验室协议的差异，相似的组织在染色上可能出现显著的外观变化，这给自动化分析系统的设计带来了挑战。
研究目的：为了解决染色颜色变化的问题，提出了多种染色标准化方法。本文提出了一种基于Stain-to-Stain Translation (STST)的方法，使用条件生成对抗网络（cGANs）进行Hematoxylin和Eosin (H&E)染色的组织病理学图像的染色标准化。
方法：使用Pix2Pix框架，该框架利用cGANs进行图像翻译任务。作者使用Hamamatsu扫描仪的图像和对应的灰度图像作为训练数据对，训练STST模型。通过这种方式，模型不仅学习了特定的颜色分布，还保留了相应的组织病理学模式。
实验结果：作者将STST方法与传统的图像处理方法进行了比较，结果显示STST在数学和实验上都优于现有的方法。作者还公开了源代码。
关键词：组织病理学图像、染色标准化、染色到染色翻译（STST）、条件生成对抗网络（cGAN）、深度学习。
结构：文章首先介绍了生成对抗网络（GANs）和染色标准化算法的三个主要类别。然后，详细介绍了所提出的STST方法，包括使用Pix2Pix框架的损失函数和训练过程。最后，作者使用Mitosis-Atypia数据集进行了实验，展示了STST方法的实现细节和评估指标，并与其他方法进行了比较。
结论：STST方法可以有效地减少H&E图像的外观变化，增强图像对比度，并在图像分析流程中作为预处理步骤具有潜力。

重点关注

图1展示了不同的染色标准化技术对H&E染色组织病理学图像进行处理后的视觉效果比较。

这里的目的是使源染色风格（a）看起来与参考染色风格（b）相似。以下是对图1的分析：

源染色风格（a）：这是原始的组织病理学图像，可能由于染色过程中的变量（如染色剂的浓度、染色时间、组织切片的厚度等）而与其他图像在颜色和对比度上存在差异。
参考染色风格（b）：这是作为标准化目标的图像，通常具有理想的染色效果，颜色分布均匀，组织结构清晰可见，可以作为评估其他图像染色效果的标准。
比较方法：图中的（c）到（g）分别表示使用不同标准化技术处理后的图像。这些技术包括Reinhard [1]、Macenko [2]、Khan [3]、Vahadane [4]等，每种方法都试图将源染色风格调整至接近参考染色风格。
STST（作者的方法）：图（g）展示了本文提出的基于Pix2Pix框架的STST方法处理后的图像。该方法利用条件生成对抗网络（cGANs）学习源图像和目标染色风格之间的映射，以实现染色风格的转换。
效果评估：通过视觉比较，可以评估每种方法在颜色调整、对比度增强和组织结构保持方面的效果。理想情况下，处理后的图像应尽可能接近参考染色风格，同时保持组织细节的清晰度和准确性。
颜色和纹理：注意观察不同方法处理后的图像在颜色分布和纹理细节上的差异，这有助于理解每种方法的优势和局限性。
目标：染色标准化的最终目标是减少染色变异，提高图像质量，从而为病理学家或自动化图像分析系统提供更一致和可靠的视觉信息。

图1提供了一个直观的比较，帮助读者理解不同染色标准化方法的效果，并评估本文提出的STST方法在实现染色风格转换方面的表现。

五、提高病理图像分析准确性的颜色标准化技术研究

一作&通讯

角色	姓名	单位	单位（中文）
第一作者	Santanu Roy	Department of E&C Engineering, National Institute of Technology Karnataka, Surathkal, Mangalore-575025, India	印度卡纳塔克邦苏拉特卡尔国立技术学院电子与通信工程系
通讯作者	Shyam Lala	Department of Pathology, Kasturba Medical College, Mangalore, Manipal Academy of Higher Education, Karnataka, 575001, India	印度卡纳塔克邦Manipal高等教育学院Kasturba医学院病理学系

文献概述

这篇文章系统研究并评估了多种颜色标准化方法在组织病理学图像上的应用，以减少因染色和扫描条件不同而引起的颜色变异，提高病理图像分析的准确性。

组织病理学图像通过使用全幻灯片成像（WSI）扫描仪检查组织，用于癌症性疾病的诊断。然而，由于不同的扫描仪、设备、染色以及来自不同制造商的反应等因素，图像中会出现颜色变化，这会影响决策支持系统的分析和诊断。文章详细介绍并评估了不同的颜色标准化方法在组织病理学图像数据集上的性能。

研究者们比较了多种颜色标准化技术，包括直方图规范、Reinhard方法、Macenko方法、染色颜色描述符（SCD）、完全颜色标准化和结构保持颜色标准化（SPCN）等。这些方法通过将源图像的平均颜色转换为目标图像的平均颜色，以及分离源图像中的染色，来实现颜色标准化。研究还评估了不同方法在保持结构质量方面的表现，使用了四元数结构相似性指数矩阵（QSSIM）、结构相似性指数矩阵（SSIM）和皮尔逊相关系数（PCC）等质量度量标准。

实验结果表明，结构保持颜色标准化（SPCN）在定性和定量上都提供了比其他方法更好的结果，特别是在乳腺癌和结直肠癌组织病理学图像数据集上。这项研究由印度国立技术学院（NIT Karnataka）的电子与通信工程系和Manipal高等教育学院Kasturba医学院的病理学系共同完成。

文章的结构包括引言、文献综述、材料和方法、模拟结果与讨论、结论，以及各种颜色标准化方法的实现步骤。研究结果对于提高组织病理学图像分析的准确性和可靠性具有重要意义，有助于病理学和计算机化决策支持系统的发展。

重点关注

Fig. 1展示了在肝癌数据集上，几种不同的颜色归一化技术的比较。

图中每一列代表一个测试样本的归一化结果，第一列是测试1的归一化图像，第二列是测试2的归一化图像，依此类推。

以下是对图中所示内容的详细分析：

直方图规范方法：
- 该方法通过对源图像和目标图像的直方图进行映射，使得处理后的图像具有与目标图像相似的亮度和颜色统计特性。
- 在图中，直方图规范方法的归一化图像对比度较好，但如果源图像和目标图像差异较大，则效果不佳。
Reinhard方法：
- 该方法通过将RGB图像转换到lαβ颜色空间，并将目标图像的背景颜色转移到源图像，同时保留源图像的所有强度变化。
- Reinhard方法的归一化图像在颜色空间转换上有吸引力，但由于假设每个通道的颜色分布均匀，可能导致某些通道的归一化效果不佳。
Macenko方法：
- 该方法使用颜色解卷积技术来找到染色体的颜色矩阵，但如果染色矩阵估计失败，结果会偏离目标图像。
- 在图中，Macenko方法的归一化图像有时会偏离目标图像，特别是在染色浓度变化非线性时。
染色颜色描述符方法：
- 该方法使用监督学习和分类方法来找到准确的染色矩阵，并进行非线性样条基颜色归一化。
- 染色颜色描述符方法在乳腺癌数据集上表现较好，但在其他数据集上可能因数据丢失而导致效果不佳。
完全颜色归一化方法：
- 该方法通过去除由照明变化引起的颜色偏差，并保留源图像的所有组织信息。
- 完全颜色归一化方法依赖于目标图像，可能不会保留源图像的所有强度变化。
结构保留颜色归一化方法：
- 该方法通过非负矩阵分解（NMF）方法准确分离源图像和目标图像的染色，并将目标图像的平均颜色转移到源图像，同时保留所有组织信息。
- 结构保留颜色归一化方法在所有测试样本中均表现出色，能够完美地进行颜色归一化和染色分离，且引入的伪影较少。

综上所述，结构保留颜色归一化方法在所有展示的方法中表现最佳，能够有效减少颜色变化对图像质量的影响，提高计算机辅助诊断系统的性能。

六、深度学习在虚拟组织染色中的应用与前景

一作&通讯

角色	姓名	单位（中文翻译）
第一作者	Leena Latonen	东芬兰大学生物医学研究所
通讯作者	Pekka Ruusuvuori	图尔库大学生物医学研究所

文献概述

这篇文章探讨了深度学习技术在虚拟组织染色中的应用，旨在提供一种无需化学试剂、更高效、成本更低的组织学分析方法。

组织学是病理学和生物医学研究中分析组织的基本方法。传统的组织学工作流程需要消耗大量化学物质、水和时间来进行染色过程。深度学习现在可以通过训练神经网络来创建未染色组织图像的染色图像，或从一个染色转移到另一个染色，从而实现组织学染色过程的数字化替代。

文章强调了虚拟染色的潜力，它可以提供更可持续、快速和成本效益高的组织病理学流程替代方案。通过深度学习模型，可以从单一的未染色组织图像生成多个染色图像输出，从而实现虚拟多重化和单细胞分辨率，这在目前需要单独组织切片的组织学评估中是不可能的。

尽管虚拟染色技术提供了许多优势，但它仍处于早期发展阶段，需要进行严格的验证。文章回顾了虚拟染色的基础概念，并提供了对未来利用人工智能（AI）支持的虚拟组织学应用的见解。此外，文章还讨论了传统和虚拟组织学染色的基本理念，包括如何使用不同的化学物质来突出组织的特定化学或生物学属性。

文章还探讨了开发可靠的虚拟染色模型所需的计算方法，包括监督学习和无监督学习，以及使用生成对抗网络（GAN）进行图像到图像的转换。此外，还讨论了评估虚拟染色性能的方法，包括计算评估和组织学评估。

最后，文章讨论了虚拟染色在组织学中的当前状态，特别是在替代化学染色方面的应用，并提出了未来的潜在应用，包括在临床使用中的潜力以及对全球健康的影响。作者指出，虚拟染色技术仍处于发展阶段，需要进一步的研究来确定它可以多广泛地可靠地用于不同的化学物质、抗体、组织和扫描仪环境。

文章最后提出了一些悬而未决的问题，包括模型性能的要求、成像要求、可虚拟生产的化学和抗体染色、量化评估指标以及如何标准化模型构建和评估。

重点关注

Figure 4 展示了使用 Pix2Pix 模型进行虚拟染色的苏木精-伊红（H&E）染色的例子。

这里比较了来自小鼠的肾脏和前列腺组织的组织学图像。图像分为三组：
在这里插入图片描述

真实染色（Ground truth）：这是使用传统化学方法染色的H&E图像，作为比较的标准或“真实”结果。
未染色（Unstained）：这是使用标准明场显微镜成像的未染色组织图像。
虚拟染色（Virtually stained）：这是通过使用文献 [4,5] 中描述的 Pix2Pix 模型从未染色的图像生成的H&E染色图像。

每行图像都是从单一的组织切片生成的，并且每行图像中的比例尺（Scale bars）都被标示出来，以便于比较不同图像间的尺寸。

分析这些图像时，我们应该注意以下几点：

真实染色的图像提供了组织结构和细胞特征的视觉参考，通常用于病理学诊断。
未染色的图像展示了在没有化学染色的情况下，组织在明场显微镜下的自然状态，通常对比度较低，难以区分细胞和组织结构。
虚拟染色的图像尝试通过深度学习模型复制化学染色的效果，使得未染色的图像在视觉上类似于经过H&E染色的图像，这对于减少染色过程中的化学试剂使用和时间消耗具有重要意义。

通过比较三组图像，我们可以评估虚拟染色技术在模拟化学染色特征方面的效果，以及它在实际组织学分析中的潜在应用价值。