人工智能在免疫组化以及虚拟多重免疫荧光染色中的应用

小罗碎碎念

这期推文准备了四篇文章，覆盖了AI在免疫组化、多重免疫组化以及虚拟多重免疫荧光染色中的应用。

目前来看，免疫组化这些技术大多用于验证，那么我们是否可以把从免疫组化分析得到的结论作为模型的先验知识，或者直接进行HE到IHC的图像配准？

可切入的点是非常多的，但是我们没有办法每个都去尝试，这时候就需要抱团取暖了，欢迎大家积极加入交流群，尝试不同的方向，寻找志同道合的小伙伴！！

一、肺癌免疫组化图像数据集建立与免疫微环境变量的深度学习量化研究

一作&通讯

姓名	单位	单位中文
Ranran Wang	Affiliated Cancer Hospital, Dalian University of Technology, Dalian, China School of Biomedical Engineering, Faculty of Medicine, Dalian University of Technology, Dalian, China	大连理工大学附属肿瘤医院，中国大连大连理工大学医学部生物医学工程学院，中国大连
Yong Zhang	Department of Pathology, Liaoning Cancer Hospital and Institute, Shenyang, China	辽宁省肿瘤医院病理科，中国沈阳
Hongming Xu	Affiliated Cancer Hospital, Dalian University of Technology, Dalian, China School of Biomedical Engineering, Faculty of Medicine, Dalian University of Technology, Dalian, China Key Laboratory of Integrated Circuit and Biomedical Electronic System, Dalian University of Technology, Dalian, Liaoning, China Faculty of Information Technology, University of Jyvaskyla, Jyvaskyla, Finland	大连理工大学附属肿瘤医院，中国大连大连理工大学医学部生物医学工程学院，中国大连大连理工大学集成电路与生物医学电子系统重点实验室，中国辽宁大连芬兰于韦斯屈莱大学信息技术学院，芬兰于韦斯屈莱

文献概述

这篇文章介绍了一个名为MIHIC（Multiplex IHC Histopathological Image Classification）的数据集，它是为肺癌免疫微环境（TIME）量化分析而创建的。MIHIC数据集包含了309,698个由病理医生手动标注的多重IHC（免疫组化）染色的组织图像块，涵盖了七种不同的组织类型：肺泡、免疫细胞、坏死、间质、肿瘤、其他和背景。

研究者们使用这个数据集，通过深度学习模型，特别是卷积神经网络（CNN）和变换器模型，来进行组织图像分类的实验。实验结果显示，变换器模型在组织图像分类上的表现略优于CNN模型，尽管两种模型在测试数据集上都达到了最高准确度0.811。

此外，研究者们还利用表现最佳的模型在组织微阵列（TMA）核心上量化肺癌免疫微环境变量，并用于预测患者的总体生存结果。研究发现，免疫细胞与间质的比例以及肿瘤与组织核心的比例，这两个自动量化的TIME变量，对于肺癌患者的总体生存具有预后价值。

文章还讨论了IHC在癌症诊断中的重要性，以及深度学习模型在处理IHC图像分析中的潜力和挑战。作者强调了MIHIC数据集的公开可用性，以及它在推动TIME量化和理解免疫系统与肿瘤之间相互作用方面的潜力。

最后，文章指出了研究的局限性，包括研究仅限于非小细胞肺癌（NSCLC），并且量化方法可能无法检测到稀疏分布的特定免疫细胞区域。作者提出，未来的研究需要更全面地量化TIME的各个组成部分和指标。

简要分析

模型架构

数据集构建：研究者创建了一个包含309,698个mIHC染色的组织图像块的MIHIC数据集，这些图像块被分为七个组织类型类别，并由病理医生手动标注。
图像分类模型训练：使用MIHIC数据集，研究者训练了一系列基于深度学习的图像分类模型，包括卷积神经网络（CNN）和变换器模型。
模型评估：通过准确率、召回率、精确度、F1分数、负预测值和接收者操作特征曲线下面积（AUC）等指标评估不同模型的性能。
图像块分类：将数据集划分为训练集、验证集和测试集，模型在这些数据集上进行训练和验证，最终在测试集上进行评估。
组织微阵列（TMA）核心提取：使用预训练的图像分割模型（segment anything model，SAM）从TMA部分中精确提取组织核心。
组织核心分类：将提取的TMA核心图像块输入到训练好的分类模型中，进行组织类型的分类。
免疫微环境变量量化：基于TMA核心的分类结果，量化了与免疫微环境相关的七个变量，如免疫细胞与肿瘤的比例等。
生存预后分析：利用量化的TIME变量，通过Kaplan-Meier生存曲线和log-rank测试，研究了这些变量与非小细胞肺癌（NSCLC）患者总体生存之间的关系。
结果解释：发现免疫细胞与间质的比例以及肿瘤与组织核心的比例，这两个TIME变量与肺癌患者的总体生存显著相关。

通过这一系列步骤，文章展示了如何使用深度学习模型来分析mIHC图像，并从组织微环境中提取出可能影响患者预后的生物学信息。

二、教师-学生协作多实例学习预测组织病理学幻灯片中的PDL1表达

一作&通讯

姓名	单位
Darui Jin	北京航空航天大学图像处理中心
Shangying Liang	德国癌症研究中心AI肿瘤学部
Moritz Gerstung	德国癌症研究中心AI肿瘤学部
Xiangzhi Bai	北京航空航天大学虚拟现实技术与系统国家重点实验室

通讯作者

姓名	单位
Thomas G. P. Grünewald	德国癌症研究中心（DKFZ）病理学研究所，海德堡大学医院病理学研究所，德国癌症联盟（DKTK）海德堡，德国海德堡儿童癌症中心（KiTZ）
Moritz Gerstung	德国癌症研究中心AI肿瘤学部
Xiangzhi Bai	北京航空航天大学虚拟现实技术与系统国家重点实验室

文献概述

这篇文章是关于一种新的弱监督学习方法，称为教师-学生协作的多实例学习（MILTS），用于从组织病理学幻灯片预测泛癌PDL1表达。

PDL1是癌症治疗中的一个重要生物标志物，通常通过免疫组化（IHC）进行量化，但缺乏明确的组织病理学模式。深度学习有助于病理学评估，但组织异质性和缺乏空间解析注释对精确分析构成挑战。

文章提出了一种使用大量RNA测序的弱监督学习方法来预测PDL1表达。该方法扩展了多实例学习范式，采用教师-学生框架，动态分配伪标签以应对幻灯片内异质性，并使用时间集成模型蒸馏未标记实例。

该方法在20种实体瘤类型的12,299张幻灯片上进行了评估，对于9种已建立PDL1生物标志物的肿瘤，在新鲜冷冻和福尔马林固定标本上分别实现了加权平均曲线下面积（AUC）0.83和0.74。通过IHC在20张幻灯片上验证了该方法预测的PDL1表达模式，为与PDL1相关的组织学提供了见解。

文章还讨论了PD1-PDL1检查点抑制剂在过去十年中对癌症治疗的革命性影响，以及PDL1表达与患者对治疗的反应之间的关联。此外，文章还探讨了MILTS在预测PDL1表达方面的潜力，以及如何通过深度学习识别H&E图像中的多种组织学模式。

最后，文章通过与IHC量化的相关性分析，进一步验证了MILTS预测的准确性，并探讨了MILTS预测与肿瘤微环境和临床特征之间的相关性。研究结果表明，MILTS能够基于H&E幻灯片预测高低PDL1 mRNA表达，并且能够捕获与分子变化相关的有意义的组织病理学模式。

简要分析

文章中提到的IHC（免疫组化）分析主要是用来验证MILTS（教师-学生协作的多实例学习）模型预测结果的准确性。

具体分析步骤如下：

IHC染色：使用特定的抗体对组织样本进行染色，以检测PDL1蛋白的存在和表达量。
IHC评分：通过IHC染色的幻灯片由病理学家进行评分，通常是基于染色的强度和分布来评估PDL1的表达水平。
预测与IHC比较：将MILTS模型预测的PDL1表达模式与IHC实验结果进行比较。这通常涉及到将模型预测的PDL1高表达区域与IHC染色显示的PDL1蛋白分布进行视觉对比。
相关性分析：使用统计方法，如皮尔逊相关系数，来量化模型预测值和IHC评分之间的相关性。这有助于评估模型预测的可靠性。
定量分析：在一些情况下，可能还会对IHC染色的区域进行定量分析，例如通过图像分析软件计算染色的强度和面积，然后将这些定量数据与MILTS模型的预测结果进行比较。
结果解释：根据相关性分析的结果，文章中会讨论MILTS模型预测与实际IHC结果之间的一致性，从而验证模型的有效性。

文章中提到的IHC分析是实验验证步骤的一部分，用于支持MILTS模型预测结果的准确性和可靠性。

三、从H&E到IHC：无监督领域自适应在病理图像细胞核分割中的应用

一作&通讯

姓名	单位
Shidan Wang	德克萨斯大学西南医学中心定量生物医学研究中心
Guanghua Xiao	德克萨斯大学西南医学中心定量生物医学研究中心
	德克萨斯大学西南医学中心西蒙斯综合癌症中心
	德克萨斯大学西南医学中心生物信息学系

文献概述

这篇文章是关于一种用于细胞核分割的无监督领域自适应（UDA）方法，该方法通过一种课程学习方法，将从苏木精-伊红（H&E）染色切片转移到免疫组化（IHC）染色切片的知识。

文章提出了一种名为Instance Segmentation CycleGAN（ISC-GAN）的算法，用于多类别实例分割的UDA。研究者们通过广泛的实验，将知识从H&E染色的病理图像转移到IHC染色的病理图像。

关键点包括：

背景和目标：无监督领域自适应（UDA）是解决领域差异问题的强大方法，可以减少繁琐且容易出错的像素级注释的负担。
方法：提出了ISC-GAN算法，结合了CycleGAN和Mask R-CNN，以学习类别对应关系，并使用虚拟监督进行图像级领域自适应。
课程学习：将学习过程分为两步，首先在标记的源数据上学习分割，然后在ISC-GAN生成的配对虚拟标签上学习目标领域的分割。
结果：ISC-GAN在与基线模型和其他三种UDA实例检测和分割模型相比时，展示了最先进的性能，平均精度为39.1%，平均召回率为48.7%。
结论：ISC-GAN能够将知识从H&E染色的病理图像转移到IHC染色的病理图像，表明有可能减少深度学习和计算机视觉任务中对大型注释病理图像数据集的需求。

文章还讨论了该方法的局限性，并提出了未来的研究方向，包括探索Mean Teacher在训练ISC-GAN中的效用，以及将ISC-GAN推广到半监督实例分割任务。

简要分析

文章通过提出一种无监督领域自适应（UDA）算法——Instance Segmentation CycleGAN（ISC-GAN），来分析IHC（免疫组化）染色切片。

具体步骤如下：

算法设计：将CycleGAN与Mask R-CNN融合，构建一个能够进行多类别实例分割的网络。
领域自适应：利用CycleGAN进行图像级别的领域自适应，通过生成器和判别器减少源域（H&E染色图像）和目标域（IHC染色图像）之间的分布差异。
课程学习：采用课程学习策略，分两步进行训练：
- 第一步，仅使用标记的源域数据进行分割学习。
- 第二步，使用ISC-GAN生成的虚拟标签对目标域数据进行分割学习。
实验验证：在多类核识别任务上进行广泛的实验，将知识从H&E染色病理图像转移到IHC染色病理图像。
性能提升：通过与其他策略（如共享权重、知识蒸馏和扩展源数据）的实验比较，进一步提高性能。
结果分析：ISC-GAN在目标域（IHC染色图像）上进行实例分割时，与基线模型和其他UDA实例检测和分割模型相比，展示了最先进的性能。
结论：ISC-GAN能够适应从H&E到IHC染色的病理图像，减少了深度学习和计算机视觉任务中对大量注释病理图像数据集的需求。

文章通过这种方法，实现了对IHC染色切片中不同类型细胞（如肿瘤细胞核、基质细胞核、淋巴细胞核）的自动分割和分类，这对于癌症诊断和生物标志物分析具有重要意义。

四、深度学习助力胃癌预后：虚拟多重免疫荧光染色新技术

一作&通讯

作者角色	姓名	单位名称
第一作者	Zixia Zhou	斯坦福大学医学院放射肿瘤学系, 美国
第一作者	Yuming Jiang	维克森林大学医学院放射肿瘤学系, 美国
通讯作者	Lei Xing	斯坦福大学医学院放射肿瘤学系, 美国

文献概述

这篇文章是关于一种名为多模态注意力基础的虚拟多重免疫荧光染色（MAS）系统的研究报告。

该系统利用深度学习模型从非抗体染色的荧光成像中提取潜在的抗体相关特征，特别是自发荧光（AF）和DAPI成像。MAS系统能够同时生成预测多种与胃癌生存相关的生物标志物的多重免疫荧光染色图像。

研究结果表明，MAS系统在胃癌和非癌胃组织中都表现出高效和一致的性能。此外，研究还展示了虚拟多重免疫荧光图像在预测包括CD3、CD20、FOXP3、PD1、CD8、CD163和PD-L1在内的七个胃癌相关生物标志物方面的准确性，与标准多重免疫荧光染色获得的结果相当。

这项研究的意义在于，MAS系统能够快速生成可靠的多重染色结果，大幅降低多重免疫荧光染色的成本，改善临床工作流程。该研究由斯坦福大学医学院、南加州大学医学院、南方医科大学南方医院和南方医科大学基础医学院的研究人员共同完成。

文章还讨论了MAS系统在临床实践中的潜在应用，包括其在个性化医疗、疾病诊断、生物研究和药物开发等领域的重要性。研究的附加价值在于它提供了一种成本效益高且快速的替代传统多重免疫荧光技术的方法。研究的实施还涉及了转移学习策略，使模型能够快速适应新的免疫荧光标签。

文章最后讨论了研究的局限性，并提出了未来的研究方向，包括扩大生物标志物的范围、在不同临床环境中进行外部验证以及提高MAS系统的用户友好性。

简要分析

虚拟多重免疫荧光染色（Virtual multiplexed immunofluorescence, mIF）的实现主要依赖于深度学习技术，特别是多模态注意力基础的虚拟mIF染色（MAS）系统。

以下是实现虚拟多重免疫荧光染色的步骤：

数据准备：收集胃癌患者的病理切片，包括癌症和非癌症组织。从这些组织切片中获取自发荧光（AF）和DAPI（4′,6-diamidino-2-phenylindole）图像，这些图像可以捕获组织细胞的自发荧光和细胞核的精确位置信息。
模型训练：使用深度学习模型，特别是卷积神经网络（CNN），来训练一个可以从AF和DAPI图像中提取与抗体染色相关的特征的系统。模型通过学习大量的训练数据，能够识别和预测与特定生物标志物相关的特征。
特征提取：模型利用预训练的掩模自编码器（Masked Auto-Encoders, MAEs）从AF和DAPI图像中提取特征。这些特征包括细胞的形态、纹理和其他与生物标志物相关的属性。
注意力机制：通过自注意力（self-attention）和多注意力（multi-attention）机制，模型能够识别图像中最重要的部分，并专注于预测与特定生物标志物相关的染色模式。
多模态特征融合：将从AF和DAPI图像中提取的特征进行融合，以生成包含多个生物标志物信息的虚拟mIF图像。
输出重构：模型的输出是一组预测的mIF图像，这些图像模拟了传统mIF染色的效果，可以用于后续的病理分析和临床决策。
验证和应用：通过与标准mIF染色图像的比较，验证虚拟mIF图像的准确性和可靠性。这些虚拟图像可以用于疾病诊断、预后评估和治疗反应预测等临床应用。