近日，求臻医学科研团队研发一款基于数字病理图像的肿瘤分型深度学习模型—TMG(The Transformer-based Multiple instance learning with Global average pooling)。该模型可有效消除对病理图像细粒度标记的依赖，实现高准确率的分型，将用于原发灶不明肿瘤(CUP)的预测，助力肿瘤精准分型。目前，该研究成果已在线发表于国际生物信息学重要会议International Symposium on Bioinformatics Research and Applications(ISBRA 2023，波兰)。
研究背景
病理诊断作为肿瘤诊断的“金标准”，是治疗方案选择和预后评估的首要环节，病理诊断结果的准确性对于患者的精准诊疗尤为重要。然而，仅依靠病理医生的传统病理诊断模式面临着诸多挑战，如高水平病理医生短缺、诊断结果易受到主观影响以及诊断报告获取耗时较长等问题。为应对这些挑战，智能化病理图像分析方法的开发迫在眉睫。
随着数字扫描技术的进步，病理图像数字扫描仪能够获取高分辨率的全视野病理组织切片（WSI），并完整地保留原始的组织结构。同时，基于深度学习的图像分类方法在自然图像和医学图像领域展现出了巨大的潜力和有效性。这些先进技术方法的应用使得病理图像的分析和诊断进入了一个全新的数字化和智能化的发展阶段。
然而，数字病理图像存在分辨率高、图像特征差异微小等特点，传统的深度学习方法并不适用于WSI的自动分类。现有常用方法是使用细粒度标记的高分辨率的图像块来训练模型，并在图像块级别上进行预测，最终通过聚合算法得到患者级别的预测结果。但是，获取细粒度标记的数据是一项昂贵且具有挑战性的任务，将限制模型的性能和应用范围。
为解决以上问题，本研究提出了一种名为TMG的模型，该模型将基于Transformer的多示例学习与全局平均池化结合到组织病理图像中，可以在不使用细粒度数据标记的情况下实现WSI的精准分类，模型性能优异。同时，该模型不仅具有较低的计算复杂度，还能够处理更大尺寸的图片，应用前景广阔。
创新点✦
1. 传统的自注意力机制计算复杂度高，限制了其在处理大规模数据时的应用。为更加高效地捕捉到关键信息，本研究将线性注意力集成到TMG中，能够在保持分类性能不降低的同时，有效降低模型的复杂度至O(n)，在处理更大规模的数据时保持较低的计算资源需求，提高了模型的可扩展性和实用性。
2. 为综合感知不同分辨率WSI中的空间信息和形态特征，本研究提出了基于卷积的多维条件位置编码（CMCPE），可以为不同分辨率大小的WSI生成位置信息，模型能够获得更准确的位置编码，从而提高对于位置相关特征的捕捉能力。
3. 为使特征图与最终分类结果之间的转换更加自然，本研究在Vision Transformer（ViT）中使用全局平均池化（GAP）层对WSI进行分类，从而提高模型的鲁棒性。
图1. TMG工作流程
研究方法
数据：通过TCIA CPTAC病理门户获取了包含肿瘤组织的WSI的病理切片和相应的标签，这些WSI对应八个类别，包括肺、肾、脑等多个部位。本研究总共从CPTAC中获得了有代表性的6037个WSI。
WSI处理：鉴于WSI分辨率巨大，需要先对WSI中的组织进行分割，以提取出有价值的信息。首先，将图像从RGB转换为HSV颜色空间，然后对图像的降采样饱和度通道应用二值阈值处理，以计算组织区域的二进制掩码。接下来，根据二进制掩码分割组织区域，将分割出的区域裁剪成256×256大小的图块。
模型架构：TMG由实例特征提取器、特征聚合器和全局平均池化（GAP）组成。输入组织学图像被划分为小块，并输入实例特征提取器，以获得长度为1024的紧凑低维特征向量。所获得的特征被输入到特征聚合器中，以捕捉WSI中的局部空间信息和形态特征。特征聚合器的输出进一步输入到GAP中，以建立特征聚合器提取的关键信息与最终预测的类别信息之间的关联。
研究结果
评价：为验证TMG在WSI分类中的性能，使用CPTAC数据集进行评估，将TMG与包括MIL、CLAM、TOAD和TransMIL在内的最先进方法进行了比较，为确保比较的公平性，这些方法都使用了在ImageNet32上预训练的ResNet50进行特征提取。结果显示，TMG在k = 1、3、5的top-k准确性分别为94.8%、98.0%和100%。在独立测试集上，TMG表现出色，获得了最佳性能，其top-1准确性超过第二名的TransMIL约2.6%，并且在测试集上具有最低的错误率，仅为5.21%（图2）。
图2. TMG的模型性能
消融实验：为了验证模型的参数作用，本研究进行了全面的消融实验结果表明，选择最后的M个标记特征作为关键特征，同时捕获卷积核大小为1、3和5的邻域的位置信息，将GAP层添加到类别特征图，对top-1准确性和AUC值有积极影响。
模型收敛性及降维：图3展示了TMG以及最新的MIL方法（包括TransMIL、TOAD、MIL、CLAM-mb和CLAM-sb）在不同的训练周期内的训练/验证准确性和训练/验证损失。与这些方法不同，TMG利用了实例之间的形态和空间信息，TMG在性能上表现都优于其他MIL方法。为了评估GAP层位置对模型有效性的影响，本研究通过改变模型中GAP层位置，使用不同模型分别从八种肿瘤类型中提取了特征，并利用一种非线性降维方法t-SNE来将这些特征在二维中可视化。图4显示了在类别特征映射中加入GAP层（右图）会提高WSI分类性能。
图3：TMG以及最新的MIL方法的训练/验证准确性和训练/验证损失
图4：WSI 特征表示的 t-SNE 可视化
讨论
本研究提出了一种创新性病理AI模型TMG，该模型由实例特征提取器、基于Transformer和MIL的特征聚合器，以及全局平均池化（GAP）层三个主要组件构成。在测试数据集中TMG展现出了卓越的性能，能够准确地预测八种不同的肿瘤类别，其AUC值高于0.996。这为实现高准确度的肿瘤分类提供了有力支持，推动了人工智能在肿瘤病理学诊断领域的广泛应用。
