一、前言

此示例演示如何使用 Inception-v3 深度神经网络对可能不适合内存的多分辨率全玻片图像 （WSI） 进行分类。

用于肿瘤分类的深度学习方法依赖于数字病理学，其中整个组织切片被成像和数字化。生成的 WSI 具有高分辨率，大约为 200，000 x 100，000 像素。WSI 通常以多分辨率格式存储，以促进图像的高效显示、导航和处理。

该示例概述了使用基于块的处理来训练大型 WSI 的体系结构。该示例使用迁移学习技术训练基于 Inception-v3 的网络，将各个块分类为 或 。

二、准备训练数据

按照预处理训练分类网络的多分辨率图像中的说明准备训练和验证数据。预处理示例将预处理的训练和验证数据存储保存在名为 的文件中。

将变量的值设置为文件所在的位置。将定型和验证数据存储加载到变量中。

三、设置用于迁移学习的 Inception-v3 网络层

此示例使用 Inception-v3 网络，这是一个卷积神经网络，在 ImageNet 数据库中的 3 多万张图像上进行训练 [48]。该网络有 1 层深，可以将图像分类为 000，<> 个对象类别，例如键盘、鼠标、铅笔和许多动物。

inceptionv3（深度学习工具箱）函数返回一个预先训练的 Inception-v3 网络。Inception-v3 需要 Inception-v3 Network 的深度学习工具箱模型支持包。如果未安装此支持包，则该函数将提供下载链接。

网络的卷积层提取图像特征。最后一个可学习层和最后一个分类层使用图像特征对输入图像进行分类。这两个图层包含有关如何将要素组合到类概率、损失值和预测标签中的信息。要重新训练预训练网络以对新图像进行分类，请将这两个层替换为适应新数据集的新层。

此示例的目标是在两个类和 .为两个类创建新的全连接图层。将最终的全连接层替换为新层。

为两个类创建新的分类图层。将最终分类图层替换为新图层。

三、指定训练选项

使用均方根传播 （RMSProp） 优化训练网络。使用深度学习工具箱指定 RMSProp 的超参数设置。

减少到一个小数字，因为大量的训练数据使网络能够更快地实现收敛。根据您的可用 GPU 内存指定。虽然较大的小批量大小可以使训练更快，但较大的大小会降低网络的泛化能力。设置为 以防止完全读取训练数据以计算规范化统计信息。

四、训练网络或下载预训练网络

默认情况下，此示例使用帮助程序函数下载已训练分类网络的预训练版本。预训练网络可用于运行整个示例，而无需等待训练完成。

五、下载测试数据

Camelyon16测试数据集由130个WSI组成。这些图像具有正常组织和肿瘤组织。每个文件的大小约为 2 GB。

要下载测试数据，请访问Camelyon17网站，然后单击第一个“CAMELYON16数据集”链接。打开“测试”目录，然后按照以下步骤操作。

• 下载“lesion_annotations.zip”文件。将所有文件解压缩到变量指定的目录中。

• 打开“图像”目录。将文件下载到变量指定的目录。

六、预处理测试数据

创建阻止的映像对象以管理测试映像

获取测试映像的文件名。然后，创建管理测试图像的阻止映像对象数组。每个对象都指向磁盘上的相应映像文件。

创建组织面膜

为了有效地处理WSI数据，请为每个测试图像创建一个组织掩模。此过程与用于预处理正常训练图像的过程相同。

组织面膜只有一个级别，并且足够小以适合记忆。使用帮助程序功能在图像浏览器应用程序中显示组织蒙版。

预处理肿瘤地面真相图像

指定肿瘤掩膜的分辨率级别。

七、预测肿瘤概率的热图

使用经过训练的分类网络预测每个测试图像的热图。热图给出了每个块属于该类的概率分数。该示例对每个测试映像执行以下操作以创建热图：

• 使用选择块位置功能选择块。

• 使用函数和帮助程序函数定义的处理操作处理块的批次。

• 使用写入函数将热图数据写入 TIF 文件。处理完所有模块后的最终输出是一个热图，显示在整个WSI上发现肿瘤的概率。

可视化热图

选择要显示的测试图像。在图形的左侧，使用帮助程序函数将地面实况边界坐标显示为手绘 ROI。此帮助程序函数作为支持文件附加到示例。正常区域（用绿色边界显示）可以发生在肿瘤区域（用红色边界显示）内。

在图的右侧，显示测试图像的热图。链接轴并放大到感兴趣区域。

八、在特定阈值下对测试图像进行分类

要将块分类为 或 ，请对热图概率值应用阈值。

选择一个阈值概率，高于该阈值的块被分类为 .理想情况下，您将使用验证数据集上的受试者工作特征 （ROC） 或精度-召回率曲线来计算此阈值。

对每个测试图像中的块进行分类，并使用应用函数和帮助程序函数定义的处理操作计算混淆矩阵。

• 调整和优化地面实况掩码以匹配热点图的大小。

• 在热图上应用阈值。

• 以最精细的分辨率级别计算所有块的混淆矩阵。混淆矩阵给出了真阳性 （TP）、假阳性 （FP）、真阴性 （TN） 和假阴性 （FN） 分类预测的数量。

• 将 TP、FP、TN 和 FN 块的总数保存为块图像中的结构。被阻止的图像作为被阻止图像数组中的一个元素返回。

• 将分类预测的数字标记图像保存在被阻止的图像中。值 0、1、2 和 3 分别对应于 TN、FP、FN 和 TP 结果。被阻止的图像作为被阻止图像数组中的一个元素返回。

计算所有测试图像的全局混淆矩阵。显示归一化全局混淆矩阵的混淆图。WSI图像中的大多数块都是正常组织的，导致高比例的真阴性预测。

可视化分类结果

将真实 ROI 边界坐标与分类结果进行比较。在图形的左侧，将地面实况边界坐标显示为手绘 ROI。在图的右侧，显示测试图像，并根据混淆矩阵在每个块上叠加颜色。将真阳性显示为红色，将误报显示为青色，将漏报显示为黄色，将真阴性显示为无色。

假阴性和假阳性出现在肿瘤区域的边缘，这表明网络难以对具有部分类的块进行分类。

注意：为了减少肿瘤周边的分类误差，您可以使用较少的同质块重新训练网络。预处理训练数据集的块时，请减小名称-值参数的值。

九、使用 AUC-ROC 曲线量化网络预测

使用帮助程序函数计算不同阈值下的 ROC 曲线值。计算曲线下面积 （AUC） 指标。该指标返回 [0， 1] 范围内的值，其中 1 表示完美的模型性能。此数据集的 AUC 接近 1。您可以使用 AUC 微调训练过程。

十、程序（文末附程序链接）

使用Matlab R2022b版本，点击打开。（版本过低，运行该程序可能会报错）

程序有偿获取：评论区下留言，博主看到会私信你。