6.24.4.2 YOLO- logo:一种基于变压器的YOLO分割模型，用于数字乳房x光片中乳腺肿块的检测和分割

背景与目的:数字化乳房x光片的肿块检测和分割在乳腺癌的早期发现和治疗中起着至关重要的作用。此外，临床经验表明，它们是乳腺病变病理分类的上游任务。深度学习的最新进展使分析更快、更准确。本研究旨在开发一种用于乳房x线摄影的乳腺癌质量检测和分割的深度学习模型架构。

方法:结合YOLO (You Only Look Once)和LOGO (Local-Global)结构，提出了一种同时进行大规模检测和分割的双镜头模型。首先，采用最先进的目标检测模型YoloV5L6，对乳房x光片中的肿块进行高分辨率定位和裁剪;其次，为了平衡训练效率和分割性能，修改了LOGO训练策略，在变压器全局分支和局部分支上分别训练整体图像和裁剪图像。然后将两个分支合并以形成最终的分割决策.

结果:提出的YOLO-LOGO模型在两个独立的乳腺造影数据集(CBISDDSM和INBreast)上进行了检验。该模型的性能明显优于以往的工作。在CBIS-DDSM数据集上，质量检测的真阳性率为95.7%，平均精密度为65.0%。其在CBIS-DDSM数据集上的质量分割性能为F1-score=74.5%， IoU=64.0%。在另一个独立数据集INBreast中也观察到类似的性能趋势。

结论:提出的模型具有更高的效率和更好的性能，减少了计算量，提高了计算机辅助乳腺癌诊断的通用性和准确性。因此，它有可能在早期乳腺癌检测和治疗方面为医生提供更多帮助，从而降低死亡率。

1. 介绍

在过去的几年中，大多数基于深度学习的图像分割模型都使用基于深度卷积神经网络(cnn)的U-Net (Olaf[6])架构来实现其最佳性能，如U-Net+[7]、Attention U-Net[8]、DenseUNet[9]、R2U-Net[10]、UNet 3+[11]、connected_unet[12]等[13-15]。CNN可以从不同抽象层次的不同领域的数据中自动生成重要特征。这一优势使其成为近年来基于深度学习的计算机视觉研究中最受欢迎的技术。根据Valanarasu等人[16]的研究，CNN模型的一个主要限制是过于关注像素的局部平方。事实上，一种新出现的深度学习架构，名为视觉变压器(Vision Transformer, ViT)，最近已经引领了在计算机视觉中取代cnn的趋势[17]。与传统的cnn相比，ViT通过其自注意机制(过程获得的全局注意或细粒度的局部注意)强大地捕获局部和全局或远程视觉依赖。此外，ViT的注意机制可以增加其可解释性，从而减少在医疗保健领域等关键领域应用时对“黑箱”的恐惧[18,19]。

这些优点使得ViT很适合解决乳房x线影像分割问题。基于ViT的医学图像分割模型的主要挑战在于训练这样的模型需要强大的计算能力[20]。由于GPU等硬件条件的限制，目前的计算资源可能只能分割低分辨率的图像。最近，有一些作品结合了ViT和cnn的优点。例如，CvT在ViT中引入卷积来提高性能和效率，但它并不是为解决分割问题而设计的[21]。TransUNet是第一个基于变压器的医学图像分割框架，优于其他最先进的分割模型[22]。它也是cnn和ViT的结合。Medical Transformer (MedT)提出了一种门控轴向变压器模型结构，该模型由卷积层和门控轴向关注层组成[16]。然后为门控轴向变压器块配备LOGO (Local-Global)训练策略，可以充分利用医学图像数据来解决小样本量问题[16]。

Yan等人提出，如果能先检测到ROI，将有利于后续的分割任务[23]。因此，他们使用YoloV3[24]作为检测器从乳房x光片中识别ROI，然后将检测到的ROI传递给称为V19U-net++[7]的CNN进行进一步分割。然而，使用的ROI检测模型YoloV3现在已经更新为YoloV5L6[25,26]。让YoloV3每张图像只检测一个乳房肿块的ROI。然而，在实践中，在乳房x光摄影图像中有可能出现多个肿块。此外，分割模型V19U-net++是一个传统的CNN模型，可以通过在其架构中加入Transformer来改进。

受MedT[16]和Jocher等人的两阶段检测-分割工作流程的启发，提出了一种新的乳房肿块分割模型，首先使用YoloV5[25]及其最新模型[26]检测乳房x光片中的乳房肿块ROI，直接从高分辨率图像中裁剪，最后使用更新的LOGO训练策略[27,28]从裁剪后的图像中分割肿块。我们的贡献主要体现在两个方面:

首先测试了最先进的目标检测模型YoloV5，用于检测乳房x光片中的乳房肿块，并提供了特定裁剪的局部图像，用于后期的分割分析。
模型充分利用了ViT在考虑远程依赖关系方面的优势。模型的LOGO结构不仅大大提高了原始像素级的分割分辨率，而且保持了分割结果在原始图像中的位置精度。

2. 材料与方法

2.1 乳房x光检查数据集

两个乳房x线照片数据集，DDSM的乳腺成像子集(CBIS-DDSM)[29-31]和INBreast数据集[32](表1)，被用来训练和测试我们的质量检测和分割模型。两个数据集均由多对扫描乳房x光片图像(图1(a))及其相应的乳腺肿块二值分割图像(图1(b))组成。CBIS-DDSM有其标准化的训练-测试分割，如表1所示。使用CBIS-DDSM数据集的训练部分作为质量检测和质量分割的训练集，并使用CBIS-DDSM的一半测试数据进行验证。为了测试我们模型的可靠性和通用性，在INBreast数据集和CBIS-DDSM的另一半测试数据上计算了它的性能。应该注意的是，两个来源中的每个图像可能有一个或多个乳房肿块。

2.2 数据预处理

DICOM(医学数字成像和通信)是一种特殊的医学图像文件格式，包含许多详细的临床信息。为了使目标检测模型和分割模型能够直接读取图像，将DICOM格式转换为PNG格式。在原始图像中发现了额外的信号，这些信号对人类阅读有用，但可能会干扰计算机处理，例如原始乳房x线摄影图像右上角的文本标记(图1(a))。为了去除这种非信息噪声并保持尺寸和/或方向风格的一致性，使用自适应去噪算法对所有图像进行预处理(图1)。首先进行了自适应裁剪，从原始图像的顶部和底部裁剪2.5%。然后对图像进行特定阈值的二值化，然后使用Python包scikitimage[33]在二值化后的图像中选择最大的连通区域生成自适应掩码。只有在这个自适应掩模内的像素被保留以供进一步处理。

        在二值化后的图像中，提到的“连通区域”指的是在一个二值图像中，所有具有相同像素值（通常为黑色或白色）且相邻的像素构成的连通区域。其中，相邻的像素指的是在图像中上下、左右或对角线方向上相邻的像素。

        在计算机视觉和图像处理中，通过对图像进行连通域分析，可以对图像进行物体检测、目标跟踪、图像分割等操作。在二值化后的图像中选择最大的连通区域生成自适应掩码，通常是为了进一步处理或分析图像中的特定对象或区域。

        需要注意的是，连通域分析通常涉及二值化、连通域标记和连通域处理等步骤。在二值化过程中，将非二值图像转化为二值图像，然后识别出连通区域。最后，可以通过比较各连通区域的大小、形状等特征，选择最大的连通区域生成自适应掩码。

有些图像的自适应掩码在相反的一侧(即，最大的连接区域可以出现在原始图像的左侧或右侧)。为了使这一点一致，翻转了一些图像，使自适应掩码始终在左侧，一旦图像被翻转，这个信息就会被记录下来，它对应的分割掩码也会被翻转。翻转后，采用对比度限制自适应直方图均衡化(CLAHE)提高图像对比度。CLAHE是一种成熟的图像处理算法，已被证明具有有利于乳房x光检测任务的能力[34]。最后，通过自适应填充将处理后的图像缩放到默认大小。确保裁剪、翻转和填充都是基于图像大小来操作的。由于在输入阶段图像和掩码的大小是相同的，保证自适应操作不会破坏原有的标记质量分割。因此，预处理算法保证了成像处理前后掩模和乳房x光图像的一致性。整个处理过程是自动的，有两个指定的超参数要设置:图像二值化的阈值和成像裁剪的比例。做了简单的统计，发现在我们90%以上的乳房x光片中，乳房体边界与图像边界之间的差距小于2.5%。因此，成像裁剪比例设置为2.5%。预处理后的图像作为我们提出的YOLO-LOGO质量检测和分割模型的输入。

2.3 用于乳腺肿块检测和分割的YOLO-LOGO模型

所提出的用于数字乳房x线照片中乳房肿块检测和分割的YOLO-LOGO变压器模型的整体架构如图2(a)所示。它包括两个步骤:首先，使用YoloV5检测乳房肿块的ROI，然后直接从高分辨率图像中裁剪(图2(b));其次，为了提高训练效率，采用了更新版本的local-global (LOGO)分割策略，可以大大提高原始像素级的分割分辨率(图2(a))。

2.3.1 YOLO: 乳腺肿块检测的结构和方法

与传统的多目标检测任务不同，我们的目标仅是乳房肿块(即单类目标检测)。因此，不需要对检测到的对象进行分类。在乳房肿块检测阶段，采用了计算机视觉中最先进的目标检测模型YoloV5L6作为检测器(图2(b))。YOLO是一个经典的目标检测模型，YoloV5L6是它的第5个版本。YoloV5L6在其架构中包含三个主要子结构:主干、颈部和预测。主干用于从输入数据中提取特征。YoloV5L6使用跨阶段部分网络(Cross Stage Partial Networks, CSP)[35]作为主干。然后将提取的图像特征传递给模型颈部，用于生成特征金字塔，以便模型可以检测不同大小和尺度的同一物体。YoloV5L6采用路径聚合网络(Path Aggregation Network, PANet)[36]作为模型颈部。然后将PANet生成的特征金字塔传递到模型头部生成最终输出。

使用从掩模图像中自动提取的放大的边界矩形作为YoloV5L6目标检测的真实ROI。在数学上，这些矩形标签以数值形式存储在文档中。如果在ground truth中有n个乳腺肿块，则在标签文件中会有n条线，每条线代表一个肿块的位置和大小信息:中心点的相对坐标X和Y，相对宽度(W)和相对高度(H)。它们的数学定义如下

$relative\: coordinate X= \frac x{image\, \: width}$

$relative\: coordinate\: Y= \frac x{image\, \: width}$

$relative\; height\; H= \frac {mass\; height}{image\; height}$

$relative\; height\; W= \frac {mass\; width}{image\; width}$

其中x和y分别是质心的坐标。肿块宽度和肿块高度由乳房肿块测量。在ROI标签准备好后，进一步进行图像增强，包括图像旋转、缩放、水平翻转、垂直翻转、裁剪和混合，以扩大YoloV5L6训练每个输入数据。使用CBIS-DDSM训练数据1000次后，YoloV5L6 ROI检测模型的损失趋于稳定并收敛到一个较小的值。当应用训练好的肿块检测模型识别未标记乳房x光片中的乳房肿块时，其输出是肿块在原始图像中的位置和大小，并带有置信度分数。置信度越高，越有可能是质量。关于YoloV5L6的更多细节可以在其原始论文[25,26]中找到。

2.3.2 LOGO:乳房质量分割的架构和方法

借鉴MedT[16]的门控轴向注意机制和LOGO训练策略来实现这一点。正如在引言中简要提到的，门控轴向注意机制的发展是为了在样本量不够大(医学成像领域经常出现这种情况)和计算资源有限的情况下更容易被接受。门控轴向注意可以看作是自注意的一种变体或扩展，通过添加门来控制信息流，并将注意本身分解为两个轴(高度和宽度)以节省计算成本。原ViT中提出的自我注意机制可以表述如下: $o_{ij}=\sum_{h=1}^{H}\sum_{w=1}^{W}softmax\big(x_{ij}^{T}M_{q}^{T}M_{k}x_{hw}\big)M_{v}x_{hw}$

其中， $o\in R^{D_{out}\times H\times W}$ 是自注意力层的输出。 H、W、D分别对应输入特征映射 $x\in R^{D_{in}\times H\times W}$ 的高度、宽度和维度。x和o是高维矩阵， $M\in R^{D_{in}\times D_{out}}$ 表示可学习的投影矩阵。 $i,j\in N\; \; \; and\; \; \; i\in[1,H],j\in [1,W]$ 表示输入特征映射x的坐标。

自注意力层可以从整个输入特征映射中捕获非局部信息。因此，它是计算成本训练。为了降低计算复杂度，提出了轴向注意将自注意分解为两部分[37]。第一部分计算特征图高度轴上的自关注，第二部分计算特征图宽度轴上的自关注。

$o_{ij}^{H}=\sum_{h=1}^{H}softmax\Big(x_{ij}^{T}M_{q}^{T}M_{k}x_{hj}+x_{ij}^{T}M_{q}^{T}r_{hj}^{q}+M_{k}^{T}x_{hj}r_{hj}^{k}\Big)(M_{v}x_{hj}+ r_{hj}^{\nu})$

$o_{ij}^W=\sum_{w=1}^Wsoftmax\big(x_{ij}^TM_q^TM_kx_{iw}+x_{ij}^TM_q^Tr_{iw}^q+M_k^Tx_{iw}r_{iw}^k\big)(M_vx_{iw}+ r_{iw}^\nu)$

其中 $r^q$ 、 $r^k$ 和 $r^v$ 是查询、键和值的相对位置编码的可学习权矩阵。这些相对位置编码通常需要大数据来训练。然而，医学图像数据集通常样本量不大，由于学习到的相对位置编码不准确，会影响模型的性能。因此，在医学图像数据分析的情况下，最好不要总是将学习到的相对位置编码添加到最终输出中。根据这一思路，可以在高度轴向注意(Eq.(8))和宽度轴向注意(Eq.(9))的查询、键和值中添加gate机制来控制信息流。

$\begin{aligned}o_{ij}^{H}&=\sum_{h=1}^{H}softmax\Big(x_{ij}^{T}M_{q}^{T}M_{k}x_{hj}+G_{q}x_{ij}^{T}M_{q}^{T}r_{hj}^{q}+G_{k}M_{k}^{T}x_{hj}r_{hj}^{k}\Big)\\&\times\left(G_{\nu1}M_{\nu}x_{hj}+G_{\nu2}r_{hj}^{\nu}\right)\end{aligned}$

$\begin{aligned}o_{ij}^{W}&=\sum_{w=1}^{W}softmax\big(x_{ij}^{T}M_{q}^{T}M_{k}x_{iw}+G_{q}x_{ij}^{T}M_{q}^{T}r_{iw}^{q}+G_{k}x_{iw}^{T}M_{k}^{T}r_{iw}^{k}\big)\\&\times\left(G_{v1}M_{v}x_{iw}+G_{v2}r_{iw}^{v}\right)\end{aligned}$

Gq, Gk, Gv1, Gv2是可学习的门参数，用来控制学习到的相对位置码到最终输出的传递

上一步YoloV5L6模型检测到的ROI是乳房肿块的局部视图，可以提供乳房肿块的放大细节，而整个图像可以提供远距离的非局部上下文。ROI和整体图像对于获得良好的分割性能都很重要。使用LOGO架构来利用ROI和整个图像作为最终的分割结果。LOGO架构有两个分支，本地分支和全局分支(图2B)。乳房肿块检测完成后，可以从YoloV5L6的输出中得到肿块的相对坐标和大小。然后从高分辨率原始图像中裁剪质量的区域。裁剪后的图像保留了尽可能多的局部上下文的详细信息，从而在该局部分支中生成更精细的分割结果。同时，使用预处理后分辨率降低(128 × 128)的乳腺x线图像作为全局分割分支的输入。这是为了保持最终分割结果的位置准确性。总支路和局部支路均由相同数量的门控轴向Transformer层组成。局部和全局并行分割后，严格遵守坐标和尺寸信息，将生成的局部分割注入到生成的全局分割中。为完整的乳房x线摄影图像生成最终的质量分割结果。

2.4 基线和性能指标

对于乳腺肿块检测，将所提出的YOLO模型的性能与几种目标检测基线进行了比较，如Faster Region-based CNN (R-CNN)[38-40]、Single Shot Detector (SSD)[41,13]和其他YOLO版本[23,42-44]。这些是有代表性的目标检测模型。Faster R-CNN通过一种称为选择性搜索的方法来解决目标检测问题，这种方法减少了传统目标检测模型中滑动窗口带来的计算量。它已被证明在基于乳房x光片的乳房肿块检测中具有良好的性能[45]。SSD在不同的尺度上运行卷积，每个尺度可以输出不同大小的检测边界框。这些模型的性能也在前人的著作中进行了讨论和比较[23]。使用真阳性率(TPR)[46]和平均平均精度(mAP)[47]来评估性能。

MedT提出了一种门控轴向变压器模型结构，该模型由卷积层和具有局部和全局分支的门控轴向关注层组成，但不进行YOLO检测[16]。门控轴向网仅由门控轴向关注层组成[37]。为了评估局部-全局设计对模型性能的影响，以局部方式和全局方式应用了门控轴向网络:门控轴向网络(global)仅基于整个图像。门控轴向网(局部)仅基于YOLO检测到的roi。使用f1分数和IoU(也称为Jaccard指数)评估和比较了他们的表现，

2.5 YOLO-LOGO模型的敏感性分析

在CBIS-DDSM测试集和INBreast数据集上研究了图像分辨率和增强对所提出的YOLO-LOGO模型性能的潜在影响。对于数据扩充，使用ThambawitaVajira等人[48]开发的参数模型将数据大小增加到原来的两倍。对于分辨率，考虑了有和没有数据增强的64×64、128×128和256×256的分辨率大小。

3. 结果

3.1 数据预处理

图3(a)中所示，原始乳房x线摄影图像通常包含一些不相关的信息，这些信息在图3(b)中已被删除。还需要注意的是，文件格式从DICOM更改为JPEG，这将文件大小减少了90%，同时保留了图像的细节。经过预处理，得到了统一尺寸为4096 × 4096的增强JPEG图像。值得注意的是，对研究中使用的两个数据集(CBIS-DDSM和INBreast)采用了相同的自动自适应程序。

(a):一个原始图像的例子。

(b):采用自适应去噪算法对(a)进行预处理后的图像。

(c):在(b)预处理后的二值掩模图像上创建质量区域(s)的边界矩形(s)。

(d):将大小相同的矩形(s)定位在(b)的相同位置，这就形成了训练YoloV5L6的ground truth label.

3.2 基于yolo的乳腺肿块检测

训练并测试了YoloV3和YoloV5的几个变体，它们在两个数据集上的乳腺肿块检测性能如表3所示。在YoloV5第6次更新中，YoloV5s6、YoloV5m6、YoloV5L6能够以1280 × 1280的更高分辨率处理输入图像。尽管包含了最多的可训练参数(77 M)， YoloV5L6在两个数据集上都取得了最好的mAP性能。因此，我们选择它作为乳腺肿块检测模型。

图4的第一行显示了带有检测到的边界框和置信度分数的YoloV5L6输出的五个示例。它们的基础真值标签显示在图4第二行相应的列中。图4(a) - (c)为3个置信度为0.9的成功案例。与图4(f) - (h)的地面真值相比，边界框的位置正确，边界框的大小与地面真值标签大致一致。图4(d)显示了检测到的ROI边界框，置信度评分仅为0.4。虽然检测到的边界框与其真实值相比似乎是正确的(图4(i))，但模型对预测没有置信度。这可能是由于乳腺组织的高密度和乳腺本身的小面积。图4(e)显示了由于置信度得分低于指定阈值0.4，模型无法输出边界框的失败情况。可能是因为乳腺肿块太小且隐藏在正常乳腺组织中。在接下来的分割阶段，像这样没有对象检测输出的图像直接用作全局分支的输入。相应地，这种分割的结果不需要输液(因为在这种情况下不会有局部分支)。

本研究以SSD和Faster R-CNN作为乳腺肿块检测模型的基线。图5(a)在示例图像上显示了其乳房肿块检测结果。虽然检测到的ROI与地真ROI之间存在一定的差异。对于边界框的大小，YoloV5L6获得了最高的置信度得分和准确的ROI位置。将基线模型的性能指标与图5(b)中YoloV3和YoloV5的最佳变体进行比较。

3.3 基于YOLO-LOGO的乳房肿块分割

本研究采用门控轴向网和MedT作为乳房分割模型YOLO-LOGO的基线。图6(a)显示了两个示例分割。与门控轴向网和MedT相比，所提出的YOLO-LOGO能更好地保留乳腺肿块的形状和位置信息。在第一种情况下(第一排)，门控轴向网错误地预测了乳房肿块的位置(低于地面真实值，左上角的一块额外的肿块被预测为肿块，尽管它不是)。在第二种情况下(第二行)，尽管门控轴向网和MedT正确地预测了肿块的位置，但它们的分割效果不如YOLO-LOGO，因为它们往往低估了肿块的面积。F1和IoU指标如图6(b)所示。YOLO-LOGO在这两个数据集上的表现都优于以往的工作，并且也保持了局部分辨率。

4. 讨论

使用了一种自动自适应去噪图像预处理框架来处理乳房x线摄影数据。提出了最先进的目标检测模型YoloV5L6，用于乳腺肿块的检测。总体而言，所提出的YOLO-LOGO模型在乳房x线摄影对乳腺肿块的分割方面优于其他基线。

在CBIS-DDSM测试集和INBreast数据集上研究了图像分辨率和增强对所提出的YOLO-LOGO模型性能的潜在影响。如表4所示，当图像分辨率为128×128而不增强时，模型在CBIS-DDSM测试集上获得最佳F1分数(74.52)，第三最佳IoU分数(64.04)，在INBreast数据集上获得第二最佳F1分数(69.37)，第二最佳IoU分数(61.09)。总体而言，使用分辨率为128 * 128的数据集而不进行增强，获得了最佳性能。虽然在假设训练数据和测试数据来自同一分布的情况下，预计增强可能会提高模型的性能，但是研究样本量相对较小，这可能不能代表训练集的分布。因此，应用的增强技术没有显示出预期的性能。因此，为了平衡计算成本和模型性能，决定将所提出的YOLO-LOGO模型的图像分辨率设为不增强的128×128。

与Yan等人提出的两阶段模型(每张图像只能输出一个乳腺肿块)不同，为我们的YOLO-LOGO分割模型设置了一个阈值。那些置信度分数高于该阈值的检测到的roi将被识别为输出中的肿块。因此，它不局限于每个图像只有一个肿块。因此，对于某些图像，检测到的ROI可能为0。在这种情况下，整个图像将被输入到我们的YOLO-LOGO模型的全局分支中，而局部分支为空，这意味着最终的分割结果将只依赖于全局分支处理的整个图像。由于乳腺肿块体积小，组织密度高，容易被检测模型遗漏，这使得我们的模型更加灵活，适用于乳腺x线摄影数据。

分别对基于YoloV5L6的乳腺肿块检测模型和基于门控轴向变压器加LOGO训练策略的分割模型进行了训练。因此，在未来可以考虑将它们的损失函数合并为一个，使系统端到端。尽管我们提出的模型和本研究中使用的基线模型在相同的训练集、验证集和测试集上进行了训练、验证和测试，但在将我们的模型的性能与其他使用相同的CBIS-DDSM数据但未包括在我们的基线中的已发表作品进行比较时需要谨慎。因为我们没有使用CBIS-DDSM提供的测试集。相反，将原始测试集分为测试集和验证集。验证集对于模型中超参数的微调至关重要。由于INbreast数据是全局数字乳房x线摄影，而CBIS-DDSM是扫描胶片，因此它们可能是使用不同的成像方式获得的。模型仅在CBIS-DDSM数据上进行训练，INBreast(作为一个独立的数据集)作为额外的测试集来评估模型的通用性。我们的模型在CBIS-DDSM测试集上的性能优于INBreast测试集，这可能部分是由于采集模式的差异。