乳腺成像在早期发现乳腺癌以及在治疗期间监测和评估乳腺癌方面发挥着重要作用。最常用的乳腺成像方式是数字乳房X线摄影、数字乳腺断层合成、超声和磁共振成像。

传统的 CAD 系统基于传统的机器学习 (ML) 技术；预定义（手工制作）的特征是系统的输入。

1. 乳房成像方式简介

通常，乳房成像是使用数字乳房X线摄影（DM）、数字乳房断层合成（DBT）、超声（US）、磁共振成像（MRI）或上述的组合来进行。在 DM 中，X 射线穿过乳房并由数字 X 射线探测器收集，创建乳房的二维 (2D) 图像。然而，它存在组织叠加的问题。特别是在致密乳房（纤维腺体组织密度较高的乳房）中，纤维腺体组织掩盖病变的机会很高。

在 DBT 中，从稍微不同的位置进行多次 X 射线扫描，从而产生与 DM 相比叠加效应减少的（部分）断层扫描图像。 DBT 的一个缺点是其解释更加困难，导致阅读时间增加。

进行超声检查时，声波通过乳房发送，同时检测到反向散射波。根据检测到的波，构建超声图像。超声图像是实时显示的，这意味着超声手术需要由放射科医生执行并直接评估。然而，用超声波记录整个乳房是很困难的。此外，与 DBT 和 DM 相比，US 图像可能难以解释，并且频繁检测良性乳腺病变会导致许多不必要的活检。

MRI 使用强磁场和短脉冲无线电波来激发乳房/人体特定位置内的水分子，这些水分子在回到基态时会自行发射无线电波。这些无线电波被检测到并转化为 3D MRI 扫描。与 DM、DBT 和 US 相比，MRI 是乳腺癌最敏感的检查方式。乳腺 MRI 需要静脉注射造影剂，是一种相对昂贵的方法。

2. 人工智能和深度学习

输入到机器学习程序中的数据可以以两种形式表示：特征或原始数据。特征是数据中可以量化的变量，例如病变长度，而乳腺癌成像中的原始数据是 DM/US/MRI 扫描。

如果输入是原始数据，则算法需要自己查找特征。这些学习到的特征通常会比使用手工特征获得更好的性能。

 一名 45 岁女性的数字乳房 X 线摄影、超声和磁共振扫描，左乳房患有浸润性导管癌（如红色箭头所示）。左：数字乳房X光检查，中：超声波，右：磁共振。

在分割/检测的情况下，并交比（IoU）和 Dice 相似系数 (DSC) 主要用作度量，这两个指标都用于衡量两个样本之间的空间重叠程度。检测任务的目标是尽可能小地绘制一个边界框来包围目标对象（如恶性病变），IoU和 DSC 得分在这种情况下表示的是 真实边界框 与 模型预测的边界框 之间的空间重叠程度。理想情况下，预测边界框应该紧密地贴合真实边界框，从而得到较高的IoU或DSC得分。

3. 数字乳房X线摄影（DM）和数字乳房断层合成（DBT）

候选病变（也称为感兴趣区域 (ROI)）首先是手动从整个 DM 或 DBT 扫描中提取的或者使用传统的 CAD 方法。首先使用先前开发的乳腺 X 线病变算法直接从图像块中提取特征，并使用随机森林分类器来选择候选者。

上图：首先通过手动或传统方法选择感兴趣区域 (ROI)，然后深度学习模型对 ROI 进行分类。下图：DL 模型直接对乳房 X 光照片进行分类，无需预先选择 ROI。

为了充分利用深度学习，将 CAD 系统的输入从包含可疑区域的小补丁更改为使用完整的 DM 和 DBT 扫描。                直接在乳房 X 光照片上使用 DL 而不是可疑病变斑块是有益的。

为了对恶性肿瘤做出深思熟虑的决定，放射科医生不仅使用包含可疑病变的乳房图像，还查看双边差异（左右乳房之间的差异）和时间差异（上次和之前扫描之间的差异）。

由于数字化屏幕胶片乳房 X 光检查 (SFM)、DM 扫描和 DBT 扫描之间存在很大相似性，因此可以结合这些模式对 DCNN 进行训练，从而创建更大的数据集并产生性能更好的 CAD。

除了检测和分类之外，在过去几年中，人工智能还被用于开发更准确的风险预测模型。过去大多数风险预测模型都基于乳房 X 光密度等，但这些模型使用实际的乳房X光检查可以估计患者将来是否会患上癌症。

生成对抗网络（GAN），如果训练得当，它可以生成与训练集中的图像具有相似分布的新图像。例如，GAN 现在用于乳腺癌成像，通过 DBT 扫描生成合成数字乳房 X 光照片 (SDM)，以减少辐射剂量或检测很难提取有效特征的非常小的微钙化。

4. 超声图像

超声图像 的数据集通常小于 DM 集，这主要是因为 超声图像 没有广泛用于筛选目的。除了迁移学习之外，提高小数据集性能的一种众所周知的其他或补充方法是数据增强。数据增强是通过旋转、翻转、移动等方式从现有数据创建“额外”数据的过程。

在纵向上执行图像旋转或移位可能会改变乳腺肿块的已知属性，从而导致分类性能的潜在下降。这是因为“高大于宽”（即垂直方向）的病变比“宽大于高”的病变更容易发生恶性。

放射科医生不会将可疑病变分为良性和恶性，而是使用乳腺影像报告和数据系统 (BI-RADS) 对病变进行分类。

在超声图像中，除了病变分类，深度学习还用于病变检测。为了进行检测，相关图像被输入 CAD 系统，随后确定病变是否存在。可以使用常规超声图像或 3D 自动乳房超声扫描 来完成。后者的优势在于可以标准地捕捉整个乳房。

在观察到乳房中的可疑病变后，放射科医生通常会通过超声成像检查腋窝淋巴结是否有转移。

5. 磁共振成像

DM、DBT 和 US 生成 2D 图像，而 MRI 创建 3D 扫描。此外，还可以观察随时间变化的 MRI 序列，例如造影剂的流入或流出（动态对比增强 (DCE) MRI），进一步将维度扩展到 4D。在这些 3D 或 4D MRI 扫描中使用医学界之外创建的 DL 模型时可能会出现问题，因为大多数模型都是为在 2D 图像上运行而开发的。

最常用的方法是将 3D 图像转换为 2D 图像，从而可以使用标准 2D DL 模型。这可以通过将 3D MRI 图像划分为 2D 切片或使用最大强度投影 (MIP) 来完成。然而，许多标准深度学习模型是针对彩色图像开发的，例如具有红、绿、蓝 (RGB) 3 通道的图像。这意味着这些模型的输入是 3D 图像，其中第三维由 3 个颜色通道创建。由于 MRI 扫描是灰度图像，它们仅包含 1 个颜色通道，因此 3 个切片或 MIP 可以用作 1 个输入图像。这使得获得具有 3 个连续切片的半 3D MRI 输入图像，或在 1 个输入图像中包含多个对比后切片或 MIP 成为可能。其他方法包括使用实际的 3D MRI 扫描并修改现有的 2D DL 模型来处理 3D 数据，或者使用专门设计用于处理 3D 数据的模型（例如 DenseNet）。