Multi-view Local Co-occurrence and Global Consistency Learning Improve Mammogram Classification Generalisation

摘要

背景
在分析筛查乳房X光照片时，放射科医生可以自然地处理每个乳房的两个同侧视图的信息，即头-尾（CC）视图和中-斜（MLO）视图。
这些多个相关图像提供了互补的诊断信息，并且可以提高放射科医生的分类准确性。不幸的是，大多数现有的用全局标记图像训练的深度学习系统缺乏从这些多个视图联合分析和集成全局和局部信息的能力。通过忽略放映集的多张图像中存在的潜在有价值的信息，限制了这些系统的潜在准确性。
本文方法
提出了一种新的多视图全局-局部分析方法，该方法模仿放射科医生的阅读程序，基于乳房X光照片中同侧视图的全局一致性学习和局部共现学习。

本文方法

BRAIxMVCCL获取两个乳房X光照片视图（主视图和辅助视图），并使用骨干模型来提取主特征和辅助特征um和ua
主要组成部分是：

1. 全局一致性模块，该模块学习从辅助视图到主视图的投影，然后将主特征和投影的辅助特征组合以产生全局表示；
2. 局部共现模块，其对两个视图之间的局部语义关系进行建模以产生局部表示
3. 局部和全局表示的融合以输出预测~y。G A P代表全局平均池化，MLP代表多层感知。

参数优化公式：

global consistency module

将一个视图映射到另一个视图的维度

都上有~符号的是另一个视图映射过来的

local co-occurrence module (LCM)

相当于将图像分为多个patch，然后计算注意力

实验结果