Computer-Aided Tuberculosis Diagnosis with Attribute Reasoning Assistance

摘要

本文首先提出了一种新的大规模结核胸片数据集，即结核胸片属性数据集(TBX-Att)，然后利用属性信息建立属性辅助弱监督框架对结核进行分类和定位，克服了WSL场景下监督的不足。具体来说，首先，TBX-Att数据集包含2000张x射线图像，具有7种TB关系推理属性，由经验丰富的放射科医生注释。它还包括包含11200张x射线图像的公共TBX11K数据集，以促进弱监督检测。其次，利用属性关系推理建立了TB区域分类检测的多尺度特征交互模型。提出的模型在TBXAtt数据集上进行了评估，并将作为未来研究的坚实基线。
代码链接

方法

在这里插入图片描述
主要包括三个部分:
(1)利用特征金字塔网络提取多尺度结核特征图
(2)属性分类器，利用属性监督信息生成多尺度属性特征图
(3)特征交互模块采用属性特征映射建立属性提示，获得更具代表性的肺结核特征表示。
与原来用于目标检测的特征金字塔网络相比，增加了一个分支，生成相应的多尺度特征进行属性分类，可以提示指导提取有代表性的特征进行检测

Attribute Feature Representation

在这里插入图片描述
检测分支利用多尺度特征生成前景检测结果。用于特征表示抽象的主干网通常会生成多尺度特征。具体来说，对于ResNets，我们使用每个阶段最后一个残差块的特征激活输出。我们将这些块的输出表示为{C2, C3, C4, C5}，它们相对于输入图像的步长为{4,8,16,32}像素。相应地，我们的方法构建了如图2所示的多尺度属性特征，用于下一节描述的分类任务和特征交互。

Feature Interaction

在这里插入图片描述
给定输入X = {F1, F2，…， FNa}来自属性特征映射的第i尺度，注意模块通过隐式挖掘Na类属性之间的关系来再现更具代表性的特征。
为了构建注意力模块，连接Fi通道，然后线性投影得到与Fi具有相同通道维数的Y

如图3(a)所示，注意模块取{Fi, i = 1，…， Na} 作为查询并使用Y生成键和值嵌入

给定属性特征{Fi, i = 1，…， Na}和TB特征Ftb，我们期望设计一个属性和TB关注模块(AT-Attn)来增强具有属性提示的TB表示。首先利用属性特征与TB特征的相似性，对属性特征进行重新聚合得到X;具体来说，通过GAP运算，再进行线性投影，得到属性向量{Ai, i = 1，…， Na}和TB向量B，相似度得分si由Ai·B计算，注意力模块以X为查询，使用Ftb生成键嵌入和值嵌入。最后得到AT-attn的输出如下:
在这里插入图片描述
损失函数为