TabAttention: Learning Attention Conditionally on Tabular Data

摘要

医疗数据分析通常结合成像数据和表格数据处理，使用机器学习算法。尽管先前的研究探讨了注意力机制对深度学习模型的影响，但很少有研究将注意力模块与表格数据相结合。本文介绍了一种名为TabAttention的新模块，该模块通过在卷积神经网络（CNNs）中引入条件性训练的注意力机制来提升模型性能。具体来说，研究者将卷积块注意力模块扩展到3D，通过添加时间注意力模块，利用多头自注意力机制来学习注意力图。此外，他们通过整合表格数据嵌入来增强所有注意力模块。

该方法在胎儿体重（FBW）估计任务中得到了验证，使用了92个胎儿腹部超声视频扫描和胎儿生物测量数据。结果表明，TabAttention在FBW预测上优于临床医生和依赖表格数据和/或成像数据的现有方法。这种新颖的方法有潜力在结合成像和表格数据的各种临床工作流程中改善计算机辅助诊断。研究者提供了将TabAttention集成到CNNs中的源码，地址为：
代码地址

方法

图1. 提出了受CBAM启发的TabAttention模块概览。在现有架构中添加了时间注意力模块，以扩展方法至3D数据处理。在设置中，通道、空间和时间注意力图在表格数据的条件下进行训练。⊗表示元素级乘法。

图2. TabAttention组件的详细信息：CAM（a）、SAM（b）和TAM（c）与表格嵌入。在TAM中，只显示了一个注意力头。TabAttention与残差块集成，如（d）所示。 ⊗ 表示矩阵乘法。

实验结果