Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution

摘要

超分辨率医学图像可以帮助医生提供更准确的诊断。在许多情况下，计算机断层扫描(CT)或磁共振成像(MRI)技术在一次检查中捕获多个扫描(模式)，这些扫描(模式)可以联合使用(以多模式方式)以进一步提高超分辨率结果的质量。
本文方法

1. 提出了一种新的多模态多头卷积注意模块来超分辨CT和MRI扫描
2. 注意力模块使用卷积运算对多个连接的输入张量执行联合空间通道注意，其中核(接受场)大小分别控制空间注意的减少率，卷积滤波器的数量分别控制通道注意的减少率。
3. 引入了多个注意头，每个头都有一个不同的接受野大小，对应于空间注意的特定减少率。
4. 将多模态多头卷积注意(MMHCA)集成到两个超分辨率深度神经架构中
5. 在三个数据集上进行了实验。我们的实证结果表明，我们的注意模块优于超分辨率中使用的最先进的注意机制。此外，我们进行了消融研究，以评估我们的注意力模块中涉及的组件的影响，例如输入的数量或头部的数量。
   代码地址

本文方法

本文的多模态多头部卷积注意模块(MMHCA)具有h个头部，集成到一些超分辨率的神经结构中。输入的低分辨率(LR)图像的不同对比度被处理独立的分支和结果张量被连接。连接的张量作为输入提供给每个注意头。每个注意头应用conv和deconv操作，使用各自头特有的内核大小。所得到的张量被求和并通过一个s型层。最后，将注意张量(逐元素)与连接张量相乘，网络对结果进行进一步处理，得到高分辨率(HR)图像。

实验结果