本文内容：在不同位置添加TripletAttention注意力机制

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

---

论文简介

由于注意机制具有在通道或空间位置之间建立相互依赖关系的能力，近年来在各种计算机视觉任务中得到了广泛的研究和应用。在本文中，我们研究了轻量级但有效的注意机制，并提出了三重注意，这是一种利用三分支结构捕获跨维交互来计算注意权重的新方法。对于输入张量，三元组注意力通过旋转操作建立维度间依赖关系，然后进行残差变换，并以可忽略不计的计算开销对通道间和空间信息进行编码。我们的方法简单高效，可以作为附加模块轻松插入经典骨干网。我们证明了我们的方法在各种具有挑战性的任务上的有效性，包括在ImageNet-1k上的图像分类和在MSCOCO和PASCAL VOC数据集上的目标检测。此外，我们通过视觉检查GradCAM和GradCAM++结果，提供了对三重注意力性能的广泛洞察。对我们方法的经验评估支持了我们在计算注意力权重时捕获跨维度依赖关系的重要性的直觉