一、GAM-Attention注意力机制简介
GAM全称:Global Attention Mechanism
。它被推出的时候有一个响亮的口号叫做:超越CBAM,不计成本地提高精度。由此可见,它的主要作用是为了目标检测精度的提高。
但是,大家都明白,具体效果怎么样,还得看具体的任务,我浅浅地试了一下,这个注意力机制在小目标检测任务中表现还是可以的
,如果你有这方面的需求,可以尝试一下增加GAM注意力机制。
上一篇文章中说,通道注意力与空间注意力被广泛地应用在视觉任务中,CBAM注意力机制
就是融合了两者。无独有偶,GAM注意力机制
也采用了通道注意力+空间注意力
的框架。不同的是,GAM注意力机制
的作者提出了一种全局吸引机制
,这种机制是通过在减少信息约简的同时放大全局交互表示来提高深度神经网络的性能。
因为作者认为以往的注意力方法都忽略了通道与空间的相互作用,丢失了跨维信息
。考虑到跨维度信息的重要性,并放大跨维度的交互作用,GAM就应运而生
。
GAM注意力机制
的模型结构图如下图所示: