注意力机制
(具有自适应性)
18年提出的一种新的 卷积注意力模块 ;对前馈卷积神经网络 是一个 简单而有效的 注意力模块 ;
因为它的 轻量级和通用性 ,可以 无缝集成到任何CNN网络 当中,
对我们来讲,只要涉及到卷积操作,就可以插入注意力机制试一试效果
1.通道注意力 Channel Attention,告诉网络自适应的更加关注通道的高语义特征,例如点特征,线特征,面特征,明暗特征,
2.空间注意力机制 Spatial Attention,告诉网络更加关注物体在空间中所处于的一个位置(在每一层通道中)
3.时间注意力机制 Temporal Attention,
4.分支注意力机制 Branch Attention,
最后还有两种混合注意力机制:
通道&空间注意力机制 和 空间&时间注意力机制。