论文：Squeeze-and-Excitation Networks
  论文链接：Squeeze-and-Excitation Networks
  代码链接：Github

1.介绍

  卷积算子使网络能够在每一层的局部感受野中融合空间（spatial）和通道（channel）信息来构造信息特征。本文将重点放在通道（channel）关系上，提出SE（Squeeze-and-Excitation Block）模块，其显式建模通道之间的相互依赖性，自适应的重新校准通道方向上的特征响应，来提高所提取特征的质量。将SE模块堆叠在一起，就形成了SENet（Squeeze-and-Excitation Networks）。
  通俗来说，SENet的核心在于通过网络根据损失函数学习特征权重，使得特征图中有效通道的权重变大，无效或效果小的通道权重变小的方式训练模型达到更好的结果。而SE（Squeeze-and-Excitation Block）模块是一个子结构，可嵌入其他模型当中。

2.原理

  给定输入$x$，其经一系列卷积操作（定义为$F_{tr}(\cdot ;\theta )$）后得到通道数为$c_w$的特征，其形状为$(C,H,W)$。 之后通过三种运算来实现SE模块的功能：
【1.$Squeeze$操作】
  卷积核只能关注到局部感受野的空间信息，感受野区域之外的信息无法利用，这使得输出特征图就很难获得足够的信息来提取通道之间的关系。$Squeeze$操作，定义为$F_{sq}(\cdot )$，顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。这一操作通过全局平均池化实现：
$$F_{sq}(c_2)=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W{c}_2(i,j)$$
特征图经过$F_{sq}()$运算后得到全局统计向量，形状为$(1,1,c_2)$。此时一个像素值代表一个通道，从而屏蔽掉空间上的分布信息，更好的利用通道间的相关性。

【2.$Excitation$操作】
  $Excitation$操作，定义为$F_{ex}(\cdot ;w)$，用于捕获通道之间的依赖关系。这里使用了神经网络的门机制，即使用两个全连接层+两个激活函数组成的结构输出和输入与特征同样数目的权重值，也就是每个特征通道的权重系数。并且，为了限制模型复杂度和辅助泛化，在构造全连接层时对通道$c_2$进行了降维处理，降维比例为$r$。计算公式：

其中，$W_1\in R^{\frac{C}{r}}\times C，W_2\in R^{\frac{C}{r}}\times C$，两个激活函数依次为$ReLU、sigmoid$。原理图：

【3.$Scale$操作】
  $Scale$操作定义为$F_{scale}(\cdot ,\cdot )$，用于将前面得到的注意力权重加权到每个通道的特征上。论文中通过逐通道乘以权重系数，即在在通道维度上引入attention机制来实现。如下图所示：

不同颜色代表不同通道的重要程度。

3.代码

import torch.nn as nn

class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
    #channel:输入通道数;reduction:缩减比率
        super(SELayer, self).__init__()
        #1.Squeeze
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        #2.Excitation
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        #3.Scale
        return x * y.expand_as(x)

4.SE模块的应用

  例如，可将SE模块集成在残差块中：

以此形成集成后的ResNet网络：