文章地址：《RepVGG: Making VGG-style ConvNets Great Again》

代码地址：https://github.com/megvii-model/RepVGG

文章发表于CVPR2021，文章提出一种将训练态和推断态网络结构解耦的方法。文章认为目前复杂的网络结构能够获取更高的精度，但是存在很明显的缺点：

1. 多分支结构可能会降低推断速度以及更占用显存。例如resnet的残差结构在多个分支的地方需要复制一份tensor用于分支之间的计算，如下图所示
   

2. depthwise conv或者shufflenet中的channel shuffle操作对实际落地的支持可能不太好等

对应的只有简单的由$3\times 3$卷积和relu激活组成的网络，有如下几点优势：

1. 许多多分支的网络虽然在FLOPs上小于VGG，但是推断时并没有更快（例如VGG-16的FLOPs是EfficientNet-B3的8.4倍，但在1080Ti上运行，VGG-16还要快1.6倍）

2. 多分支网络更耗显存，因为每个分支都需要有一份tensor用于计算直到分支通过加（addition）或者串联（concatenation）的方式合并

3. 多分支网络更不灵活，例如resnet必须由resnet block组成，而resnet block中最后一个卷积必须与输入保持一致，否则shortcut结构就不能工作了。更不灵活的是，在对网络进行通道剪枝时，多分支的网络剪枝起来很麻烦而且不合理（因为block内，通道数会互相影响）

为了取长补短，文字提出一种重参(re-parameterization)的方式，将训练态的网结构与推断态的网络结构解耦。即训练时利用多分支的网络结构，推断只有普通的$3\times 3$和relu激活组成的网络。

一、重参的原理

重参的原理就是通过代数的方式将多分支合并为一个分支。

更具体的，我们可以将$1\times 1$的卷积看成是$3\times 3$大小卷积的特例，identity和BN分支可以看成是$1\times 1$卷积的特例。这句话可以用下图表示：

上图A是将重参前的结构演变为$3\times 3$卷积的流程图，流程分为如下几步：

1. 将$3\times 3$的卷积和bn层合并成$3\times 3$卷积

2. 将$1\times 1$的卷积转换为$3\times 3$的卷积，然后与bn合并成$3\times 3$的卷积

3. 将BN转换为$3\times 3$的卷积

4. 将转换后的三个$3\times 3$的并联的卷积合并为最终的$3\times 3$的卷积

这里在合并前就是训练态的结构，合并后就是推断态的网络结构。

上图B是具体的参数转换流程，为了方便理解这里加以说明一下。上图假设当前网络块的输入$C_1$和输出通道$C_2$都为2。图中对于一个卷积来说，水平方向为输入的通道数，竖直方向为输出通道数。

1. 对于$1\times 1$的卷积来说，将其转换为$3\times 3$的卷积，就是将$1\times 1$的卷积核进行周围补0，补成$3\times 3$的大小即可

2. 对于BN层或者shortcut结构来说，将其转换为$3\times 3$的卷积，就是对应通道数除当前输出通道的中心为对应的值，其它值都为0。例如identity结构，当前中心值为1，其它值都为0，这样与输入相乘后，仍然为输入的值。

具体用公式表示如下(对公式不感兴趣的可以不看，上图已经很清晰了，这里是想说明代数方式如何将网络进行化简合并的)：

先定义一些符号，$3\times 3$大小输入通道为$C_1$输出通道为$C_2$的卷积参数表示为$W^{(3)}\in R^{C_2\times C_1\times 3\times 3}$，对应输入输出通道数的$1\times 1$卷积参数表示为$W^{(1)}\in R^{C_2\times C_1}$。跟在$3\times 3$大小卷积后的BN层参数为${\mu }^{(3)},{\theta }^{(3)},{\gamma }^{(3)},{\beta }^{(3)}$,跟在$1\times 1$大小卷积后的BN层参数为${\mu }^{(1)},{\theta }^{(1)},{\gamma }^{(1)},{\beta }^{(1)}$，identity分支中的BN层参数为${\mu }^{(0)},{\theta }^{(0)},{\gamma }^{(0)},{\beta }^{(0)}$。这里假设$C_1=C_2,H_1=H_2,W_1=W_2$，符号$\ast$表示卷积。那么对于输入$M^{(1)}\in R^{N\times C_1\times H_1\times W_1}$和输出$M^{(2)}\in R^{N\times C_2\times H_2\times W_2}$存在如下关系：

$$\begin{gathered} M^{(2)}=bn(M^{(1)}\ast W^{(3)},{\mu }^{(3)},{\theta }^{(3)},{\gamma }^{(3)},{\beta }^{(3)}) \\ +bn(M^{(1)}\ast W^{(1)},{\mu }^{(1)},{\theta }^{(1)},{\gamma }^{(1)},{\beta }^{(1)}) \\ +bn(M^{(1)},{\mu }^{(0)},{\theta }^{(0)},{\gamma }^{(0)},{\beta }^{(0)}) \end{gathered}$$

其中推断态的BN可以写成下式：
$bn(M,\mu ,\theta ,\gamma ,\beta {)}_{:,i,:,:}=(M_{:,i,:,:}-{\mu }_i)\frac{{\theta }_i}{{\gamma }_i}+{\beta }_i$

上式中体现了bn的操作索引是在C维度进行的，详细可参考GN-Group Normalization

上式可以化简为：

$bn(M\ast W,\mu ,\theta ,\gamma ,\beta )\ast :,i,:,:=(M\ast W^{\prime })\ast :,i,:,:+b{‘}_i$

其中$W^{\prime }\ast i,:,:,:=\frac{{\theta }_i}{{\gamma }_i}W\ast i,:,:,:$, $b_i^{\prime }=-\frac{{\mu }_i{\gamma }_i}{{\theta }_i}+{\beta }_i$

到这里重参的原理基本就介绍完了，具体实验请查看原文。