文章目录
17.7 压缩和加速方法如何选择
17.8 改变网络结构设计为什么会实现模型压缩、加速
17.8.1 Group convolution
17.8.2 Depthwise separable convolution
17.8.3 输入输出的channel相同时，MAC最小
17.8.4 减少组卷积的数量
17.8.5 减少网络碎片化程度（分支数量）
17.8.7 减少元素级操作
17.7 压缩和加速方法如何选择
（1）对于在线计算内存存储有限的应用场景或设备，可以选择参数共享和参数剪枝方法，特别是二值量化权值和激活、结构化剪枝。其他方法虽然能够有效的压缩模型中的权值参数，但无法减小计算中隐藏的内存大小（特征图）。
（2）如果在应用中用到的紧性模型需要利用预训练模型，那么参数剪枝、参数共享以及低秩分解将成为首要考虑的方法。相反地，若不需要借助预训练模型，则可以考虑紧性滤波设计及知识蒸馏方法。
（3）若需要一次性端对端训练得到压缩与加速后模型，可以利用基于紧性滤波设计的深度神经网络压缩与加速方法。
（4）一般情况下，参数剪枝，特别是非结构化剪枝，能大大压缩模型大小，且不容易丢失分类精度。对于需要稳定的模型分类的应用，非结构化剪枝成为首要选择。
（5）若采用的数据集较小时，可以考虑知识蒸馏方法。对于小样本的数据集，学生网络能够很好地迁移教师模型的知识，提高学生网络的判别性。
（6）主流的5个深度神经网络压缩与加速算法相互之间是正交的，可以结合不同技术进行进一步的压缩与加速。如：韩松等人[30]结合了参数剪枝和参数共享；温伟等人[64]以及AIvarez等人[85]结合了参数剪枝和低秩分解。此外对于特定的应用场景，如目标检测，可以对卷积层和全连接层使用不同的压缩与加速技术分别处理。
参考《深度神经网络压缩与加速综述》
17.8 改变网络结构设计为什么会实现模型压缩、加速
17.8.1 Group convolution
Group convolution最早出现在ALexNet中，是为了解决单卡显存不够，将网络部属到多卡上进行训练而提出。Group convolution可以减少单个卷积 1/g 的参数量。如何计算的呢？
假设：
- 输入特征的维度为
；
- 卷积核的维度为
，共
；
- 输出特征的维度为
。
传统卷积计算方式如下：
传统卷积运算量为：
Group convolution是将输入特征对维度c1分为g份，每个group对应的channel数为 c1/g，特征维度 H*W*c1/g，每个group对应对卷积核对维度也相应发生改变为 h1*w1*c1/g，共 c2/g个；每个group相互独立运算，最后将结果叠加在一起。
Group convolution计算方式如下：
Group convolution运算量为：
Group卷积相对于传统卷积的运算量为：
由此可知：group卷积相对于传统卷积减少了 1/g 的参数量。
17.8.2 Depthwise separable convolution
Depthwise separable convolution 是由 depthwise conv 和 pointwise conv构成。
depthwise conv（DW）有效减少参数数量并提升运算速度。但是由于每个feature map 只被一个卷积核卷积，因此经过DW输出的feature map不能只包含输入特征图的全部信息，而且特征之间的信息不能进行交流，导致“信息流通不畅”。
pointwise conv（PW）实现通道特征信息交流，解决DW卷积导致“信息流通不畅”的问题。假设输入特征的维度为 H*W*c1；卷积核的维度为 h1*w1*c1，共c2个；输出特征的维度为 H1*W1*c2。
传统卷积计算方式如下：
传统卷积运算量为：
DW卷积的计算方式如下：
DW卷积运算量为：
PW卷积的计算方式如下：
PW卷积运算量为：
Depthwise separable convolution运算量为：
Depthwise separable convolution相对于传统卷积的运算量为：
由此可知，随着卷积通道数的增加，Depthwise separable convolution的运算量相对于传统卷积更少。
17.8.3 输入输出的channel相同时，MAC最小
卷积层对输入和输出特征通道数相等时MAC最小，此时模型速度最快。
假设feature map的大小为h*w，输入通道，输出通道
。
已知：
根据均值不等式得到，等式成立的条件是c1=c2，也就是输入特征通道数和输出特征通道数相等时，在给定FLOPs前提下，MAC达到取值的下界。
17.8.4 减少组卷积的数量
过多的group操作会增大MAC，从而使模型速度变慢。
由以上公式可知，group卷积想比与传统的卷积可以降低计算量，提高模型的效率；如果在相同的FLOPs时，group卷积为了满足FLOPs会是使用更多的channels，可以提高模型的精度。但是随着channel数量的增加，也会增加MAC。
FLOPs：
MAC：
由MAC、FLOPs可知：
当FLOPs固定（B不变）时，g越大，MAC越大。
17.8.5 减少网络碎片化程度（分支数量）
模型中分支数量越少，模型速度越快。
此结论主要是由实验结果所得。
以下为网络分支数和各分支包含的卷积数目对神经网络速度的影响。
实验中所使用到的基本网络结构，分别将它们重复10次，然后进行实验。实验结果如下：
由实验结果可知，随着网络分支数量多增加，神经网络的速度在降低。网络碎片化程度对GPU的影响效果明显，对CPU不明显，但是网络速度同样在降低。
17.8.7 减少元素级操作
元素级操作所带来对时间消耗也不能忽视。
ReLU、Tensor相加，Bisa相加的操作，分离卷积（depthwise convolution）都定义为元素级操作。
FLOPs大多数都是对于卷积计算而言的，因为元素级操作的FLOPs相对要低很多。但是过多的元素级操作也会带来时间成本。ShuffleNet作者对ShuffleNet v1和MobileNet v2对几种层操作的时间消耗做了分析，发现元素级操作对于网络速度的影响也很大。
