一、MobileNet V1

1. 铭记历史

传统的卷积神经网络参数量大，导致预测时算力大，对于手机、嵌入式等设备来讲是不行的，例如VGG16大概有490M，ResNet的152层模型有644M，这种是不能在移动端部署的时候不但慢还暂用空间，就无法满足手机、人脸识别打卡机等。

2017年，Google提出的移动端高效率模型MobileNet：相比VGG16，分类准确率下降了0.9%，但是模型参数仅仅是VGG16的1/32到1/33。

2. 网络创新

2.1 Depth wise Convolution

深度可分离卷积

先看传统的卷积：

DW卷积如下：

​ DW卷积核的通道等于1，每个卷积核分别与输入特征每个channel进行卷积计算，从而得到输出特征矩阵的每个channel，总结：输入特征的channel = 卷积核个数 = 输出特征channel。

​ 计算量相比于标准卷积降低了1个数量级，但没有有效利用不同通道在相同空间位置上的信息，鉴于此，我们需要再加一个PW卷积（Pointwise Conv，点卷积，大小1×1），如下图：

标准多通道卷积，卷积核的尺寸为1x1xMxN

M=512为输入特征通道数， N=512为输出特征通道数。

2.2 常规卷积和DW卷积对比

常规卷积(左)与深度可分离卷积(右)

3. 整体结构

3.1 结构

3.2 运算及参数量

4. 压缩比较

模型参数量与计算量压缩比较：

通常DW卷积和PW卷积是放在一起的，这种卷积比普通卷积能节省大量的计算量，论文中有相关公式求解计算量：分子为深度可分卷积的计算量，分母为普通卷积的计算量（步距默认为1）：

上述公式的参数需要介绍一下：

注意：这里求解的计算量，不是参数量！

5. MobileNet 大小控制

Width multiplier 系数α：按比例减少通道数
Resolution multiplier 系数ρ：按比例降低特征图的大小

5.1 宽度系数

Width multiplier系数α取值范围为(0,1]，计算公式公式：
$$D_K\cdot D_K\cdot \alpha M\cdot D_F\cdot D_F+\alpha M\cdot \alpha N\cdot D_F\cdot D_F$$
常取值为1，0.25，0.5，0.75，计算量与参数量大概按着
$${\alpha }^2$$

比例下降。

5.2 分辨率系数

Resolution multiplier系数ρ取值范围为(0,1]，计算公式如下：
$$D_K\cdot D_K\cdot \alpha M\cdot \rho D_F\cdot \rho D_F+\alpha M\cdot \alpha N\cdot \rho D_F\cdot \rho D_F$$
网络输入分辨率通常为224，192，160，128，计算量与参数量大概按着
$${\rho }^2$$

比例下降。

5.3 实验性能对比

6. 性能比较

6.1 Stanford Dogs数据集

6.2 ImageNet数据集

7. V1存在的问题

使用ReLU后会造成信息丢失，通道少的特征图尤其明显：

​ 对输入图像先通过随机矩阵T将数据转换为n维，后对n维数据进行ReLU操作，最后使用T的逆矩阵转换回来。当n很小，会导致很多信息的丢失，维度越高还原的图片和原图越相似。ReLU能够保持输入流形的完整信息，但前提是输入流形位于输入空间的低维子空间中。

​ 当输出维度m=2,3时，信息坍塌，当m>15时，信息基本被保留。

二、MobileNet V2

​ MobileNet V1网络的Depth wise部分的卷积核容易参数为0，导致浪费掉。

​ MobileNet V2网络是由谷歌团队在2018年提出的，它对于MobileNet V1而言，有着更高的准确率和更小的网络模型。

1. 网络的创新

• 整体采用MobileNet V1的通道可分离卷积来降低运量
• 采用ResNet思想，引入了特征复用结构，缓解特征退化问题(低精度训练尤其有效)
• 采用Inverted residual block结构，回避ReLU缺陷，通道数比较少的瓶颈层不采用非线性激活函数

1.1 倒残差结构

​ 在之前的ResNet残差结构是先用1x1的卷积降维，再升维的操作。而在MobileNet V2中，是先升维，再降维的操作，所以该结构叫倒残差结构，网络结构表格中的bottleneck就是倒残差结构。

​ 来回顾一下残差结构，如下图所示：

在MobileNet V2网络结构中，采用了倒残差结构，从名字可以联想到，它的结构应该是中间深，两边浅，它的结构如下图所示：

倒残差结构的过程是：

1. 首先会通过一个1x1卷积层来进行升维处理，在卷积后会跟有BN和ReLU6激活函数

2. 紧接着是一个3×3大小DW卷积，卷积后面依旧会跟有BN和ReLU6激活函数

3. 最后一个卷积层是1x1卷积，起到降维作用，注意卷积后只跟了BN结构，并没有使用ReLU6激活函数。

   倒残差结构的具体过程如下图所示：

在MobileNet V1中，DW卷积的个数局限于上一层的输出通道数，无法自由改变，但是加入PW卷积之后，也就是升维卷积之后，DW卷积的个数取决于PW卷积的输出通道数，而这个通道数是可以任意指定的，因此解除了3x3卷积核个数的限制。

1.2 拓展因子t

​ 瓶颈层到中间层通道数的提升比例

1.3 ReLU6

​ 因为在低维空间使用非线性函数（如ReLU）会损失一些信息，高维空间中会损失得相对少一些，因此引入Inverted Residuals，升维之后再卷积，能够更好地保留特征。

​ 从上图中可以看到，卷积之后跟着的激活函数不再是MobileNet V1的ReLU激活函数，而是ReLU6激活函数，它的表达式是：

$$y=ReLU6(x)=min(max(x,0),6)$$

​ 它的图像是：

​ 可以看到ReLU6激活函数是ReLU的变种，它的输入小于0时，结果为0，输入大于6时：结果为6。在0到6之间时：y=x。

1.4 Shortcut

注意：Shortcut并不是该网络提出的，而是残差结构提出的。

​ 这里由于具有倒残差结构，所以也会有shortcut操作，如下图所示，左侧为有shortcut连接的倒残差结构，右侧是无shortcut连接的倒残差结构：

shortcut将输入与输出直接进行相加，可以使得网络在较深的时候依旧可以进行训练。

注意：这里只有stride=1且输入特征矩阵与输出特征矩阵shape相同时才有shortcut连接。

2. 模型结构

第一层是标准卷积，后面是前述的瓶颈结构。其中t是扩展因子，c是输出通道数，n是重复次数，s代表步长。

3. 实验

对比不同的跳跃连接方式和是否采用线性瓶颈结构，进一步验证网络设计的合理性。

不同版本的MobileNet V2，与其他模型的比较