重新思考瓶颈结构以实现高效移动网络设计

倒置残差块成为了移动网络架构设计的主流。它通过引入学习倒置残差和使用线性瓶颈的两个设计规则，改变了经典的残差瓶颈。在本文中，我们重新思考了这种设计改变的必要性，并发现它可能会带来信息丢失和梯度混淆的风险。因此，我们提出翻转这种结构，并提出一种新的瓶颈设计，称为沙漏块，它在更高维度上执行恒等映射和空间变换，从而有效地减轻了信息丢失和梯度混淆。广泛的实验表明，与普遍的观点不同，对于移动网络而言，这种瓶颈结构比倒置瓶颈结构更有益。在ImageNet分类中，仅通过用我们的沙漏块替换倒置残差块而不增加参数和计算，分类准确率可以比MobileNetV2提高1.7%以上。在Pascal VOC 2007测试集上，我们观察到目标检测的mAP也提高了0.9%。我们进一步通过将其加入神经架构搜索方法DARTS的搜索空间来验证沙漏块的有效性。在25%参数减少的情况下，分类准确率比之前的DARTS模型提高了0.13%。

论文地址：https://arxiv.org/pdf/2007.02269.pdf
代码地址：https://github.com/zhoudaquan/rethinking_bottleneck_design