《GhostNetV2：Enhance Cheap Operation with Long-Range Attention》

轻量级卷积神经网络（CNN）是专门为在移动设备上具有更快推理速度的应用而设计的。卷积操作只能捕捉窗口区域内的局部信息，这防止了性能的进一步提高。将自注意力引入卷积可以很好地捕捉全局信息，但这将大大拖累实际速度。本文提出了一种硬件友好的注意力机制（称为DFC注意力），并提出了一种适用于移动应用的新GhostNetV2架构。所提出的DFC注意力是基于全连接层构建的，不仅可以在通用硬件上快速执行，而且还可以捕捉长距离像素之间的依赖关系。我们进一步重新审视了先前GhostNet中的表现瓶颈，并建议使用DFC注意力增强由廉价操作产生的扩展特征，以便GhostNetV2块可以同时聚合局部和长距离信息。广泛的实验表明GhostNetV2优于现有架构。例如，它在ImageNet上实现了75.3％的Top-1准确率，FLOPs为167M，显着抑制了具有类似计算成本的GhostNetV1（74.5％）。

论文地址：https://arxiv.org/pdf/2211.12905.pdf

网络表现

这项研究的背景是轻量级卷