1,理论部分
轻量级卷积神经网络 (CNN) 专为移动设备上的应用程序而设计,具有更快的推理速度。卷积运算只能捕获窗口区域中的局部信息,这会阻止性能进一步提高。将自我注意引入卷积可以很好地捕获全局信息,但会在很大程度上阻碍实际速度。在本文中,我们提出了一种硬件友好的注意力机制(称为 DFCattention),然后提出了一种用于移动应用程序的新 GhostNetV2 架构。所提出的 DFC 注意力是基于全连接层构建的,它不仅可以在通用硬件上快速执行,还可以捕获远程像素之间的依赖关系。我们进一步重新审视了以前的 GhostNet 中的表达瓶颈,并建议在 DFC 关注下增强廉价操作产生的扩展功能,以便 GhostNetV2 块可以同时聚合本地和远程信息。广泛的实验证明了 GhostNetV2 相对于现有架构的局限性。例如,它在 ImageNet 上以 167M FLOPs 实现了 75.3% 的 top-1 准确率,显著抑制了 Ghost NetV1 (74.5%),计算成本相似