[卷积神经网络]FasterNet论文解析

news2024/12/28 20:24:50

一、概述

FasterNet是CVPR2023的文章，通过使用全新的部分卷积PConv，更高效的提取空间信息，同时削减冗余计算和内存访问，效果非常明显。相较于DWConv，PConv的速度更快且精度也非常高，识别精度基本等同于大型网络Swin-B，但是在GPU上可以提升36%的吞吐量。原文地址和代码地址如下：

Run, Don't Walk: Chasing Higher FLOPS for Faster Neural Networkshttps://arxiv.org/abs/2303.03667FasterNethttps://github.com/JierunChen/FasterNet

二、基本结构

1.PConv

FasterNet的核心是PConv(Partial Conv)，PConv有比常规Conv更低的FLOPs和比DWConv和GConv更高的FLOPs，能更好的利用设备的计算能力。

整个FasterNet的网络结构如上图所示。PConv的工作原理是：仅将输入特征图的一部分通道用于特征提取，其他的通道保持不变(即 $c_p$ 到 $c$ 通道)，使用部分的通道数为 $c_p$ 。可以认为输入特征图和输出特征图具有相同的通道。而PConv的FLOPS可以表示为：

$FLOPS = h\times w \times k^2 \times c_p^2$

其中 $c_p$ 和 $c$ 一起组成分离比： $r=\frac{c_p}{c}$ ，在 $r=\frac{1}{4}$ 时，PConv仅有Conv $\frac{1}{16}$ 的FLOPS,同时PConv还有更小的内存访问量：

$h \times w \times 2c_p+k^2 \times c_p^2 \approx h \times w \times 2c_p$

2.T型Conv

通过将逐点卷积(PWConv)附加到PConv上，使得输入特征图上的有效感受野看起来像一个T型的Conv，这种卷积会更加关注中心位置。

3.作为通用骨干网络

使用PConv搭建的FasterNet如上面所示，其能以较快的速度处理多种视觉任务。FasterNet具备4个Stage，每个Stage之前有一个嵌入层(Embedding；步长为4的4x4 Conv)或一个合并层(Mereging；步长为2的2x2 Conv)，使用哪种间隔与其是否需要下采样有关。

每一个Faster Block的后面跟着两个PWConv层，最后统一放置一个全局池化(Global Pool)和一个全连接层(FC)