Dynamic Perceiver for Efficient Visual Recognition

摘要

Early exiting已成为提高深度网络推理效率的一种很有前途的方法。通过构建具有多个分类器(出口)的模型，可以在较早的出口生成“简单”样本的预测，从而消除了执行更深层次的需要。当前的多出口网络通常在中间层实现线性分类器，迫使低级特征封装高级语义。这种次优设计总是会破坏后面出口的性能。
本文方法

1. 出了动态感知器(dyn - percepver)，以一种新的双分支架构将特征提取过程和早期分类任务解耦。
2. 特征分支用于提取图像特征，分类分支用于处理为分类任务分配的潜在代码。
3. 建立双向交叉注意力层，逐步融合两个分支的信息。
4. 早期的出口被专门放置在分类分支中，从而消除了对低级特征的线性可分性的需要。
5. dyn - percepver构成了一个通用的、适应性强的框架，可以构建在各种体系结构上。在图像分类、动作识别和目标检测方面的实验表明，我们的方法显著提高了不同主干的推理效率，在广泛的计算预算范围内优于许多竞争方法。在CPU和GPU平台上的评估证实了dynpercepver优越的实用效率
   代码地址

本文方法

dyn - percepver的概述。特征分支(上)和分类分支(下)分别处理图像特征X0、···、X4和潜码Z0、···、Z4。交叉注意层被对称地建立以融合来自两个分支的信息。早期的分类器只附加在分类分支中。最好以彩色观看。
Z0是随机初始化的


Token下采样器沿着token维度执行每个通道交互，通道扩展器沿着通道维度执行每个token交互。浅蓝色块(ψi)中的操作对应于图中的蓝色箭头

F-Branch和CBranch分别为特征分支和分类分支。圈出的数字表示执行顺序。对于早期分类器以高置信度预测的样本，将不会激活更深层(阴影区域)。最好以彩色观看。

实验结果