论文地址：https://arxiv.org/abs/2301.01146
代码地址：https://github.com/zhangzjn/EMO

本论文着重于开发现代、高效、轻量级的模型，用于进行密集预测，同时在参数、FLOPs和性能之间进行权衡。倒置残差块（IRB）作为轻量级CNN的基础设施，但在基于注意力的研究中尚未找到对应的部分。本研究从高效的IRB和Transformer的有效组件的统一视角重新思考轻量级基础设施，将基于CNN的IRB扩展到基于注意力的模型，并抽象出一种残差元移动块（MMB）用于轻量级模型设计。遵循简单但有效的设计标准，我们推导出一种现代的倒置残差移动块（iRMB），并构建了一个仅使用iRMB的类似ResNet的高效模型（EMO）用于下游任务。在ImageNet-1K、COCO2017和ADE20K基准上的大量实验显示了我们的EMO相对于最先进的方法的卓越性能，例如EMO-1M/2M/5M达到了71.5、75.1和78.4的Top-1准确率，超过了同等级别的CNN-/基于注意力的模型，同时在参数、效率和准确性之间很好地权衡࿱