摘要

大规模视觉预训练显著提高了大规模视觉模型的性能。现有的低 FLOPs 模型无法从大规模预训练中受益。在本文中，作者提出了一种新的设计原则，称为 ParameterNet，旨在通过最小化FLOPs的增加来增加大规模视觉预训练模型中的参数数量。利用 DynamicConv 动态卷积将额外的参数加入到网络中，而几乎不增加FLOPs。ParameterNet 方法使低 FLOPs 网络能够受益于大规模视觉预训练。

# 理论介绍

DynamicConv（动态卷积）是一个用于提高卷积神经网络（CNN）性能的技术，核心思想是动态地生成卷积核（filter），而不是使用固定的卷积核。通过引入更多的计算灵活性和适应性来增强卷积操作的表达能力，进而提升模型的性能。工作方式：

• 专家选择：DynamicConv 通过引入多个“专家”（experts），每个专家学习特定的卷积模式。输入图像的不同部分会选择不同的专家进行卷积。
• 动态卷积核生成：根据输入的不同特征，专家网络动态地生成卷积核，而不是使用固定的卷积核。这意味着卷积操作是基于输入特征动态调整的，具备更多的灵活性和表达能力。
• 混合卷积：在某些情况下，可以将多个专家的卷积结果进行加权融合，形成最终的卷积输出。这种加权融合方式根据任务的不同可以进行调整。

DynamicConv 的核心优势在于它能够根据输入的特征动态生成适应性强的卷积核，从而提升模型的表达能力和灵活性。

理论详解可以参考链接：论文地址
代码可在这个链接找到：代码地址

下文都是手把手教程，跟着操作即可添加成功