EfficientNet V1
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
- 增加网络参数的方式有三种：深度、宽度和输入图像的分辨率。探究这三种方式对网络性能的影响，以及如何同时缩放这三种因素是
EifficentNet的主要贡献。
- 单独增加某一指标，性能上升有上限
- 网络结构
- 结果
EfficientNet V2
EfficientNetV2: Smaller Models and Faster Training
-
V1 问题
- 大图像尺寸会占用内存
- 逐层卷积不能完全利用加速器
- 整个模型缩放比例固定，导致缩放策略不是最优
-
引入改进的渐进式学习的策略：在训练过程中，随训练时间动态的调整输入图片的尺寸，来尽可能充分的使用训练数据集。但是现有的渐进式学习研究，只改了输入，并没有修改模型的正则化参数，作者认为，这是导致模型Accuracy 下降的一个原因。更大的模型应该需要更严格的正则化来避免过拟合，例如EficientNet-B7就需要设置更大的dropout值以及更强的数据增强方式。所以这篇论文认为随着训练轮数的迭代，输入模型的图像尺寸应该逐渐变大，同时实验配置的正则化参数也随之增大，包括三个参数，dropout的概率、随机擦除样本的行数、两种图片混合的比例（后两个是图像增强的手段），也就是数据增强的幅度在逐渐增大，来提升模型正则的要求。
-
优化的 NAS 神经网络结构搜索
