1. VanillaNet介绍

1.1  摘要： 基础模型的核心是“越多越好”的理念，计算机视觉和自然语言处理领域取得的惊人成功就是例证。 然而，优化的挑战和变压器模型固有的复杂性要求范式向简单性转变。 在这项研究中，我们介绍了 VanillaNet，一种设计优雅的神经网络架构。 通过避免高深度、捷径和复杂的操作（如自注意力），VanillaNet 简洁得令人耳目一新，但功能却非常强大。 每一层都经过精心设计，紧凑而简单，在训练后修剪非线性激活函数以恢复原始架构。 VanillaNet 克服了固有复杂性的挑战，使其成为资源受限环境的理想选择。 其易于理解且高度简化的架构为高效部署开辟了新的可能性。 大量实验表明，VanillaNet 的性能可与著名的深度神经网络和视觉转换器相媲美，展示了深度学习中极简主义的力量。 VanillaNet 的这一富有远见的旅程具有重新定义景观并挑战基础模型现状的巨大潜力，为优雅而有效的模型设计开辟了一条新道路。

官方论文地址：https://arxiv.org/pdf/2305.12972

官方代码地址：