虽然AlexNet证明深层神经网络卓有成效，但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。 在下面的几个章节中，我们将介绍一些常用于设计深层神经网络的启发式概念。
与芯片设计中工程师从放置晶体管到逻辑元件再到逻辑块的过程类似，神经网络架构的设计也逐渐变得更加抽象。研究人员开始从单个神经元的角度思考问题，发展到整个层，现在又转向块，重复层的模式。
使用块的想法首先出现在牛津大学的视觉几何组（visual geometry group）的VGG网络中。通过使用循环和子程序，可以很容易地在任何现代深度学习框架的代码中实现这些重复的架构。
1. VGG块
- AlexNet比LeNet更深更大来得到更好的精度
- 能不能更深和更大？
- 选项：
- 更多的全连接层（太贵）
- 更多的卷积层
- 将卷积层组合成块
经典卷积神经网络的基本组成部分是下面的这个序列：
- 带填充以保持分辨率的卷积层；
- 非线性激活函数，如ReLU；
- 汇聚层，如最大汇聚层。
而一个VGG块与之类似，由一系列卷积层组成，后面再加上用于空间下采样的最大汇聚层。在最初的VGG论文中 ，作者使用了带有 3×3 卷积核、填充为1（保持高度和宽度）的卷积层，和带有 2×2 汇聚窗口、步幅为2（每个块后的分辨率减半）的最大汇聚层。
2. VGG架构
VGG-16 是三个全连接+13个卷积
3. 进度
-
LeNet（1995）
- 2 卷积 + 池化层
- 2 全连接层
-
AlexNet
- 更大更深
- ReLu，Dropout，数据增强
-
VGG
- 更大更深的AlexNet（重复的VGG块）
4. 总结
- VGG使用可重复使用的卷积块来构建深度卷积神经网络
- 不同的卷积块个数和超参数可以得到不同复杂度的变种
