一、从全连接到卷积

分类猫和狗的图片

• 使用一个相机采集图片（12M像素）
• RGB图片有36M元素
• 使用100大小的单隐层MLP，模型有3.6B元素
  • 远多于世界上所有猫和狗总数（900M狗，600M猫）
    3.6B要存下来需要14GB内存

两个原则

• 平移不变性
• 局部性
  不变性

以上图游戏为例， 在这个游戏中包含了许多充斥着活动的混乱场景，而沃尔多通常潜伏在一些不太可能的位置，读者的目标就是找出他。我们可以使用个“沃尔多检测器”扫描图像。 该检测器将图像分割成多个区域，并为每个区域包含沃尔多的可能性打分。 卷积神经网络正是将空间不变性（spatial invariance）的这一概念系统化，从而基于这个模型使用较少的参数来学习有用的表示。