问题

CNN网络在反向传播中需要逐层向前求梯度，然而pooling层没有可学习的参数，那它是如何进行反向传播的呢？

此外，CNN中为什么要加pooling层，它的作用是什么？

Pooling层

CNN一般采用average pooling或max pooling来进行池化操作，而池化操作会改变feature map的大小，例如大小为64×64的feature map使用2×2的步长池化后，feature map大小为32×32。因此，这会使得在反向传播中，pooling层的梯度无法与前一层相对应。

那怎么解决这个问题呢？其实也很简单，可以理解为就是pooling操作的一个逆过程，把一个像素的梯度传递给4个像素，保证传递的loss（或梯度）总和不变。下面分别来看average pooling和max pooling的反向传播操作过程。

average pooling

average pooling在前向传播中，就是把一个patch中的值取平均传递给下一层的一个像素。因此，在反向传播中，就是把某个像素的值平均分成 n 份分配给上一层。（！！注意这里是分成 n 份，而不是将该元素的值复制 n 份，不然会使得loss之和变为原来的 n 倍，造成梯度爆炸。）