从传统的神经网络到卷积神经网络

一.传统的神经网络（全连接网络）

参数太多，冗余度高，容易过拟合，难以训练

二.卷积神经网络

1.空间平移的不变性：当输入的图像在空间上发生平移时，CNN的相应不发生改变，即CNN对图像的识别和分类不变；

解释：这种不变性是由于卷积和池化来决定的；在CNN中，卷积层通过对输入数据的局部区域进行卷积操作，提取出局部特征。这些卷积核是共享的，因此对于输入数据的不同位置，卷积核提取出的特征是相同的。这样就实现了对输入数据的空间平移不变性。在池化层中，通过对卷积层输出的特征图进行降采样，可以进一步增强CNN的空间不变性。

 2.卷积整个流程

 <1> 卷积

（1）特征图（feature map）/ 激活图（activation map）/ 响应图（response map）：即卷积的结果，如图中的 output 可见。

解释：这些术语都指代卷积神经网络中卷积层或其他层的输出，它们是对输入数据在空间上不同位置进行卷积操作得到的结果。特征图记录了输入数据中不同位置的特征响应，可以用于后续的分类、分割、检测等任务。在卷积神经网络中，通常会有多个卷积层，每个卷积层都会输出多个特征图，这些特征图的数量和大小会逐渐减小，直到最后输出一个固定大小的向量，用于进行分类、回归等任务。

（2）卷积核（Convolutional Filter）/ 滤波器 / 卷积矩阵 / 卷积权重 / 特征检测器等：对输入的数据进行卷积操作，从而能够提取输入数据中的特征。

解释：是卷积神经网络中的一个重要组成部分，用于对输入数据进行卷积操作，从而提取输入数据中的特征。卷积核可以看作是一个小的二维矩阵，它在输入数据的不同位置进行卷积操作，从而生成特征图（Feature Map）。

具体来说，卷积核的每个权重与输入数据中的对应位置进行相乘，然后将所有乘积的结果相加得到卷积操作的结果。

（3）感受野（Receptive Field）：在卷积神经网络中，感受野（Receptive Field）是指输入图像中的一个像素在卷积神经网络中的某一层的特征图中对应的区域大小。换句话说，感受野是指在网络的某一层上，一个特征图上的像素对应的在前一层的输入图像上的区域大小。例如：output中的0对应输入图像中的9个点，则就是感受野；

感受野的大小对于卷积神经网络的性能具有重要影响。较小的感受野可以提取输入图像中的细节特征，但对于全局特征的提取可能不够充分；而较大的感受野可以捕捉到输入图像中的全局信息，但可能会忽略一些局部细节特征。因此，在设计卷积神经网络时，需要考虑到感受野的大小，以便在不同层次上兼顾细节特征和全局特征的提取。（因为其中大部分使用卷积层和池化层，层与层之间是局部连接，无法对所有信息都感知）

感受野的计算方式：

对于感受野的计算，对其有影响的卷积层和池化层，激活函数层对其并没有影响；

卷积神经网络中，越深层的神经元看到的输入区域越大，如下图所示，kernel size 均为3×3，stride均为1，绿色标记的是Layer2每个神经元看到的区域，黄色标记的是Layer3 看到的区域，具体地，Layer2每个神经元可看到Layer1上3×3 大小的区域，Layer3 每个神经元看到Layer2 上3×3 大小的区域，该区域可以又看到Layer1上5×5 大小的区域。

参考： 彻底搞懂感受野的含义与计算 - 知乎