参考自 

• up主的b站链接：霹雳吧啦Wz的个人空间-霹雳吧啦Wz个人主页-哔哩哔哩视频
• 这位大佬的博客 https://blog.csdn.net/m0_37867091?type=blog

CNN的历史发展：

这一点老师上课的时候也有讲到，BP的出现对CNN的发展至关重要

卷积的特性：关于具体体现在哪，上课老师的ppt讲的非常的明白

目的：进行特征提取，减少训练过程中需要的参数数量

下面这种图也是非常的好，对于理解卷积的过程有很好的理解

需要注意的是：

1.卷积核的chanel和输入矩阵的阿chanel是一致的

2.根据卷积的过程也可以知道最后输出矩阵的chanel是卷积核的个数

反向传播中误差的计算：softmax/sigmoid

一般是用 交叉熵损失 （Cross Entropy Loss）来计算误差

权重的更新

常用优化器：SGD优化器（Stochastic Gradient Descent 随机梯度下降）

• 缺点：1. 易受样本噪声影响；2. 可能陷入局部最优解

• 改进：SGD+Momentum优化器