一、卷积层
1、卷积层（Convolutional Layer）介绍
卷积神经网络中每层卷积层由若干卷积单元（卷积核）组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的
卷积运算的目的是特征提取，第一层卷积层可能只能提取一些低级的特征，如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征
2、卷积核（Filter）的四大要素
卷积核 - Filter - 过滤器 - 模型参数
（1）卷积核个数
（2）卷积核大小
（3）卷积核步长
（4）卷积核零填充大小
接下来我们通过计算案例讲解，假设图片是黑白图片（只有一个通道）
3、卷积如何计算-大小
卷积核我们可以理解为一个观察的人，带着若干权重和一个偏置去观察，进行特征加权运算
注：上述要加上偏置
输入的图像：5 * 5，filter是3 * 3 * 1，乘以1个通道1
步长：是1，一次移动1格
输出：3 * 3 * 1
卷积核常用的大小：1 * 1，3 * 3，5 * 5
通常卷积核大小选择这些大小，是经过研究人员实验证明比较好的效果
观察之后会得到一个运算结果，那么这个人想观察所有这张图的像素怎么办？那就需要平移：
4、卷积如何计算-步长
需要去平移卷积核观察这张图片，需要的参数就是步长
假设移动的步长为一个像素，那么最终这个人观察的结果以下图为例：
5 * 5的图片，3 * 3的卷积大小，一个步长运算得到3 * 3的大小观察结果
如果移动的步长变成2，那么结果是这样：
5 * 5的图片，3 * 3的卷积大小，2个步长运算，得到2 * 2的大小观察结果
5、卷积如何计算-卷积核个数
那么如果在某一层结构当中，不止是一个人观察，多个人（卷积核）一起去观察，那就得到多张观察结果（盲人摸象？）
不同的卷积核带的权重和偏执都不一样，即随机初始化的参数
我们已经得出输出结果的大小由大小和步长决定的，但是只有这些吗？
还有一个就是零填充。Filter观察窗口的大小和移动步长有时会导致超过图片像素宽度！
6、卷积如何计算-零填充大小
零填充就是在图片像素外围填充一圈值为0的像素
7、总结-输出大小计算公式
如果已知输入图片形状，卷积核数量，卷积核大小，以及移动步长，那么输出图片形状如何确定？
通过一个例子来理解公式：
计算案例：
（1）假设已知条件：输入图像32*32*1，50个Filter，大小为5*5，移动步长为1，零填充大小为1。请求出输出大小？
H1 = 32
W1 = 32
D1 = 1
K = 50
F = 5
S = 1
P = 1
H2 = (H1 - F + 2P) / S + 1 = (32-5+2*1)/1+1 = 30
W2 = (H1 - F + 2P) / S + 1 = (32-5+2*1)/1+1 = 30
D2 = K = 50
所以输出大小为[30, 30, 30]
（2）假设已知条件：输入图像32*32*1，50个Filter，大小为3*3，移动步长为1，未知零填充，输出大小32*32，求零填充大小？
H1 = 32
W1 = 32
D1 = 1
K = 50
F = 3
S = 1
P = ?
H2 = 32
H2 = (H1 - F + 2P) / S + 1 = (32-3+2*P)/1+1 = 32
W2 = (H1 - F + 2P) / S + 1 = (32-3+2*P)/1+1 = 32
所以零填充大小为：1 * 1
8、多通道图片如何观察
如果是一张彩色图片，那么就有三种表分别为R，G，B。原本每个需要带一个3*3或者其他大小的卷积核，现在需要带3张3*3的权重和一个偏置，总共就27个权重。最终每个人还是得出一张结果：
输入图片：7 * 7 * 3
Filter：3 * 3 * 3 + bias，有2个filter
H1 = 5
D1 = 3
K = 2
F = 3
S = 2
P = 1
H2 = (5-3+2)/2+1 = 3
W2 = 和H2一样 = 3
D2 = 2
输出：3 * 3 * 2
9、卷积网络API
tf.nn.conv2d(input, filter, strides=, padding=, name=None)
说明：
（1）计算给定4-D input和filter张量的2维卷积
（2）input：输入图像，给定的输入张量，具有[batch, height, width, channel]四阶的形状，类型为float32,64
（3）filter：指定过滤器的权重数量，[filter_height, filter_width, in_channels, out_channels]
filter_height：filter的高
filter_width：filter的宽
in_channels：输入图片的通道数
out_channels：输出图片的通道数
（4）strides：需要传一维数组，strides = [1, stride, stride, 1]，步长
（5）padding："SAME"，"VALID"，具体解释见下面
Tensorflow的零填充方式有两种，SAME和VALID
（1）SAME：越过边缘取样，取样的面积和输入图像的像素宽度一致
公式：ceil(H/S)
H为输入的图片的高或者宽，S为步长
无论过滤器的大小是多少，零填充的数量由API自动计算
（2）VALID：不越过边缘取样，取样的面积小于输入人的图像的像素宽度。不填充
在Tensorflow当中，卷积API设置"SAME"之后，如果步长为1，输出高宽与输入大小一样（重要）
二、激活函数
1、sigmoid函数
随着神经网络的发展，大家发现原有的sigmoid等激活函数并不能达到好的效果，所以采取新的激活函数
2、ReLU函数
