深度学习
深度学习是一种统计学习方法，可以在大量数据中自动提取关键特征信息。
深度学习的分类
深度学习的起源有感知器和基于图模型的玻尔兹曼机。在这两个的基础上引入多层结构形成了现在的深度学习。
神经网络的历史
M-P模型和感知器模型
M-P模型是首个通过模仿神经元形成的模型。
M-P模型是将每一个输入都乘以对应的权重然后相加，得到的结果如果大于阈值，则输出1，否则输出0.
M-P模型可以轻松实现各种逻辑运算，但是相应的参数确需要人为确定。
与M-P模型不同的是，感知器模型可以根据样本训练自动确定参数。
上面的方法叫做误差修正学习方法，可以看出这里并没有使用梯度信息，只是在调整影响误差的参数，以使误差减小。
多层感知器
为了解决线性不可分的问题，提出了多层感知机模型。
此时提出了误差反向传播算法
随机梯度下降
根据训练样本的输入方式，误差反向传播算法可以分为不同的种类。
批量学习：这种算法每次迭代需要遍历全部的训练样本。批量学习可以有效抑制训练集内带噪声的样本。
在线学习：这种算法每输入一个样本，就会进行一次迭代。由于没输入一个样本就进行一次迭代，会导致结果出现大幅变动。
小批量梯度下降法：这种方法是将训练集划分为几个子集，每次迭代都使用一个子集。
小批量梯度下降和在线学习都是使用部分训练样本进行迭代计算，所以这种方法也叫做随机梯度下降法。
学习率
学习率是用来确定权重连接调整程度的系数。
