一：简介

机器学习是实现人工智能的方法，深度学习是实现机器学习的技术。在实现人工智能时需要人工辅助(半自动)，而深度学习使该过程完全自动化

举例说明，如通过机器学习算法来识别动物是猫还是狗，需要人工输入动物的特征数据，生成一定的算法模型，进而可以准确预测具有这些特征的动物的类型，而深度学习则能自动地去发现特征进而判断

人工神经网络(Aritificial Neural Network,ANN)，简称神经网络(Neural Network,NN)或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一个自适应系统，通俗的讲就是具备学习功能

二：感知器

提出了最早的“人造神经元”模型，叫做“感知器”

neuron：神经元

dendrites：树突，位于神经元末端的细分支，接收其他神经元传来的信号

axon：轴突(神经细胞的突起，将信号发送到其他细胞)

输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可类比为细胞核

三：权重和阈值

权重：各种因素很少具有同等重要性：某些因素决定性因素，另一些因素是次要因素。因此，可以给这些因素指定权重(weight)，代表它们不同的重要性

阈值：因素和权重的总和大于阈值，感知器输出1，否组输出0

感知器 - 权重和阈值：

1.本神经元接收到来自N个外界(或者其他神经元)的输入信号

2.这些输入信号通过带权重的连接进行传递，给本神经元

3.本神经元接收到的总输入将于本神经元的阈值进行比较

4.比较后，通过“激活函数”处理，产生输出

感知器弊端：感知器网络只能处理线性问题(二分类问题)，无法处理非线性问题(异或问题)

四：多层前馈网络

解决非线性问题

相比感知器多了一层隐藏层，每个隐藏层中有多个神经元

隐藏层：除输入层和输出层以外的其他各层叫做隐藏层，不直接接收外界的信号，也不直接向外界发送信号

三层前馈网络，输出的结果不是值，而是概率

多层前馈网络弊端：需要计算的参数太多，导致训练的时间过长，网络稍微深一些(多个隐藏层)，就需要大量的训练时间

原因：网络中的数据流向是单向的，只会按照输入层-隐藏层-输出层的顺序流动

五：BP神经网络

BP反向传播算法，系统地解决了多层网络中隐藏单元连接权的学习问题，明确否定了明斯基等人的错误观点，对神经网络第二次高潮具有决定性意义

BP神经网络：相对于前馈网络，BP神经网络是为了解决神经网络多层学习问题

BP算法全称为误差反向传播，其算法基本思想为：是前馈网络中，输入信号经过输入层输入，通过隐藏层计算由输出层输出，输出值与标记值比较，若有误差，将误差反向由输出层向输入层传播，在这个过程中，利用梯度下降算法对神经元权值进行调整

BP算法流程

大致流程为：

正向传播FP(求损失)：根据输入的样本，给定的初始化权重值W和偏置项的值b，计算最终输出值及输出值与实际值之间的损失值，如果损失值不在给定的范围内则进行反向传播的过程，否组停止W,b的更新

反向传播BP(回传误差)：将输出以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即为修正各个单元权值的依据