1. 多级网络
层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。
输入层：被记作第0层。该层负责接收来自网络外部的信息。
第j层：第j-1层的直接后继层（j>0），它直接接受第j-1层的输出。
输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。
隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向
外界发送信号。
输出层的层号为该网络的层数：n层网络，或n级网络。
第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。
2. BP算法
BP网络主要用于：
1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。
2）模式识别：用一个特定的输出向量将它与输入向量联系起来。
3）分类：把输入向量 以所定义的合适方式进行分类。
4）数据压缩：减少输出向量维数以便于传输或存储。
基本原理：利用输出误差来估计输出层的直接前导层的误差，在用这个误差估计更前一层的误
差，如此一层一层的反传下去，就获得了所有其他各层的误差估计，利用此误差更新权重。
W是网络的参数，J是目标函数。
基本学习过程：神经网络在外界有导师输入样本的刺激下，不断改变网络的连接权值，以使网络的
输出不断接近期望的输出。
学习的本质：对各连接权值的动态调整。
学习规则：将误差分摊给各层的所有单元——各层单元的误差信号，修正各层连接权值。
信号前馈：输入样本-->输入层-->各隐层-->输出层。
判断是否转入反向传播阶段：若输出层的实际输出与期望输出（教师信号）不符。
误差反传：误差以在各层表达，并借此来修正各层单元的权值，网络输出的误差减少到可接受的程
度或进行到预先设定的学习次数为止。
一个隐含层（也可以看成3层BP网络）：
①期望输出：
②误差函数e（第K个样本）：
③激活函数f(.)
激活函数必须处处可导，比如：sigmoid函数
BP算法步骤：
①网络初始化：给各连接权值赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精确度
ε和最大学习次数M。
②随机选取第K个输入样本，及对应期望输出
③计算各层各神经元的输入和输出
④计算误差函数对输出层权重的偏导数---链式微分法则
⑤计算误差函数对隐藏层权值的偏导数δ（k）
⑥修正隐藏层---输出层连接权值w(k)
⑦修正输入层---隐藏层连接权值
⑧计算全局误差
⑨判断网络误差是否满足要求
当误差达到预设精度或者学习次数大于设定的最大次数，则结束算法；
否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。
BP算法的直观解释：
①当误差对权值的偏导数大于0时，权值调整量为负，实际输出大于期望输出，权值向减少方向调
整，使得实际输出与期望输出的差减少。
②当误差对权值的偏导数小于0时，权值调整量为正，实际输出小于期望输出，权值向增大方向调
整，使得实际输出与期望输出的差减少。
训练过程概述：
样本：（输入向量，理想输出向量）
①向前传播阶段
从样本集中取一个样本（Xp,Yp），将Xp输入到网络；
计算相应的实际输出Op：
②向后传播阶段，误差传播阶段
计算实际输出Op与相应的理想输出Yp的差； 按极小化误差的方法调整权值矩阵。
网络中关于第p个样本的误差：
网络中关于整个样本集的误差：
误差传播分析：
①输出层权的调整
②隐藏层权的调整
δpk-1的权值和δ1k、δ2k......δmk有关，不妨认为δpk-1通过权Wp1对δ1k做出贡献， 通过权Wp2对
δ2k做出贡献.......通过权Wpm对δmk做出贡献。
当ANj为输出层神经元时：
当ANj为隐藏层神经元时：
NETk是Oj下一级的神经元的网络输入。
