【智能控制】第8章典型神经网络，单神经元网络，BP神经网络，RBF神经网络，Hopfield神经网络（北京航天航空大学）

第8章典型神经网络

1. 单神经元网络

2. BP神经网络

3. RBF神经网络

4. Hopfield神经网络

第8章典型神经网络

根据神经网络的连接方式，神经网络可分为三种形式：前馈型神经网络、反馈型神经网络和自组织网络，。典型的前馈型神经网络有单神经元网络、BP神经网络和RBF神经网络，反馈型神经网络主要有Hopfield神经网络。

1. 单神经元网络

常用的神经元非线性特性有以下四种：

（1）阈值型

阈值型函数如图所示。

（2）分段线性型

分段线性型函数表达式为

分段线性型函数如图所示。

（3）函数型

有代表性的有Sigmoid型和高斯型函数。Sigmoid型函数表达式为

Sigmoid型函数如图所示。

由于单神经元网络结构简单，不具有非线性映射的能力，因此难以应用于控制系统设计中。

2. BP神经网络

1986年，Rumelhart等提出了误差反向传播神经网络，简称BP网络（Back Propagation），该网络是一种单向传播的多层前向网络。

误差反向传播的BP算法简称BP算法，其基本思想是最小二乘法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。

BP网络具有以下几个特点：

（1）BP网络是一种多层网络，包括输入层、隐含层和输出层；

（2）层与层之间采用全互连方式，同一层神经元之间不连接；

（3）权值通过δ学习算法进行调节；

（4）神经元激发函数为S函数；

（5）学习算法由正向传播和反向传播组成；

（6）层与层的连接是单向的，信息的传播是双向的。

含一个隐含层的BP网络结构如图所示。

二输入单输出的BP网络如图所示

BP算法输入信息从输入层经隐层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。

隐层神经元的输入为所有输入的加权之和：

隐层神经元的输出xj 采用函数S激发 xj ：

则

输出层神经元的输出：

BP网络的优点为：

（1）只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系；

（2）BP网络的学习算法具有较强的泛化能力。

（3）BP网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。

BP网络的主要缺点为：

（1）待寻优的参数多，收敛速度慢；

（2）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；

（3）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑。

由于BP网络具有很好的逼近非线性映射的能力，在控制系统设计中，可采用BP神经网络实现未知函数的逼近。理论上，3层BP网络能够逼近任何一个非线性函数，但由于BP网络具有双层权值，收敛速度慢，易于陷入局部极小，很难满足控制系统的高度实时性要求。

3. RBF神经网络

径向基函数(RBF-Radial Basis Function)神经网络是由J. Moody和C. Darken在二十世纪八十年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。RBF网络模拟了人脑中局部调整、相互覆盖接收域的神经网络结构，已证明RBF网络能任意精度逼近任意连续函数。

RBF网络的学习过程与BP网络的学习过程类似，两者的主要区别在于各使用不同的作用函数。BP网络中隐含层使用的是Sigmoid函数，而RBF网络中的作用函数是高斯基函数。

RBF网络是一种三层前向网络，由输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，而且RBF网络是局部逼近的神经网络，因而采用RBF网络可大大加快学习速度并避免局部极小问题，适合于实时控制的要求。采用RBF网络构成神经网络控制方案，可有效提高系统的精度、鲁棒性和自适应性。

多输入单输出的RBF网络结构如图所示。

在RBF神经网络中，为网络输入，hj为隐含层第 j 个神经元的输出，即

其中，，为第 j 个隐层神经元的中心点向量值，高斯基函数的宽度矢量为，为隐含层神经元 j 的高斯基函数的宽度。网络的权值为，RBF网络的输出为

由于RBF网络只调节权值，因此，RBF网络较BP网络有算法简单、运行时间快的优点。但由于RBF网络中，输入空间到输出空间是非线性的，而隐含空间到输出空间是线性的，因而其非线性能力不如BP网络。

RBF网络可对任意未知非线性函数进行任意精度的逼近。在控制系统设计中，采用RBF网络可实现对未知函数的逼近。

例如，为了估计未知函数f(x)，可采用如下RBF网络算法进行逼近

其中，W*为理想权值，ε 为网络的逼近误差，满足。

在控制系统设计中，可采样RBF网络对未知函数 f 进行逼近。一般可采用系统状态作为网络的输入，网络输出为

w为估计权值。

在控制系统设计中，定义， w的调节可通过自适应方法进行设计。

在实际的控制系统设计中，为了保证网络的输入值处于高斯基函数的有效范围，应根据网络的输入值实际范围确定高斯基函数中心点；为了保证高斯基函数的有效映射，需要将高斯基函数的宽度取适当的值。

4. Hopfield神经网络

1986年美国物理学家J. J. Hopfield利用非线性动力学系统理论中的能量函数方法研究反馈人工神经网络的稳定性，提出了Hopfield神经网络，并建立了求解优化计算问题的方程。

基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统，Hopfield网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。Hopfield神经网络是一个反馈型神经网络，网络中的神经元在t时刻的输出状态实际上间接地与自己的t-1时刻的输出状态有关，其状态变化可以用差分方程来描述。反馈型网络的一个重要特点就是它具有稳定状态，当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。

Hopfield神经网络的能量函数不是物理意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。

Hopfield工作时，各个神经元的连接权值是固定的，更新的只是神经元的输出状态。Hopfield神经网络的运行规则为：首先从网络中随机选取一个神经元 ui 进行加权求和，再计算 ui 的第 t+1 时刻的输出值。除 ui 以外的所有神经元的输出值保持不变，直至网络进入稳定状态。

Hopfield神经网络模型是由一系列互联的神经单元组成的反馈型网络，如图所示，其中虚线框内为一个神经元 wij 为第j个神经元到第 i 个神经元的连接权值。 Vi 为神经元的输出，是神经元状态变量 ui 的非线性函数。

对于Hopfield神经网络第i 个神经元，采用微分方程建立其输入输出关系，即：

其中，。函数g(·)为双曲函数，一般取为：

Hopfield网络的动态特性要在状态空间中考虑，分别令为具有n个神经元的Hopfield神经网络的状态向量，为输出向量，为网络的输入向量。

为了描述Hopfield网络的动态稳定性，定义能量函数：

若权值矩阵W是对称的（wij=wji），则

由于，则

由于 Ci>0且双曲函数是单调上升函数，显然它的反函数 g-1(vi) 也为单调上升函数，即，也可得到，即能量函数E 具有负的梯度，当且仅当 dvi/dt=0 时， dE/dt=0 。由此可见，随着时间的演化，网络的解在状态空间中总是朝着能量 E减少的方向运动。网络最终输出向量V 为网络的稳定平衡点，即E 的极小点。