目录
一、人工神经元模型
1、概念
2、分类
二、感知器的结构
三、反向传播网络
四、自组织映射神经网络
五、离散HOPFIELD网络
1、离散Hopfield网络结构
2、离散Hopfield网络的稳定性
3、离散Hopfield网络学习算法
六、脉冲耦合神经网络
一、人工神经元模型
1、概念
人工神经元模型：对生物神经元的抽象（由数学得到的）和模拟（由结构和功能得到的）。
下图为人工神经元模型，x是输入值，w是权值，人工神经元输出：。
2、分类
M-P模型：
S型神经元(Sigmoid)：
伪线型神经元：
概率型神经元：一种二值随机神经元模型，输出状态只有0或1。
输出为1的概率：
输出为0的概率：
二、感知器的结构
感知器1958年由罗森布拉特提出，是一种感知器的训练算法，成功引用于模式分类问题。
感知器学习算法：
（1）初始化：
（2）第一次迭代：
新误差：
新权重：
新偏置：
（3）重复迭代。
三、反向传播网络
反向传播网络：是一种基于梯度下降算法的人工神经网络，可以自动地学习输入和输出之间的映射关系。在反向传播网络中，神经元按照层次分组，层间存在多个连接，并设置连接中的权值通过不断进行迭代，调整权值达到最优效果。反向传播网络有两个阶段：前向传播和反向传播，前向传播从输入开始，依次计算网络的输出，同时计算输出误差，反向传播中，误差从输出层开始向输入层传递，通过链式法则计算每个神经元的梯度，并根据梯度下降算法来更新权值，不断迭代，获得最优解。
反向传播算法训练网络时有两种方式，一种每输入一个样本修改一次权值，另一种批处理方式。
四、自组织映射神经网络
Kohonen提出自组织特征映射，认为一个神经网络接受外界输入模式，将会分成不同区域，各区域对输入模式具有不同的相应特征，同时这一过程是自动完成。
自组织特征映射算法（SOM）是一种无监督学习的聚类方法。
自组织映射神经网络特点：
（1）各神经元的连接权值具有一定的分布
（2）最邻近的神经元互相刺激
（3）较远的神经元则互相抑制
（4）更远一些有较弱的刺激作用
五、离散HOPFIELD网络
1、离散Hopfield网络结构
Hopfield网络是由J.Hopfield教授1982年提出的一种具有相互连接的反馈型神经网络模型。分为离散型和连续型两种网络模型。
离散型：经过激活函数后，输出结果为离散的，0或1，表示神经元的激活和抑制状态。
连续型：经过激活函数后，输出结果为连续的，如Sigmoid函数。
离散Hopfield网络有串行和并行两种方式，串行状态，任意时刻只有一个神经元改变状态，其余不变，并行状态，任意时刻所有神经元同时改变状态。
2、离散Hopfield网络的稳定性
由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使网络具有动态性，网络的状态在不断的改变之中，所以就提出了网络的稳定性问题。
设用X（t）表示在网络上时刻t的状态，如果从t=0的任一初始状态X（0）开始，存在一个有限的时刻t，使得从此时刻开始神经网络的状态不再发生变化，即，则网络是稳定的。
3、离散Hopfield网络学习算法
（1）设置互连权值
（2）未知类别样本初始化
（3）迭代直到收敛
f是阈值型激发函数，该过程会不断迭代直到不再改变节点输出为止，此时输出和输入达 到最佳匹配。
（4）回到第（2）步进行循环。
六、脉冲耦合神经网络
脉冲耦合神经网络（PCNN）：模型来源于猫的视觉皮层神经细胞的研究成果，具有同步脉冲激发现象，阈值衰减及参数可控等特性，在数字图像处理等领域中具有广阔的应用前景。脉冲耦合神经网络是一种基于模拟神经网络的图像处理方法，不同于传统神经网络的连续输出，PCNN的输出是由每个神经元发出的脉冲信号来表示的。
脉冲耦合神经网络由三部分构成，接收部分（链接域和馈送域），调制部分，脉冲产生部分。
参考视频：【人工智能教程】9.1 - 人工神经元模型_哔哩哔哩_bilibili
参考书籍：《人工智能原理》丁世飞
