5.1神经元模型——这是神经网络中最基本的成分。
5.2感知机与多层网络——由简单的感知机循序渐进引出多层前馈神经网络。
5.3误差逆传播算法——BP算法,迄今最成功的神经网络学习算法。算法如下(公式参考西瓜书)
停止条件与缓解BP过拟合的策略有关,一种策略是“早停”,一种是“正则化”。
5.4全局最小与局部极小——基于梯度的搜索是使用最为广泛的参数寻优方法,但是有可能会陷入局部极小,随后给出了一些“跳出”局部极小的策略。
5.5其他常见神经网络——RBF网络、ART网络、SOM网络、级联相关网络、Elman网络、Boltzmann机。
5.6深度学习——模型复杂程度提高,训练算法也有所不同,如无监督逐层训练、权共享。