【西瓜书】神经网络-MP神经元、感知机和多层网络
神经网络(neural networks)的定义:神经网络是由具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。(T. Kohonen 1988年在Neural Networks创刊号上给出的定义)。 在机器学习中谈论神经网络时,指的是神经网络学习。 神经网络中最基本的成分是神经元(neuron)模型。即上述定义中的简单单元。neuron 也称 unit。 生物神经网络中,每个神经元与其他神经元相连,当它“兴奋”时,就会向相邻的神经元发生化学物质,从而改变这些神经元内的电位;如果某神经元的电位超过了一个“阈值”(threshold),那么它就会激活,即“兴奋”起来向其他神经元发送化学物质。threshold 也叫 bias。
M-P神经元模型
来源于西瓜书-P97
在这个模型中,神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接(connection)进行传递,神经元接收到的总输入值将与这个神经元的阈值进行比较,然后通过“激活函数”(activation function)处理以产生神经元的输出。 产生“0”和“1”最好的函数时阶跃函数,但阶跃函数有不连续、不光滑等不太好的性质,实际常用 Sigmoid 函数作为激活函数,它能把较大范围内变化的数值挤压到(0, 1)输出值范围内,因此也被称为“挤压函数”(squashing function)。
感知机模型
来源于西瓜书-P99
感知机(Perception)由两层神经元组成。输入层接收外界输入信号后传递给输出层,输出层是M-P神经元。也称“阈值逻辑单元”(threshold logic unit)。 感知机可能容易地实现逻辑与、或、非运算。 阈值θ可看作一个固定输入为-1.0的“哑节点”(dummy node)所对应的连接权重。 η∈(0, 1) 称为学习率(learning rate),通常设置为一个小正数。 感知机只有输出层神经元进行激活函数处理,即只拥有一层功能神经元(functional neuron)。 事实上,与、或、非问题都是线性可分问题(linearly separable)问题,即存在一个线性超平面能将他们分开,这时感知机的学习过程一定会收敛(converge)而求得适当的权向量。否则感知机的学习过程将会发生振荡(fluctuation)。 非线性可分意味着用线性超平面无法划分。
多层网络
来自西瓜书-P101
要解决非线性可分问题,需考虑使用多层功能神经元。 输入和输出层之间的一层神经元,被称为隐层或隐含层(hidden layer),隐含层和输出层都是拥有激活函数的功能神经元。 只需要包含隐层,即可称为多层网络。 每层神经元与下一层神经元全连接,神经元之间不存在同层连接,也不存在跨层连接,这样的神经网络就通常称为“多层前馈神经网络”(Multi-layer feedforward natural networks)。“前馈”并不意味着网络中的信号不能向后传,而是指网络拓扑结构上不存在环或回路。 输入层神经元仅接受输入不进行函数处理,隐层与输出层包含功能神经元。 神经网络的学习过程,就是根据训练数据来调整神经元之间的“连接权”(connection weight)以及每个功能神经元的阈值。也就是说,神经网络学到的东西蕴含在连接权与阈值中。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2248300.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!