学习资料:https://www.bilibili.com/video/BV1mg4y187qv/?spm_id_from=333.788.recommend_more_video.1&vd_source=d6b1de7f052664abab680fc242ef9bc1
神经网络的特点:它不是一个解析模型,它的储存在一堆参数里面(确定一个超平面),很难解释物理意义是什么,不能直观看出来。
评价网络的好坏:主要看的不是它的精度,而是看它是否具有很好的泛化能力(测试集)。
1943 M-P模型的3种形式(文字、公式、图形描述神经元)->1958 单层感知器->1986 误差反向传播(解决隐层权重求解)作为多层感知器的算法
Note:
1.数学模型是抽象出来的,所以把不方便考虑到可以简化掉
2.加权求和–实际上是对神经元接收到的信号进行空间整合(为什么没有时间整合,因为模型假设认为信号同时到达的)
3.为什么要有阈值:并不是膜电位改变后一定有输出,有输出的一定是膜电位改变超过了阈值,超过阈值以后才产生一个输出,这个【输出】和【改变后超出阈值的膜电位变化值】之间是一个函数关系,f是输出函数/转移函数/激活函数 ,x(t)是输入信号
4.多层感知器(又称三层BP网),因为大部分多层感知器的算法是BP算法,但实际上还有其它算法。此处三层包括了输入层,实际上具有信号处理能力的层只有两层。
5.误差信号
δ
j
y
\delta_{j}^{y}
δjy,
δ
k
o
\delta_{k}^{o}
δko≠误差
Δ
v
\Delta{v}
Δv,
Δ
w
\Delta{w}
Δw。为什么引入误差信号的概念呢?从网络前向传播角度看,可以方便表示权值修正公式;从网络反向传播角度看,将误差信号作为输入层可以计算隐藏层的误差。
误差信号的构成有三个部分。
6.为什么要进行误差反传:由于只有输出层有教师信号(监督信号),输出层误差可以计算,而中间层并没有教师信号,所以这导致隐藏层的误差无法计算,因此也无法得到权值调整公式
Δ
v
\Delta{v}
Δv。
为了能够调整初始化的权值参数/让婴儿的大脑习得知识,我们用输出层的误差信号反传(反传过程中,误差信号相当于一个输入向量,需要对输入向量加权求和),从而得到隐藏层的误差信号。一旦隐藏层的误差信号有了,就可以算出来权值调整公式即隐藏层的误差。简言之,为了反传时可以根据误差信号获得隐藏层的误差)
单层感知器的功能:线性分类器分类的原理:把分类的知识分布式地存储在权向量(参数)里面
调参:就是调整分类界面的位置