💠神经网络（neural network）
神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分是 神经元(neuron / unit)，即上述定义的 “简单单元”。
💠神经元
在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个 “阈值”(threshold / bias)， 那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。
💠M-P 神经元模型
[McCulloch and Pitts, 1943] 将上述情形抽象为 “M-P 神经元模型” ：
在这个模型中， 神经元接收到来自 n 个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接(connection)进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过 “激活函数” (activation function) 处理以产生神经元的输出。
💠激活函数：阶跃函数
💠激活函数：Sigmoid函数（S形函数）
由于阶跃函数具有 不连续、不光滑 等不太好的性质。因此实际常用Sigmoid函数作为激活函数：
💠感知机（perceptron）
感知机由两层神经元组成：
- 输入层：接收外界输入信号后传递给输出层。
- 输出层：一个 M-P神经元。
感知机表示 “与”、“或”、“非” 运算：
感知机可以容易地实现 与、或、非运算：
对于
y
=
f
(
∑
i
ω
i
x
i
−
θ
)
y=f(\sum_i\omega_ix_i-\theta)
y=f(∑iωixi−θ) 且假定其中的
f
f
f 是阶跃函数：
| 要表示的逻辑运算 | 数学表示 | 所用的权重与阈值 | 备注 |
|---|---|---|---|
与 | x 1 ∧ x 2 x_1\land x_2 x1∧x2 | ω 1 = ω 2 = 1 , θ = 2 \omega_1=\omega_2=1,\theta=2 ω1=ω2=1,θ=2 | 仅在 x 1 = x 2 = 1 x_1=x_2=1 x1=x2=1 时 y = 1 y=1 y=1 |
或 | x 1 ∨ x 2 x_1\lor x_2 x1∨x2 | ω 1 = ω 2 = 1 , θ = 0.5 \omega_1=\omega_2=1,\theta=0.5 ω1=ω2=1,θ=0.5 | x 1 = 1 x_1=1 x1=1 或 $ x_2=1$ 时 y = 1 y=1 y=1 |
非 | ¬ x 1 \lnot x_1 ¬x1 | ω 1 = − 0.6 , ω 2 = 0 , θ = − 0.5 \omega_1=-0.6, \omega_2=0,\theta=-0.5 ω1=−0.6,ω2=0,θ=−0.5 | x 1 = 1 x_1=1 x1=1 时 y = 0 y=0 y=0， x 1 = 0 x_1=0 x1=0 时 y = 1 y=1 y=1 |
感知机的学习
权重 ω i ( i = 1 , 2 , . . . , n ) \omega_i(i=1,2,...,n) ωi(i=1,2,...,n) 以及阈值 θ \theta θ 可通过学习得到。
阈值
θ
\theta
θ 可以看作是一个固定输入值为 -1.0 的 “哑结点(dummy node)”所对应的连接权重
ω
n
+
1
\omega_{n+1}
ωn+1。
即：
ω
1
⋅
x
1
+
ω
2
⋅
x
2
+
.
.
.
+
ω
n
⋅
x
n
−
θ
=
ω
1
⋅
x
1
+
ω
2
⋅
x
2
+
.
.
.
+
ω
n
⋅
x
n
+
ω
n
+
1
⋅
(
−
1.0
)
\begin{alignedat}{3} & \omega_1 \cdot x_1+\omega_2\cdot x_2 +...+\omega_n\cdot x_n-\theta \\ =& \omega_1 \cdot x_1+\omega_2\cdot x_2 +...+\omega_n\cdot x_n+\omega_{n+1}\cdot(-1.0) \\ \end{alignedat}
=ω1⋅x1+ω2⋅x2+...+ωn⋅xn−θω1⋅x1+ω2⋅x2+...+ωn⋅xn+ωn+1⋅(−1.0)
所以，“权重和阈值的学习” 可以统一为 “权重的学习”。
感知机的学习规则非常简单，对于训练样本
(
x
,
y
)
(\bold{x},y)
(x,y) ，若当前感知机的输出为
y
^
\hat{y}
y^ 则感知机这样调整：
ω
i
←
ω
i
+
Δ
ω
i
其中
Δ
ω
i
=
η
(
y
−
y
^
)
x
i
\omega_i \leftarrow \omega_i+\Delta\omega_i \\ 其中\Delta\omega_i=\eta(y-\hat{y})x_i
ωi←ωi+Δωi其中Δωi=η(y−y^)xi
其中 η ∈ ( 0 , 1 ) \eta \in(0,1) η∈(0,1) 称为 学习率(learning rate)。通常设置为一个小的正数比如 0.1 。
💠线性可分问题（linearly separable）
线性可分：存在一个线性超平面能分开。
比如刚才提到的 与、或、非运算：
异或运算是非线性可分问题：
💠多层神经网络
感知机只拥有一层有激活函数的神经元（另一层是输入层）。其学习能力十分有限。实际上，对于 “线性可分” 问题，感知机的学习过程一定会 收敛(converge)，最终求得稳定的权重值。但对于 “非线性可分” 问题，感知机的学习过程不能收敛，会发生 振荡(fluctuation)，难以求得稳定的权重值。
要解决非线性可分问题，需要考虑多层神经网络。
💠隐含层(hidden layer)
输出层和输入层之间的层被称为 隐含层(hidden layer)。
隐含层和输出层神经元都是拥有激活函数的神经元。
表示“异或”运算的网络
💠多层前馈神经网络（multi-layer feedforward neural network）
更一般的，常见的神经网络如图所示：
每层神经元与下层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。这样的神经网络结构通常称为 “多层前馈神经网络”。
（其中的 “前馈” 并不意味着网络中的信号不能向后传，而是指网络拓扑结构上不存在 “环” 或 “回路”）
💠误差逆传播（error BackPropagation，简称BP）算法
多层网络学习能力比单层的感知机强得多，但需要更强大的学习算法。误差逆传播（error BackPropagation，简称BP）算法就是其中最杰出的代表，它是迄今最成功的神经网络学习算法。下面解释这个算法。
给定训练集
D
=
{
(
x
1
,
y
1
)
,
(
x
2
,
y
2
)
,
.
.
.
,
(
x
m
,
y
m
)
}
D=\{(\bold{x}_1,\bold{y}_1),(\bold{x}_2,\bold{y}_2),...,(\bold{x}_m,\bold{y}_m)\}
D={(x1,y1),(x2,y2),...,(xm,ym)} 。
每个输入示例
x
k
\bold{x}_k
xk 有
d
d
d 个属性描述，即
x
k
=
{
x
1
k
,
x
2
k
,
.
.
.
,
x
d
k
}
\bold{x}_k=\{x^k_1,x^k_2,...,x^k_d\}
xk={x1k,x2k,...,xdk}
对应的每个输出示例
y
k
\bold{y}_k
yk 是
l
l
l 维实值向量，即
k
i
=
{
y
1
k
,
y
2
k
,
.
.
.
,
y
l
k
}
\bold{k}_i=\{y^k_1,y^k_2,...,y^k_l\}
ki={y1k,y2k,...,ylk}
下面给出一个拥有
d
d
d 个输入神经元，
l
l
l 个输出神经元，
q
q
q 个隐层神经元 的多层前馈神经网络：
其中：
θ
j
\theta_j
θj 表示输出层第
j
j
j 个神经元的阈值。
γ
h
\gamma_h
γh 表示隐层第
h
h
h 个神经元的阈值。
ω
h
j
\omega_{hj}
ωhj 表示隐层第
h
h
h 个神经元与输出层第
j
j
j 个神经元的连接权重。
v
i
h
v_{ih}
vih 表示输入层第
i
i
i 个神经元与隐层第
h
h
h 个神经元的连接权重。
然后：
用
β
j
\beta_j
βj 表示输出层第
j
j
j 个神经元接收到的输入，即
β
j
=
∑
h
=
1
q
ω
h
j
b
h
\beta_j=\sum_{h=1}^q \omega_{hj}b_h
βj=∑h=1qωhjbh
用
α
h
\alpha_h
αh 表示隐层第
h
h
h 个神经元接收到的输入，即
α
h
=
∑
i
=
1
d
v
i
h
x
i
\alpha_h=\sum_{i=1}^dv_{ih}x_i
αh=∑i=1dvihxi
也就是说，在计算上面的神经元时：
y
j
=
f
(
β
j
−
θ
j
)
y_j=f(\beta_j-\theta_j)
yj=f(βj−θj)
b
h
=
f
(
α
h
−
γ
h
)
b_h=f(\alpha_h-\gamma_h)
bh=f(αh−γh)
上述神经网络里一共要学习的参数有：
- l l l 个输出层神经元的阈值。即 θ j \theta_j θj
- q q q 个隐层神经元的阈值。即 γ h \gamma_h γh
- 隐层到输出层的 q × l q\times l q×l 个权重值。即 ω h j \omega_{hj} ωhj
- 输入层到隐层的 d × q d\times q d×q 个权重值。即 v i h v_{ih} vih
BP是一个迭代学习算法，在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计。与感知机类似，任意参数
v
v
v 的更新估计式为：
v
←
v
+
Δ
v
v \leftarrow v+\Delta v
v←v+Δv
BP算法基于 梯度下降(gradient descent) 策略，以目标的负梯度方向对参数进行调整。即对于误差
E
k
E_k
Ek 和学习率
η
\eta
η ，有：
Δ
v
=
−
η
∂
E
k
∂
v
\Delta v=-\eta\frac{\partial E_k}{\partial v}
Δv=−η∂v∂Ek
假设隐层和输出层的神经元都使用了 s i g m o i d ( x ) = 1 1 + e − x sigmoid(x)=\frac{1}{1+e^{-x}} sigmoid(x)=1+e−x1 作为激活函数 f f f。
对于训练集
(
x
k
,
y
k
)
(\bold{x}_k,\bold{y}_k)
(xk,yk)，假设神经网络的输出为
y
^
k
=
(
y
^
1
k
,
y
^
2
k
,
.
.
.
,
y
^
l
k
)
\hat{\bold{y}}_k=(\hat{y}_1^k,\hat{y}_2^k,...,\hat{y}_l^k)
y^k=(y^1k,y^2k,...,y^lk)，即
y
^
j
k
=
f
(
β
j
−
θ
j
)
\hat{y}^k_j=f(\beta_j-\theta_j)
y^jk=f(βj−θj)
而网络在
(
x
k
,
y
k
)
(\bold{x}_k,\bold{y}_k)
(xk,yk) 上的均方误差为：（下面式子的
1
2
\frac{1}{2}
21 没有特别的意义，可加可不加，加了后只是让求导的结果少了个系数，表示上更优雅而已）
E
k
=
1
2
∑
j
=
1
l
(
y
^
j
k
−
y
j
k
)
2
E_k=\frac{1}{2} \sum_{j=1}^l(\hat{y}^k_j-y^k_j)^2
Ek=21j=1∑l(y^jk−yjk)2
则可以求得，各个参数的更新公式为：
Δ
ω
h
j
=
η
g
j
b
h
Δ
θ
j
=
−
η
g
j
Δ
v
i
h
=
η
e
h
x
i
Δ
γ
h
=
−
η
e
h
其中：
g
j
=
y
^
j
k
(
1
−
y
^
j
k
)
(
y
j
k
−
y
^
j
k
)
e
h
=
b
h
(
1
−
b
h
)
∑
j
=
1
l
ω
h
j
g
j
\Delta\omega_{hj}=\eta g_jb_h \\ \Delta\theta_j=-\eta g_j \\ \Delta v_{ih}=\eta e_hx_i \\ \Delta\gamma_h=-\eta e_h \\ 其中：\\ g_j=\hat{y}^k_j(1-\hat{y}^k_j)(y^k_j-\hat{y}^k_j)\\ e_h=b_h(1-b_h)\sum^l_{j=1}\omega_{hj}g_j
Δωhj=ηgjbhΔθj=−ηgjΔvih=ηehxiΔγh=−ηeh其中：gj=y^jk(1−y^jk)(yjk−y^jk)eh=bh(1−bh)j=1∑lωhjgj
算法：
在(0,1)范围内随机初始化网络中的所有权重和阈值
repeat
····for all ( x k , y k ) ∈ D (\bold{x}_k,\bold{y}_k) \in D (xk,yk)∈D do
········计算出当前样本的输出 y ^ k \hat{\bold{y}}_k y^k
········计算出 l l l 个 g j g_j gj
········计算出 q q q 个 e h e_h eh
········更新 θ j \theta_j θj、 γ h \gamma_h γh、 ω h j \omega_{hj} ωhj、 v i h v_{ih} vih
····end for
until 达到停止条件（比如训练误差已经达到一个很小的值）
上面介绍的是“标准BP算法”，每次针对一个样例更新参数。
“累计BP算法”：针对累计误差进行更新，即读取整个训练集一遍后才进行一轮更新。
如何设置隐层神经元的个数仍是未决的问题，实际中通常靠 “试错法”(trail-by-error) 调整。
💠缓解过拟合的策略：早停（early stopping）
将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差。若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值。
💠缓解过拟合的策略：正则化（regularization）
在误差目标函数中增加一个 “用于描述网络复杂度的部分”，比如“连接权与阈值的平方和”。令
ω
i
\omega_i
ωi 表示连接权和阈值。则误差目标函数变为：
E
=
λ
1
m
∑
k
=
1
m
E
k
+
(
1
−
λ
)
∑
i
ω
i
2
E=\lambda\frac{1}{m}\sum^m_{k=1}E_k+(1-\lambda)\sum_i\omega_i^2
E=λm1k=1∑mEk+(1−λ)i∑ωi2
其中
λ
∈
(
0
,
1
)
\lambda\in(0,1)
λ∈(0,1) 用于对“经验误差”与“网络复杂度”这两项折中，常通过交叉验证法来估计。
💠“全局最小” 与 “局部极小”
若用 E E E 表示神经网络在训练集上的误差，则它显然是关于 “连接权 w \boldsymbol{w} w” 和 “阈值 θ \theta θ” 的函数。那么神经网络的训练过程可以看作是一个参数寻优的过程，即在参数空间中，寻找一组最优参数使得 E E E 最小。
两种“最优”：“全局最小(global minimum)” 和 “局部极小(local minimum)”：
可能存在多个“局部极小”，但只会有一个“全局最小”。显然，我们希望找到“全局最小”。
基于梯度的搜索是使用最为广泛的参数寻优方法。负梯度就是函数下降最快的方向，因此梯度下降法就是沿着负梯度寻找最优解，最终抵达梯度为零的局部极小，更新量为零，即停止。显然，如果误差函数仅有一个局部极小，则此时找到的局部极小就是全局最小。然而，如果误差函数有多个局部极小，则不能保证我们找到了全局最小，此时我们称“陷入”了局部极小，这显然不是我们希望的。
人们常采用以下策略来试图“跳出”局部极小，从而接近全局最小：
- 以多组参数初始化多个网路。最后选择最小的。
- “模拟退火”（simulated annealing）：每一步都以一定概率接收比当前解更差的结果（但是概率应该逐渐降低，从而让算法稳定）
- 使用随机梯度下降：在计算梯度时加入随机因素。
- 遗传算法
需要注意，上述用于跳出局部极小的技术大多是启发式，理论上尚缺乏保障。
其他常见神经网络
（笔者注：原文此处介绍的比较简略，有很多名词我无法理解，所以这里仅保留名字，不做更多记录）
- RBF（Radial Basis Function，径向基函数）网络
- ART（Adaptive Resonance Theory，自适应谐振理论）网络。一种竞争学习型无监督神经网络。
- SOM（Self-Organizing Map，自组织映射）网络。一种竞争学习型无监督神经网络。
- 级联相关（Cascade-Correlation）网络。是结构自适应网络的重要代表。
- Elman网络是最常用的 “递归神经网络”（允许网络中出现环形结构）
- Boltzmann机，是一种“基于能量的模型”，现实中常采用 “受限Boltzmann机”（Restricted Boltzmann Machine，简称RBM）
💠深度学习
典型的深度学习模型就是很深层的神经网络。
虽然模型复杂度可以通过单纯增加隐层神经元数目来实现，但是从增加模型复杂度的角度来看，“增加隐层数目” 显然比 “增加隐层神经元数目” 更有效，因为这还增加了激活函数嵌套的层数。
然而，多隐层神经网络难以直接用经典算法（例如标准BP算法）进行训练，因为误差在多隐层内逆传播时，往往会 “发散(diverge)” 而不能收敛到稳定状态。
多隐层神经网络的训练策略：
- 无监督逐层学习（unsupervised layer-wise training）：每次训练一层隐结点，训练时将上一层隐结点的输出作为输入，而本层隐结点的输出作为下一层隐结点的输入，这称为"预训练" (pre-training)；在顶训练全部完成后，再对整个网络进行"微调" (fine-tuning)训练。
- 例如在深度信念网络（deep belief network，简称DBN），每层都是一个 “受限Boltzmann机”（Restricted Boltzmann Machine）。
- 权共享（weight sharing）：让一组神经元使用相同的连接权。
- 这个策略在 “卷积神经网络”（Convolutional Neural Network，简称CNN）中发挥了重要作用。
💠卷积神经网络（Convolutional Neural Network，简称CNN）
以 [LeCun et al., 1998] 《Gradient-based learning applied to document recognition》 中用CNN进行手写文字识别任务为例。
这里结合原论文的描述对每一层解释：
- 输入层： 32 × 32 32\times32 32×32 像素的图像。
- 卷积层C1：我们使用的卷积核的大小为 5×5。由于输入图片每行有32个像素，所以卷积后每行有32-5+1=28个值。即卷积后是有28×28个值的 特征映射（feature map，也成为特征图），这样特征图的每个值对应输入给一个神经元，所以共有28×28个神经元。需要注意，“权共享”意味着，这28×28个神经元将共享一个权重值。对于C1这一层，我们使用了6个特征图。所以在C1层总共需要训练的参数数量为：6个特征图×(卷积核中5×5个权重+1个阈值)=156。
- 采样层S2：采样层亦称为 “汇合” (pooling)层，其作用是基于局部相关性原理进行亚采样，从而在减少数据量的同时保留有用信息。对于S2这一层，它其中的每个神经元对应于输入的2×2邻域，所以长宽都是输入的一半，即14×14。同样，“权共享”意味着，这14×14个神经元将共享一个权重值和阈值。所以在S2层总共需要训练的参数数量为：6个特征图×(1个权重+1个阈值)=12。
- 卷积层C3。同样使用大小为5×5的卷积核。卷积后是10×10大小的特征映射。使用16个特征图。但是需要注意，并非输入的S2的6个特征图每个都与C3的16个特征图的每个相连。实际是这样：
即：前6个从S2中三个相邻的特征图获取输入。接下来的6个从S2中四个相邻的特征图获取输入。接下来的3个从四个特征图的不连续子集获取输入。最后1个从S2中所有特征图获取输入。数一数上图的X的个数，总共60个，即60个卷积核。所以在C3层总共需要训练的参数数量为：卷积核中5×5个权重×60个卷积核+16个阈值=1516。 - 采样层S4。类似S2，长宽都是输入的一半，即5×5。在S4层总共需要训练的参数数量为：16个特征图×(1个权重+1个阈值)=32。
- 卷积层C5。同样使用大小为5×5的卷积核，由于输入的S4的特征图的尺寸也是5×5，所以C5的特征图的尺寸变为了1×1。C5由120个特征图构成，与S4全连接。所以C5层总共需要训练的参数数量为：卷积核中5×5个权重×120×16+120个阈值=48120。
- 连接层F6。由84个神经元构成（为什么数目是84，原文有解释），与C5全连接。所以F6层总共需要训练的参数数量为：120×84个权重+84个阈值=10164。
![[经验] 驰这个汉字的拼音是什么 #学习方法#其他#媒体](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=https%3A%2F%2Fwww.hao123rr.com%2Fzb_users%2Fcache%2Fly_autoimg%2Fn%2FNzc1MzA.jpg&pos_id=f8V9JvdT)
