用于个人知识点回顾，非详细教程
1.梯度下降
- 前向传播
特征输入—>线性函数—>激活函数—>输出
- 反向传播
根据损失函数反向传播，计算梯度更新参数
2.激活函数(activate function)
- 什么是激活函数？
在神经网络前向传播中，每一层的输出还需要经过激活函数再作为下一层的输入，即 a [ 1 ] = σ ( z [ 1 ] ) a^{[1]}=\sigma(z^{[1]}) a[1]=σ(z[1])
- 为什么需要激活函数？
如果没有非线性激活函数，模型的最终输出实际上只是输入特征x的线性组合
- 激活函数的分类
（1）sigmoid函数：除了输出层是一个二分类问题基本不会用
a
=
σ
(
z
)
=
1
1
+
e
−
z
a=\sigma(z)=\frac{1}{1+e^{-z}}
a=σ(z)=1+e−z1
（2）tanh函数：数据平均值更接近0，几乎所有场合都适用
a
=
t
a
n
h
(
z
)
=
e
z
−
e
−
z
e
z
+
e
−
z
a=tanh(z)=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}
a=tanh(z)=ez+e−zez−e−z
sigmoid函数和tanh函数两者共同的缺点是，在z特别大或者特别小的情况下，导数梯度或者函数斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度。
（3）Relu函数：修正线性单元，最常用的默认函数
a
=
m
a
x
(
0
,
z
)
a=max(0, z)
a=max(0,z)
（4）Leaky Relu函数：进入负半区
a
=
m
a
x
(
0.01
z
,
z
)
a=max(0.01z, z)
a=max(0.01z,z)
sigmoid函数和tanh函数在正负饱和区的梯度都会等于0，而Relu和Leaky Relu可以避免梯度弥散现象，学习速度更快
3. 正则化
- 偏差和方差
高方差过拟合，高偏差欠拟合
- L1/L2正则化
在损失函数加上正则化，L1正则化更稀疏
- dropout正则化
根据概率随机删除节点
- 其它正则化方法
4.优化算法
- mini-batch梯度下降法
数据集分成多个子集来更新梯度
- 动量梯度下降(momentum)
参数更新时的梯度微分值计算方式采用指数加权平均
- RMSprop(root mean square prop)
- Adam
momentum+RMSprop
![[LeetCode周赛复盘] 第 360 场周赛20230827](https://img-blog.csdnimg.cn/e6d9089527b9432ebb79a5cbb486b46d.png)
