Optimization for Deep Learning

news2024/11/15 11:00:17

Notations:

$\theta _{t}$ : model parameters at time step $t$
$\triangledown L(\theta _{t})$ or $g_{t}$ : gradient at $\theta _{t}$ used to compute $\theta _{t+1}$
$m_{t+1}$ : momentum accumulated from time step $0$ to time step $t$ , which is used to cpmpute $\theta _{t+1}$

Optimization

What is Optimization about?

找到一组参数 $\theta$ ，使得 $\sum _{x}L(\theta ;x)$ 最小，或者说是找到一组参数 $\theta$ ，使得 $L(\theta )$ 最小。

On-line: one pair of $(x_{t},\hat{y}_{t})$ at a time step
Off-line: all pair of $(x_{t},\hat{y}_{t})$ at a time step

SGD

当SGD计算出Gradient非常接近于0的时候，更新会卡在这个点上，不能再继续更新，以及自适应Learning Rate问题。

SGD with Momentum(SGDM)

如果梯度计算出来非常接近于0的话，在SGD的情况下，不会再跟新卡在这个点上，但是SGDM，当前的Momentum会由上一次的Momentum和当前的Gradient决定，也就是说，当前的Gradient不仅会考虑到当前计算出的梯度本身还会考虑之前累积的Gradient。通过SGDM就算是在当前梯度很接近于0的点也不会卡住，因为之前的Momentum会像惯性一样不会马上停下来会带着它冲出这个点，但是仍然自适应Learning Rate问题。

Adagrad

$\theta _{t} = \theta _{t-1}-\frac{\eta }{\sqrt{\sum _{i=0}^{t-1}(g_{i})^{2}}}g_{t-1}$

考虑这样的情况，如果过去的Gradient都是很大的情况下，说明在这个区域的Error surface比较崎岖， $\frac{\eta }{\sqrt{\sum _{i=0}^{t-1}(g_{i})^{2}}}$ 就会有比较小的值，Movement会很小，走的步子慢一点。如果过去的Gradient都是很小的情况下，说明在这个区域的Error surface比较平缓， $\frac{\eta }{\sqrt{\sum _{i=0}^{t-1}(g_{i})^{2}}}$ 就会有比较大的值，Movement会很大，走的步子大一点。