前一篇文章，使用线性回归模型逼近目标模型 | PyTorch 深度学习实战

本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started

本篇文章内容来自于 强化学习必修课：引领人工智能新时代【梗直哥瞿炜】

发展历史

机器学习，就是随机初始化参数，然后根据损失函数，不断的使用梯度更新参数。 因此，如何精确的调整参数，十分重要，这个参数更新的算法就是梯度下降，梯度下降算法出现后，不断的演进。

梯度下降变种算法提出时间轴：

• 1847 年 梯度下降算法
• 1957 年 随机梯度下降算法 SGD
• 1993 年 动量法
• 1994 年 小批量随机梯度动量法
• 2011 年 AdaGrad 算法
• 2011 年 AdaDelta 算法
• 2012 年 RMSProp/AdaDelta 算法
• 2014 年 Adam 算法

不同梯度下降算法的原理概述

不同算法的区别，主要体现在 2,3 步。对于1、4 步，是通用的。

核心差异

• 更多参考文章 深度学习里面的而优化函数

通过可视化比较，不同算法在梯度上，选择下降的方向是不同的，论文 《An empirical analysis of the optimization of deep network loss surfaces》。

比如，RMSProp 和 AdaDelta 算法

最佳策略的讨论

不能一下子确定哪个最好，要根据数据、问题进行尝试，通常的经验如下：

• 不想做精细的调优，那么就用 Adam；类似于开车上的自动挡
• 更加自如地控制优化迭代的各类参数，那么 SGD，选择性的添加动量等，相当于开车上的手动挡
• 先用 Adam 快速下降，再用 SGD 调优

• 还是熟悉自己的数据，如果数据是稀疏的，那么就是选择学习率自适应的算法
• 使用一个小规模的验证集，进行控制变量法的对比，看哪个算法能快速的收敛

Momentum 动量法

物理学中的动量

动量守恒定律：一个物质系统不受外力或所受外力之和为零，（即 $F_{合外力}=0$ ），那么它的动量必定守恒 。这个定律用数学表达式记作：

因为动量是矢量，所以动量守恒定律的等式是一个矢量方程。若物体的运动是一维的，那么可以通过规定正方向将这个方程标量化，其中“+”表示物体运动方向与正方向相同，“-”表示物体运动方向与正方向相反。若物体的运动是二维甚至更高维度，则求和符合矢量相加减的原则。

动量守恒定律不仅适用于二体体系，也适用于多体体系：不仅适用于惯性系，也适用于非惯性系。动量守恒定律的适用范围比牛顿运动定律广。

深度学习中的动量

优化梯度下降的算法：动量有加速收敛的效果。

梯度更新

动量随机梯度下降。

将当前的梯度与上一步的梯度加权平均来减少梯度的震荡。

运动轨迹

直观的观察到，为什么动量可以优化学习过程 ：

优缺点

AdaGrad 算法

AdaGrad 是二阶随机梯度下降动量法的改进版本。二阶动量的出现，意味着自适应学习率优化算法时代的到来。（优化学习率的调整）

基本思想

对更新的很频繁的参数，更新的慢一点；对更新的不频繁的参数，当更新发生的时候，更新的大一点。更新过程：

• 计算一阶动量 $g_{\tau }$
• 根据一阶动量计算二阶动量 $V_t$
• 根据二阶动量、一阶动量和学习率，计算 ${\eta }_t$
• 根据 ${\eta }_t$ 更新参数 $w$

原理：参数更新越频繁，$V_t$ 越大，因为其出现在分母上，导致最终本次参数更新越小；与之相反，如果在更新过程历史中，参数更新越少，则 $V_t$ 越小，导致最终参数更新越大。

稀疏特征

当样本空间是稀疏特征矩阵的时候，AdaGrad 算法特别有效果。

优缺点

AdaGrad 算法优缺点

左图是 标准的 SGD，右侧是 AdaGrad.

AdaDelta 算法

避免使用手动调整学习率的方法，来控制训练过程。自动调整学习率，使得训练过程更加顺畅。

基本原理

• 左侧是 RMSProp 算法，右侧是 AdaDelta 算法
• $ϵ$ 是一个正数，防止分母为零
• E 是对当前梯度 g 或 $\Delta w$ 求期望

优缺点

RMSProp 算法

AdaGrad 存在学习率过小，学习收敛慢的问题。RMSProp 算法是对 AdaGrad 的问题的改进。

基本原理

基本原理是：改变二阶动量计算方法的策略，不累积全部历史梯度，而只关注过去一段时间窗口的下降梯度。

优缺点

缺点：增加了超参数，对稀疏特征矩阵的学习效果变差。

Adam 算法

目前最流行的梯度算法改进。

基本思想

把一阶动量和二阶动量都用起来。自适应动量估计。

• 快速收敛
• 引入两个因子 ${\beta }_1$ 控制一阶动量，通常使用 0.9; ${\beta }_2$ 控制二阶动量，通常设置为 0.999
• ${\hat{m}}_t$ 和 ${\hat{v}}_t$ 分别是对一阶动量和二阶动量的偏差矫正

Links

• 深度学习里面的而优化函数