梯度下降法

• 从一个随机点开始
• 决定下降方向（重要）
• 确定步长（重要）
  • 太小： 迭代太多次，消耗过多资源
  • 太大： 容易越界，不稳定
• 不断更新，直到符合停止标准
  • e.g. 变化足够小
    $$|f(w0)-f(w6)|<e=10^{-3}$$

凸函数(convex)和非凸函数

凸函数：最小二乘，岭回归，逻辑回归…

非凸函数：会在第一个最小的拐点停止，但是实际上还有更低点。

梯度更新方向选择

更新规则：
$$w_{i+1}=w_i-{\alpha }_i\frac{df}{dw}(w_i)$$
-dw : 斜率的负数，决定更新的方向
如果 -dw > 0 则往左走
如果 -dw < 0 则往右走
α ： 步长

公式推导：
Loss :
$$f(x)=||wx-y|{|}_2^2$$
求导：
$$\frac{df}{dw}(w)=2||wx-y|{|}_2$$
梯度更新：
$$w_{i+1}=w_i-\alpha ||wx-y||$$

2 包含在α里

步长的选择

$${\alpha }_i=\frac{\alpha }{n\sqrt{i}}$$

α : 常量
n : 训练集数量
i : iteration 迭代次数
随着迭代次数增加，步长越来越小。

随机梯度下降SGD(Stochastic Gradient Descent)

梯度下降法：

$$w_{i+1}=w_i-{\alpha }_i\sum _{j=1}^n(w_i^T{x}^{(j)}-y^{(j)})x^{(j)}$$
空间复杂度： O(nk)

SGD:

随机样本计算梯度，如果全部样本都计算梯度，计算量过大
$$w_{i+1}=w_i-{\alpha }_i(w_i^T{x}^{(j)}-y^{(j)})x^{(j)}$$
空间复杂度： O(k) 【取消了sum】
$$w_{i+1}=w_i+{\alpha }_i▼f_j(w_i)$$

j 表示随机抽取的样本

• 优点：
  • 每次更快，计算量更少
• 缺点：
  • 需要迭代更多次

Mini-batch SGD

$$w_{i+1}=w_i-{\alpha }_i\sum _{j\in B}^n(w_i^T{x}^{(j)}-y^{(j)})x^{(j)}$$

只计算最小batch的梯度更新

• 优点
  • 比SGD更大的计算量
  • 比GD更小的计算量
• 缺点
  • 多了一个参数 batch size