梯度下降是在机器学习中用于寻找最佳结果（即曲线最小值）的一种迭代优化算法。
最小化loss，只需要将参数沿着梯度相反的方向前进一个步长，就可以实现目标函数（loss function）的下降。这个步长 η \etaη 又称为学习速率。