hw12 - 不知道该起个什么名字

task1

题目内容

在小批量梯度下降中，尝试分析为什么学习率要和批量大小成正比。

题目分析+题目解答

首先是小批量梯度下降的中有：
$$g_t(\theta )=\frac{1}{K}\sum _{(x,y)\in S_t}\frac{\partial L(y,f(x;\theta )}{\partial \theta }$$
$${\theta }_t={\theta }_{t-1}-\alpha g_t$$
==>$${\theta }_t={\theta }_{t-1}-\frac{\alpha }{K}\sum _{(x,y)\in S_t}\frac{\partial L(y,f(x;\theta )}{\partial \theta }$$
不难发现$\alpha \propto \frac{\alpha }{K}\propto {\theta }_t$，学习率和批量大小成正比时效果最好。
$\square$

题目总结

本题考查的是梯度下降中梯度和参数更新的公式，以及对于公式的理解。

task2

题目内容

在Adam算法中，说明指数加权平均的偏差修正的合理性。

题目分析+题目解答

我们知道Adam算法的算法逻辑和更新规则：

不难发现，当${\rho }_1\to 1且{\rho }_2\to 1$时，${\lim }_{{\rho }_1\to 1}{s}_t=s_{t-1}，{\lim }_{{\rho }_2\to 1}{r}_t=r_{t-1}$，此时梯度消失，指数加权平均需要进行偏差修正。
$\square$

题目总结

本题考查的是Adam算法更新参数的过程，以及其存在的梯度消失问题和偏差修正算法。

task3

题目内容

证明在标准的随机梯度下降中，权重衰减正则化和$l2$正则化的效果相同。并分析这一结论在动量法和Adam算法中是否依然成立。

题目分析+题目解答

设$L_0$为第t步时的损失函数，则
$$L_t=L_0+\lambda \Omega (\theta )=\frac{\lambda }{2}||\omega |{|}^2$$
$$\frac{\partial L}{\partial \omega }=\frac{\partial L_0}{\partial \omega }+\lambda \omega ,\frac{\partial L}{\partial b}=\frac{\partial L_0}{\partial b}$$
进行SGD，可得：
$${\omega }_{new}\leftarrow \omega -\eta (\frac{\partial L_0}{\partial \omega }+\lambda \omega )$$
$$=(1-\eta \lambda )\omega -\eta \frac{\partial L_0}{\partial \omega }$$
同理，$$b_{new}\leftarrow b-\eta \frac{\partial L_0}{\partial b}$$
可得：
$${\theta }_t\leftarrow (1-\beta ){\theta }_{t-1}-\alpha g_t$$
令$\beta =\eta \lambda$或令$\lambda =\frac{\eta }{\beta }$可使权重衰减正则化和$l2$正则化的效果相同。
$\square$
对于Adam算法，L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。当与自适应梯度相结合时（动量法和Adam算法），L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。

题目总结

本题考查的是正则化的计算和参数更新的过程，以及其在特殊情况下的等价情况。

写在最后

本章介绍了网络正则化和网络优化的相关知识，通过学习这些内容，我们能够对于网络的优化问题有一个很好的认识，这边给出这一章的思维导图：