Abstract

本文为了提高深度神经网络的训练效率，提出了逐层权重衰减(layer-wise weight decay)。
本文方法通过逐层设置权重衰减稀疏的不同值，使反向传播梯度的尺度与权重衰减的尺度之比在整个网络中保持恒定。这种设置可以避免过拟合或欠拟合，适当地训练所有层，无需逐层调整系数。
该方法可在不改变网络模型的情况下提升现有DNN的性能。

1 Introduction

很多机器学习研究中，主要通过正则化避免过拟合。在深度学习中，通常使用三种正则化：dropout、数据增强、权重衰减。

本文提出的方法中，不需要任何试错过程就可以设置权重衰减系数，将其公式化，使其在训练时以相同的速率对网络的所有层进行正则化。

权重衰减正则化通过将其加入目标函数来降低网络中连接权重的$L_2$范数。加之前将范数乘以一个事先设定的系数。在正确训练网络时，调整这个系数是很重要的，因为一个很小的系数会导致过拟合，而一个很大的系数会导致欠拟合。 直觉上对所有曾进行同等对待是合理的，同时避免了手动调整每个系数所需的巨大计算成本。但这忽略了反向传播梯度和权重衰减之间的关系。
典型训练方法中，网络通过梯度和权重衰减两个方面进行更新，如图1所示。

图1：采用常数权重衰减系数的问题。反向传播梯度的尺度取决于上层权重的尺度，而权重衰减的尺度只取决于自身权重的尺度。因此，对于每一层，两者的比例是不同的，这导致了过拟合或欠拟合取决于层。

重点关注蓝色折线表示的第一个可训练层的更新，正如红色折线所示，由于反向传播，梯度的尺度取决于上层权重的尺度。相反，权重衰减的尺度仅取决于自身权重的尺度，如图中的蓝色折线所示。这两者之间的比例对于每一层来说都是不同的，这就导致了在某些层上的过拟合或者在另一些层上的欠拟合。因此，需要平衡梯度和权重衰减的尺度。

本文提出了逐层的权重衰减来有效地训练深度神经网络。该方法通过逐层设置不同的权重衰减系数的值，使得反向传播梯度的尺度和权重衰减的尺度在网络中的比例是恒定的。通过这种设置，可以对所有层进行适当的训练，而不必逐层调整系数。

2 Proposed Method

2.1 Overview

SGD梯度更新方法中，网络中的连接权重通过下式更新：
$$W_l^{t+1}=W_l^t-\eta (\frac{\partial E}{\partial W_l}{|}_{W_l^t}+\lambda W_l^t)\text{\hspace{1em}(1)}$$
其中$W_l^t$表示$t$次更新后第$l$层的连接权重，$\eta$是学习率，$E$是训练时用于最小化的目标函数，$\lambda$时权重衰减系数（正则化强度）。$W_l^t$用于第$l$层的前向传播和反向传播，如图2所示。

图2：第$l$层的前向传播和反向传播

Eq.1中的更新包含一个梯度项$\frac{\partial E}{\partial W_l}$，一个正则化项$\lambda W_l^t$。梯度通过反向传播计算，其规模取决于$W_k^t(k>l)$的规模。相对地，权重衰减的规模只取决于$W_l^t$。因此，对于每一层，梯度的尺度和权重衰减的规模比例是不同的。如果对所有层都使用相同的$\lambda$，对一些特定曾来说，衰减可能会过强或过弱，导致网络的过拟合或欠拟合。
为避免这个问题，利用逐层权重衰减，梯度的尺度和权重衰减的尺度之间的比值在整个网络中应当是恒定的：
$$W_l^{t+1}=W_l^t-\eta (\frac{\partial E}{\partial W_l}{|}_{W_l^t}+{\lambda }_l{W}_l^t)\text{\hspace{1em}(2)}$$
$${\lambda }_l=\frac{\text{scale}(\frac{\partial E}{\partial W_l})}{\text{scale}(W_l)}\lambda \text{\hspace{1em}(3)}$$
其中${\lambda }_l(l=1,\cdots ,L)$是逐层的权重衰减系数，$\text{scale}(\ast )$代表计算向量或矩阵的规模的函数。除了逐层设置权重衰减以外，本文方法和现有方法的训练网络方法相同。

2.2 Data-Dependent Layer-Wise Weight Decay

训练过程中，每次更新里，${\lambda }_l$通过Eq.3计算。定义$\text{scale}(W)=\text{ave}(|W|)$，其中$\text{ave}(\ast )$计算$\ast$的平均值。系数过于可变会影响优化性能，因此为了缓解这个问题，将${\lambda }_l$的上下界设置为
$${\lambda }_l=\max ({\rho }_{min},\min ({\rho }_{max},\frac{\text{scale}(\frac{\partial E}{\partial W_l})}{\text{scale}(W_l)}))\lambda \text{\hspace{1em}(4)}$$
其中${\rho }_{max}\lambda$和${\rho }_{min}\lambda$是${\lambda }_l$的上下界。实验中设置${\rho }_{max}=1,{\rho }_{min}=10^{-4}$，提升训练过程20%的计算开销。

2.3 Data-Independent Layer-Wise Weight Decay

初始化网络时，$W$通常设置为零平均值随机数，因此可以自然地定义$\text{scale}(W)=\text{std}(W)$，其中$\text{std}(\ast )$表示元素的标准差。将其带入Eq.3，可以得到：
$${\lambda }_l=\frac{\text{std}(\frac{\partial E}{\partial W_l})}{\text{std}(W_l)}\lambda \text{\hspace{1em}(5)}$$
为了计算Eq.5中的${\lambda }_l$，需要估计原始网络中的$\text{std}(\frac{\partial E}{\partial W_l})$和$\text{std}(W_l)$。$\text{std}(W_l)$可在模型参数初始化时决定，容易获得。为了简化描述，将$\frac{\partial E}{\partial \ast }$记作$\Delta \ast$。

如图2所示，令$x_l$和$y_l$表示第$l$层的输入和输出，应有$x_{l+1}=y_l$。
前向传播、反向传播可以写作：
$$y_l=W_l{x}_l\text{\hspace{1em}(6)}$$
$$\Delta x_l=W_l^T\Delta y_l\text{\hspace{1em}(7)}$$
$$\Delta W_l=x_l^T\Delta y_l\text{\hspace{1em}(8)}$$
根据反向传播可以得到：
$$\text{var}(\Delta W_l)=\text{var}(x_l^T\Delta y_l)=\text{var}(x_l)\text{var}(\Delta y_l)\text{\hspace{1em}(9)}$$
其中$\text{var}(\ast )$是计算一个矩阵或向量的所有元素的方差的函数。这里假设$x_l$和$\Delta y_l$是相互独立的，且均值为0。
最近的初始化方法通过网络将$\text{var}(x_l)$变为一个常数，因此这里将$\text{var}(x_l)$视作一个常数值。相反，$\text{var}(\Delta y_l)$可以计算为
$$\begin{array}{rl}\text{var}(\Delta y_l)=\text{var}(\Delta x_{l+1})& =M_{l+1}\text{var}(W_{l+1})\text{var}(\Delta y_{l+1})\\ & ={\beta }_{l+1}\text{var}(\Delta y_{l+1}),\text{where}{\beta }_k=m_k\text{var}(W_k)\end{array}\text{\hspace{1em}(10)}$$
其中$M_k$是第$k$层的输入和所有输出的连接数，${\beta }_k$表示连续连续两层的反向传播梯度的方差之间的比率。迭代地计算Eq.10，可以得到：
KaTeX parse error: Can't use function '$' in math mode at position 2: $̲\text{var}(\Del…
将Eq.11代入Eq.9，$\text{var}(\Delta W_l)$可以变为：
$$\text{var}(\Delta W_l)=\text{var}(x_l)\cdot {\gamma }_l\text{var}(\Delta y_L)=C\cdot {\gamma }_l\text{\hspace{1em}(13)}$$
其中$C$等价于$\text{var}(x_l)\text{var}(\Delta y_L)$，可以被视为一个常量，因为本文认为$\text{var}(x_l)$是个常量。将Eq.13代入Eq.5，可以获得：
$${\lambda }_l=\frac{\text{std}(\Delta W_l)}{\text{std}(W_l)}\lambda =\sqrt{\frac{\text{var}(\Delta W_l)}{\text{var}(W_l)}}\lambda =\sqrt{\frac{C\cdot {\gamma }_l}{\text{var}(W_l)}}\lambda \text{\hspace{1em}(14)}$$
由于上述方程含有两个常数值$C$和${\gamma }_l$，利用${\lambda }_L$作为权重衰减的基系数对方程进行变形：
$${\lambda }_l={\lambda }_L\cdot \frac{{\lambda }_l}{{\lambda }_L}={\lambda }_L\cdot \frac{\sqrt{\frac{C\cdot {\gamma }_l}{\text{var}(W_l)}}\lambda }{\sqrt{\frac{C\cdot {\gamma }_L}{\text{var}(W_l)}}\lambda }={\lambda }_L\sqrt{\frac{\text{var}(W_L)}{\text{var}(W_l)}{\gamma }_l}\text{\hspace{1em}(15)}$$
使用Eq.15，便可以在不训练数据时为网络的每一层计算${\lambda }_l$，因为我们认为$\text{var}(x_l)$是，并通过估计${\lambda }_l$和${\lambda }_L$的比例来从Eq.14估计${\lambda }_l$。网络的正则化强度可以通过设置${\lambda }_L$来调节。

2.4 Effects of Drop-Out

本节展示drop-out并不会影响Eq.15的逐层权重衰减。由于显然drop-out显然不会影响逐层权重衰减，因此关注梯度的规模，即Eq.9中的$\text{var}(x_l)$和$\text{var}(\Delta y_l)$。假设第$l$层的隐藏层结点被drop-out的概率是$p$，$\text{var}(\Delta y)$可以改写为：
$$\text{var}(\Delta y_l)=(1-p)M_{l+1}\text{var}(W_{l+1})\text{var}(\Delta y_{l+1}^{\ast })\text{\hspace{1em}(16)}$$
其中，$y_l^{\ast }$表示带有drop-out的第$l$层输出结果。由于被drop-out的神经元会被视为0，且保留的隐藏层神经元会被$\times 1/(1-p)$，因此可以将$\text{var}(\Delta y_{l+1}^{\ast })$变形为：
$$\begin{array}{rl}\text{var}(\Delta y_{l+1}^{\ast })& =\text{ave}((\Delta y_{l+1}^{\ast }{)}^2)\\ & =(1-p)\cdot \text{ave}((\frac{1}{1-p}\Delta y_{l+1}{)}^2)+p\cdot \text{ave}(0^2)\\ & =\frac{1}{1-p}((\Delta y_{l+1}{)}^2)=\frac{1}{1-p}\text{var}(\Delta y_{l+1})\end{array}\text{\hspace{1em}(17)}$$
将Eq.17代入Eq.16，可以得到和Eq.10相同的等式，意味着drop-out不会对$\text{var}(\Delta y_l)$产生影响。

2.5 Effects of Pooling Layer

在2.3节只考虑了卷积层和全连接层中带有可训练的权重，但是池化层在很多情况下也被使用。即使池化层不会对$\text{var}(x_l)$产生很大的影响，但其不会对$\text{var}(\Delta y_l)$有影响。因此，Eq.10中的${\beta }_l$在池化层也要被定义。本节定义${\beta }_l$在最大池化层和平均池化层中的数值。令$p$和$s$分别为池化大小和步长。

2.5.1 Max-pooling

最大池化层中，将局部区域内的最大输入值进行前向传播，并且在反向传播中只有对应的神经元接收到$\Delta x_l$，局部区域内的其他单元的$\Delta x_l$设置为0。如果假设$\Delta x_l$的平均值是0，那么$\text{var}(\Delta x_l)$会被缩放至$1/s^2$的规模。随着$p$大于$s$，接收$\Delta x_l$的神经元占的比例变小，但是本文忽略了这种影响，为简单期间，使用了上述定义。

2.5.2 Average-pooling

与最大池化不同，平均池化中所有的神经元都接收$\Delta x_l$。然而，在反向传播中，$\Delta x_l$被缩放为$M_l/N_l$，因为$x_l$中每个神经元以$1/N_l$的权重连接到$y_l$中的$M_l$个神经元中。因此，平均池化层的${\beta }_l$应被设为$(M_l/N_l{)}^2$。例如，当$p=s$时，$N_l=p^2$，$M_l=1$，因此${\beta }_l$设置为$1/p^4$。

2.6 Rescaling Invariance of Layer-Wise Weight Decay

从理论上验证本文的方法，将证明本文提出的逐层权重衰减对于网络的逐层重新重新标度(rescaling)是不变的。
网络的重新标度也被称为重参数化(reparameterization)，是通过重新标度连接权重而不改变网络计算的函数的一种变换。
如果使用某种激活函数$f$，如恒等函数或ReLU，满足对任意的正标量$\alpha$，这种尺度变换都可以轻松得到。图3展示了分层重标度的一个例子，是最简单的重标度之一。

图3：网络的逐层重标度。

当我们将$W_{l-1}$重标度为$\alpha W_{l-1}$，将$W_l$重标度为$\frac{1}{\alpha }{W}_l$，那么$x_{l+1}$的值就不会改变。缩放不影响网络的功能性，训练过程中也不应该影响网络的更新。如果重标度过程影响了更新，意味着网络如何更新权重依赖于每个权重的尺度，导致训练过程的不稳定性。本文将表明，如果使用常数权重衰减，正则化的强度将受到重标度的影响，而如果使用逐层权重衰减，正则化的强度时不变的。注意到本文关注的是梯度和权重衰减之间的平衡，这与现有工作只关注梯度的尺度不同。

假设网络如图3所示进行重标度。由于任何逐层重标度都可以用这种重标度的组合来表示，因此研究这种重标度足以在所提出的方法中显示重标度不变性。

令$x_l^{\prime }$和$W_l^{\prime }$为第$l$层重标度后的输入值和连接权重，由此得到
$$\Delta W_{l-1}^{\prime }={x^{\prime }}_{l-1}^T\Delta y_{l-1}^{\prime }=x_{l-1}^T(\frac{1}{\alpha }\Delta y_{l-1})=\frac{1}{\alpha }\Delta W_{l-1}\text{\hspace{1em}(18)}$$
$$\Delta W_l^{\prime }={x^{\prime }}_l^T\Delta y_l^{\prime }=\alpha x_l^T\Delta y_l=\alpha \Delta W_l\text{\hspace{1em}(19)}$$
将上述两个等式代入Eq.1，在权重衰减不变的情况下得到重标网络的更新值：
$$\Delta W_{l-1}^{\prime }+\lambda W_{l-1}^{\prime }=\frac{1}{\alpha }\Delta W_{l-1}+\lambda \alpha W_{l-1}\text{\hspace{1em}(20)}$$
$$\Delta W_l^{\prime }+\lambda W_l=\alpha \Delta W_l+\frac{\lambda }{\alpha }{W}_l\text{\hspace{1em}(21)}$$
基于此，可以得到在逐层权重衰减下重新缩放后网络的更新值：
$$\begin{array}{rl}\Delta W_{l-1}^{\prime }+{\lambda }_{l-1}^{\prime }{W}_{l-1}^{\prime }& =\frac{1}{\alpha }\Delta W_{l-1}+\frac{{\lambda }_{l-1}}{{\alpha }^2}\alpha W_{l-1}\\ & =\frac{1}{\alpha }(W_{l-1}+{\lambda }_{l-1}{W}_{l-1})\propto W_{l-1}+{\lambda }_{l-1}{W}_{l-1}\end{array}\text{\hspace{1em}(24)}$$
$$\begin{array}{rl}\Delta W_l^{\prime }+{\lambda }_l^{\prime }{W}_l^{\prime }& =\alpha \Delta W_l+\frac{{\alpha }^2{\lambda }_l}{\alpha }{W}_l\\ & =\alpha (\Delta W_l+{\lambda }_l{W}_l)\propto \Delta W_l+{\lambda }_l{W}_l\end{array}\text{\hspace{1em}(25)}$$
这个等式表明权重衰减的强度不改变重标度。这种不变性源于对梯度尺度的充分考虑，而梯度尺度又受到上层权重尺度的影响。虽然更新的尺度需要通过自适应的学习率或其他一些复杂的优化来补偿，但结论是，逐层权重衰减不受网络尺度变化的影响。