序言

在人工智能与机器学习的快速发展中，深度模型作为核心技术之一，其优化问题至关重要。深度模型通过构建多层神经网络来模拟人脑的学习与推理过程，处理复杂数据模式与任务。然而，这些强大能力的背后，离不开高效的优化策略与元算法的支撑。优化旨在通过调整模型参数，最小化预设的损失函数，从而提升模型性能，确保模型能够更准确地拟合数据并泛化至未见过的样本。

优化策略和元算法

• 许多优化技术并非真正的算法，而是一般化的模板，可以特定产生算法，或是并入到很多不同的算法中。

batch normalization

• $\mathbf{batch}$ $\mathbf{normalization}$ ($\text{Ioffe and Szegedy, 2015}$)是优化深度神经网络中最激动人心的最新创新之一。实际上它并不是一个优化算法，而是一个自适应的重新参数化的方法，试图解决训练非常深层模型的困难。
• 非常深层的模型会涉及多个函数或层组合。在其他层不改变的假设下，梯度用于如何更新每一个参数。
  • 在实践中，我们同时更新所有层。
  • 当我们进行更新时，可能会发生一些意想不到的结果，这是因为许多组合在一起的函数同时改变时，计算更新的假设是其他函数保持不变。
• 举一个简单的例子，假设我们有一个深度神经网络，每一层只有一个单元，并且在每个隐藏层不使用激励函数：$\hat{y}=x{w}_1{w}_2{w}_3\dots w_l$。
  • 这里，$w_i$表示用于层$i$的权重。
  • 层$i$的输出是$h_i=h_{i-1}{w}_i$。
  • 输出$\hat{y}$是输入$x$的线性函数，但是权重$w_i$的非线性函数。
  • 假设我们的代价函数$\hat{y}$上的梯度为$1$，所以我们希望稍稍降低$\hat{y}$。
  • 然后反向传播算法可以计算梯度$\mathbf{g}={\nabla }_{\mathbf{w}}\hat{y}$。想想我们在更新$\mathbf{w}\leftarrow \mathbf{w}-ϵ\mathbf{g}$时会发生什么。
  • 近似$\hat{y}$的一阶泰勒级数会预测$\hat{y}$的值下降$ϵ{\mathbf{g}}^{\top }\mathbf{g}$。
  • 如果我们希望$\hat{y}$下降$0.1$，那么梯度中的一阶信息表明我们应设置学习速率$ϵ$为$\frac{0.1}{{\mathbf{g}}^{\top }\mathbf{g}}$。
  • 然而，实际的更新将包括二阶，三阶，直到$l$阶的影响。$\hat{y}$的更新值为：
    $x(w_1-ϵ{\mathbf{g}}_1)(w_2-ϵ{\mathbf{g}}_2)\dots (w_l-ϵ{\mathbf{g}}_l)$ $\text{—公式1}$
  • 这个更新中所产生的一个二阶项示例是${ϵ}^2{g}_1{g}_2{\prod }_{i=3}^l{w}_i$。
  • 如果${\prod }_{i=3}^l{w}_i$很小，那么该项可以忽略不计。而不过层$3$到层$l$的权重都比$1$大时，该项可能会指数级大。
  • 这使得很难选择一个合适的学习速率，因为某一层中参数更新的效果很大程度上取决于其他所有层。
• 二阶优化算法通过考虑二阶相互影响来解决这个问题，但我们可以看到，在非常深的网络中，更高阶的相互影响会很显著。即使是二阶优化算法，计算代价也很高，并且通常需要大量近似，以免真正计算所有的重要二阶相互作用。因此对于$n>2$的情况建立$n$阶优化算法似乎是无望的。那么我们可以做些什么呢？
• $\text{batch}$ $\text{normalization}$提出了一种几乎可以重新参数化所有深度网络的优雅方法。
  • 重新参数化显著减少了多层之间协调更新的问题。
  • $\text{batch}$ $\text{normalization}$可应用于网络的任何输入层或隐藏层。
  • 设$\mathbf{H}$是需要标准化的某层的$\text{minibatch}$激励函数，布置为设计矩阵，每个样本的激励出现在矩阵的每一行中。
  • 标准化$\mathbf{H}$，我们替代它为：${\mathbf{H}}^{\prime }=\frac{\mathbf{H}-\mathbf{\mu }}{\mathbf{\sigma }}$
    • 其中$\mathbf{\mu }$是包含每个单元均值的向量。
    • $\mathbf{\sigma }$是包含每个单元标准差的向量。
    • 该算术是基于广播向量$\mathbf{\mu }$和向量$\mathbf{\sigma }$应用于矩阵$\mathbf{H}$的每一行。
    • 在每一行内，运算是逐元素的，因此$H_{i,j}$标准化为减去${\mu }_j$再除以${\sigma }_j$。
    • 网络的其余部分操作${\mathbf{H}}^{\prime }$的方式和原网络操作$\mathbf{H}$的方式一样。
  • 在训练阶段，
    $\mathbf{\mu }=\frac{1}{m}\sum _i{\mathbf{H}}_{i,:}$ $\text{—公式2}$
    和
    $\mathbf{\sigma }=\sqrt{\delta +\frac{1}{m}\sum _i(\mathbf{H}-\mathbf{\mu }{)}_i^2}$ $\text{—公式3}$
  • 其中$\delta$是个很小的正值，比如$10^{-8}$，以强制避免遇到$\sqrt{z}$的梯度在$z=0$处未定义的问题。至关重要的是， 我们反向传播这些操作，计算均值和标准差，并应用它们于标准化$\mathbf{H}$。这意味着，梯度不会再简单地增加$h_i$的标准差或均值；标准化操作会除掉这一操作的影响，归零其在梯度中的元素。这是$\text{batch}$ $\text{normalization}$方法的一个重大创新。以前的方法添加代价函数的惩罚，以鼓励单位标准化激励统计量，或是在每个梯度下降步骤之后重新标准化单位统计量。前者通常会导致不完全的标准化，而后者通常会显著地消耗时间，因为学习算法会反复改变均值和方差而标准化步骤会反复抵消这种变化。$\text{batch}$ $\text{normalization}$重新参数化模型，以使一些单元总是被定义标准化，巧妙地回避了这两个问题。
  • 在测试阶段，$\mathbf{\mu }$和$\mathbf{\sigma }$可以被替换为训练阶段收集的运行均值。这使得模型可以对单一样本评估，而无需使用定义于整个$\text{minibatch}$的$\mathbf{\mu }$和$\mathbf{\sigma }$。
• 回顾例子$\hat{y}=x{w}_1{w}_2{w}_3\dots w_l$，我们看到，我们可以通过标准化$h_{l-1}$很大程度地解决学习这个模型的问题。
  • 假设$x$采样自一个单位高斯，那么$h_{l-1}$也是来自高斯，因为从 $x$到$h_l$ 的变换是线性的。
  • 然而，$h_{l-1}$不再有零均值和单位方差。使用$\text{batch}$ $\text{normalization}$后，我们得到的归一化${\hat{h}}_{l-1}$恢复了零均值和单位方差的特性。
  • 对于底层的几乎任意更新而言，${\hat{h}}_{l-1}$仍然保持着单位高斯。然后输出$\hat{y}$可以学习为一个简单的线性函数$\hat{y}=w_l{\hat{h}}_{l-1}$。
  • 现在学习这个模型非常简单，因为低层的参数在大多数情况下没有什么影响；它们的输出总是重新标准化为单位高斯。
  • 只在少数个例中，低层会有影响。
  • 改变某个低层权重为$0$，可能退化输出；改变低层权重的符号可能反转${\hat{h}}_{l-1}$和$y$之间的关系。这些情况都是非常罕见的。
  • 没有标准化，几乎每一个更新都会对$h_{l-1}$的统计量有着极端的影响。
• 因此，$\text{batch}$ $\text{normalization}$显著地使得模型更易学习。
  • 在这个示例中，容易学习的代价是使得底层网络没有用。
  • 在我们的线性示例中，较低层不再有任何有害的影响，但它们也不再有任何有益的影响。这是因为我们已经标准化了一阶和二阶统计量，这是线性网络可以影响的所有因素。
  • 在具有非线性激励函数的深度神经网络中，较低层可以进行数据的非线性变换，所以它们仍然是有用的。$\text{batch}$ $\text{normalization}$仅标准化每个单元的均值和方差，以稳定化学习，但允许单元和单个单元的非线性统计量之间的关系发生变化。
• 由于网络的最后一层能够学习线性变换，实际上我们可能希望移除一层内单元之间的所有线性关系。事实上，这是$\text{Guillaume Desjardins (2015)}$中采用的方法，为$\text{batch}$ $\text{normalization}$提供了灵感。令人遗憾的是，消除所有的线性关联比标准化各个独立单元的均值和标准差代价更高，因此迄今$\text{batch}$ $\text{normalization}$仍是最实用的方法。
• 标准化一个单元的均值和标准差会降低包含该单元的神经网络的表达能力。
  • 为了保持网络的表现力，通常会取代$\text{batch}$隐藏单元激励$\mathbf{H}$为$\gamma {\mathbf{H}}^{\prime }+\beta$，而不是简单地使用标准化的${\mathbf{H}}^{\prime }$。
  • 变量$\gamma$和$\beta$是允许新变量有任意均值和标准差的学习参数。
  • 乍一看，这似乎是无用的——为什么我们将均值设为$0$，然后又引入参数允许它被重设为任意值$\beta$？答案是，新的参数可以表示旧参数作为输入的同一族函数，但是新参数有不同的学习动态。
  • 在旧参数中，$\mathbf{H}$的均值取决于$\mathbf{H}$下层中参数的复杂关联。
  • 在新参数中，$\gamma {\mathbf{H}}^{\prime }+\beta$的均值仅由$\beta$确定。新参数很容易通过梯度下降来学习。
• 大多数神经网络层会采取形式$\varphi (\mathbf{XW}+\mathbf{b})$，其中$\varphi$是某个固定的非线性激励函数，如整流线性变换。
  • 自然想到是否我们应该应用$\text{batch}$ $\text{normalization}$于输入$\mathbf{X}$，或是变换值$\mathbf{XW}+\mathbf{b}$。
  • $\text{Ioffe and Szegedy (2015)}$推荐后者。更具体地，$\mathbf{XW}+\mathbf{b}$应替换为$\mathbf{XW}$的标准化形式。
  • 偏置项应被忽略，因为参数$\beta$会加入$\text{batch}$ $\text{normalization}$重新参数化，它是冗余的。
  • 一层的输入通常是前一层的非线性激励函数，如整流线性函数的输出。
  • 因此，输入的统计量更符合非高斯，而更不服从线性操作的标准化。
  • 在后续篇章：卷积神经网络所述的卷积网络，在特征映射中每个空间位置同样地标准化$\mathbf{\mu }$和$\mathbf{\sigma }$是很重要的，能使特征映射的统计量不因空间位置而保持相同。

坐标下降

• 在某些情况下，将一个优化问题分解成几个部分，可以更快地解决原问题。如果我们最小化$f(\mathbf{x})$相对于某个单一变量$x_i$，然后相对于另一个变量$x_j$，等等，反复循环所有的变量，我们会保证到达（局部）极小值。这种做法被称为坐标下降($\text{coordinate descent}$)，因为我们一次优化一个坐标。更一般地， 块坐标下降($\text{blockcoordinate descent}$) 是指对于某个子集的变量同时最小化。术语 “坐标下降’’ 通常既指块坐标下降，也指严格的单个坐标下降。
• 当优化问题中的不同变量能够清楚地分成相对独立的组，或是当优化一组变量明显比优化所有变量效率更高时，坐标下降最有意义。例如，考虑代价函数：
  $J(\mathbf{H},\mathbf{W})=\sum _{i,j}|H_{i,j}|+\sum _{i,j}(\mathbf{X}-{\mathbf{W}}^{\top }\mathbf{H}{)}_{i,j}^2$ $\text{—公式4}$
• 该函数描述了一种被称为稀疏编码的学习问题，其目标是寻求一个权重矩阵$\mathbf{W}$，可以线性解码激励值矩阵$\mathbf{H}$以重构训练集$\mathbf{X}$。稀疏编码的大多数应用还涉及到权重衰减或$\mathbf{W}$列范数的约束，以免极小$\mathbf{H}$和极大$\mathbf{W}$的病态解。
• 函数$J$不是凸的。然而，我们可以将训练算法的输入分成两个集合：字典参数$\mathbf{W}$和编码表示$\mathbf{H}$。最小化关于这两者之一的任意一组变量的目标函数都是凸问题。因此，块坐标下降允许我们使用高效的凸优化算法，交替固定$\mathbf{H}$优化$\mathbf{W}$和固定$\mathbf{W}$优化$\mathbf{H}$。
• 当一个变量的值很大程度地影响另一个变量的最优值时，坐标下降不是一个很好的方法，如函数$f(\mathbf{x})=(x_1-x_2{)}^2+\alpha (x_1^2+x_2^2)$，其中$\alpha$是正值常数。第一项鼓励两个变量具有相似的值，而第二项鼓励它们接近零。解是两者都为零。 牛顿法可以一步解决这个问题，因为它是一个正定二次问题。但是，对于小值$\alpha$而言，坐标下降会使进展非常缓慢，因为第一项不允许单个变量变为和其他变量当前值显著不同的值.

Polyak平均

• $\mathbf{Polyak}$平均 ($\text{Polyak and Juditsky, 1992}$) 会平均优化算法在参数空间访问轨迹中的几个点。如果$t$次迭代梯度下降访问了点${\mathbf{\theta }}^{(1)},\dots ,{\mathbf{\theta }}^{(t)}$，那么$\text{Polyak}$平均算法的输出是${\hat{\mathbf{\theta }}}^{(t)}=\frac{1}{t}{\sum }_i{\mathbf{\theta }}^{(i)}$。在某些问题中，如梯度下降应用于凸问题，这种方法具有较强的收敛保证。当应用于神经网络时，其验证更多是启发式的，但在实践中表现良好。基本想法是，优化算法可能会来回穿过山谷好几次而没经过山谷底部附近的点。尽管两边所有位置的均值应比较接近谷底。
• 在非凸问题中，优化轨迹的路径可以非常复杂，经过了许多不同的区域。包括参数空间中遥远过去的点，可能与当前点在代价函数上相隔很大的障碍，看上去不像一个有用的行为。其结果是，当应用 $\text{Polyak}$平均于非凸问题时，通常会使用指数衰减计算平均值：
  ${\hat{\mathbf{\theta }}}^{(t)}=\alpha {\hat{\mathbf{\theta }}}^{(t-1)}+(1-\alpha ){\mathbf{\theta }}^{(t)}$ $\text{—公式5}$
• 这个计算平均值的方法被用于大量数值应用中。最近的例子请参看$\text{Szegedy et al.(2015)}$。

监督预训练

设计有助于优化的模型

连续方法和课程学习

• 正如神经网络优化中的挑战篇 - 局部核全局结构间的弱对应探讨的，许多优化挑战都来自于代价函数的全局结构，不能仅通过局部更新方向上更好的估计来解决。解决这个问题的主要方法是尝试初始化参数到某种区域内，该区域可以通过局部下降很快连接到参数空间中的解。
• 连续方法（$\text{continuation method}$）是一族通过挑选初始点使优化更容易的方法，以确保局部优化花费大部分时间在表现良好的空间。
  • 连续方法的背后想法是构造一系列具有相同参数的目标函数。为了最小化代价函数$J(\mathbf{\theta })$，我们构建新的代价函数 { J ( 0 ) , … , J ( n ) } \{J^{(0)},\dots,J^{(n)}\} {J(0),…,J(n)}。
  • 这些代价函数逐步提高难度，其中$J^{(0)}$是最容易最小化的，$J^{(n)}$是最难的，真正的代价函数促进整个过程。
  • 当我们说$J^{(i)}$比$J^{(i+1)}$更容易时，是指其在更多的 $\mathbf{\theta }$空间上表现良好。
  • 随机初始化更有可能落入局部下降可以成功最小化代价函数的区域，因为其良好区域更大。
  • 这系列代价函数设计为前一个解是下一个的良好初始点。
  • 因此，我们首先解决一个简单的问题，然后改进解以解决逐步变难的问题，直到我们求解真正问题的解。
• 传统的连续方法（用于神经网络训练之前的连续方法）通常是基于平滑的目标函数。参看$\text{Wu (1997)}$了解这类方法的示例，以及一些相关方法的综述。连续方法也和参数中加入噪扰的模拟退火紧密相关($\text{Kirkpatrick et al., 1983}$)。连续方法在最近几年非常成功。参看$\text{Mobahi and Fisher (2015)}$ 了解其近期文献的概述，特别是在$\text{AI}$方面的应用。
• 传统上，连续方法主要用来克服局部极小值的问题。
  • 具体地，它被设计来在有很多局部极小值的情况下，求解一个全局最小点。
  • 这些连续方法会通过“模糊”原来的代价函数来构建更容易的代价函数。
  • 这些模糊操作可以是用采样来近似：
    $J^{(i)}(\mathbf{\theta })={\mathbb{E}}_{{\theta }^{\prime }\sim \mathcal{N}({\mathbf{\theta }}^{\prime };\mathbf{\theta },{\sigma }^{(i)2})}J({\mathbf{\theta }}^{\prime })$ $\text{—公式6}$
• 这个方法的直觉是有些非凸函数在模糊后会近似凸的。
  • 在许多情况下，这种模糊保留了关于全局极小值的足够信息，我们可以通过逐步求解更少模糊的问题来求解全局极小值。
  • 这种方法有三种可能失败的方式。
    • 首先，它可能成功地定义了一连串代价函数，并从开始的一个凸函数起（逐一地）沿着函数链最佳轨迹逼近全局最小值，但可能需要非常多的逐步代价函数，整个过程的成本仍然很高。
    • 另外，即使连续方法可以适用，$\text{NP}$难的优化问题仍然是$\text{NP}$难的。
    • 其他两种连续方法失败的原因是不实用。
      • 其一，不管如何模糊，可能函数没法变成凸的，比如函数$J(\mathbf{\theta })=-{\mathbf{\theta }}^{\top }\mathbf{\theta }$。
      • 其二，函数可能在模糊后是凸的，但模糊函数的最小值可能会逐步到一个局部值，而非原始代价函数的全局最小值。
• 尽管连续方法最初用来解决局部最小值的问题，局部最小值已不再是神经网络优化中的主要问题了。
  • 幸运的是，连续方法仍然有所帮助。
  • 连续方法引入的简化目标函数能够消除平坦区域，减少梯度估计的方差，提高$\text{Hessian}$矩阵的条件数，使局部更新更容易计算，或是改进局部更新方向和朝向全局解方向之间的对应关系。
• $\text{Bengio et al.(2009)}$指出被称为课程学习($\text{curriculum learning}$) 或者塑造($\text{shaping}$)的方法可以解释为连续方法。
  • 课程学习规划学习过程的想法是，首先学习简单的概念，然后逐步学习依赖于这些简化概念的复杂概念。
  • 之前这一基本策略被用来加速动物训练过程 ($\text{Skinner, 1958; Peterson, 2004; Krueger and Dayan, 2009}$) 和机器学习过程($\text{Solomonoff, 1989; Elman, 1993; Sanger, 1994}$)。 $\text{Bengio et al. (2009)}$ 验证这一策略为连续方法，通过增加简单样本的影响（通过分配它们较大的系数到代价函数，或者更频繁地采样），先前的$J^{(i)}$会容易。
  • 实验证明，在大规模的神经语言模型任务上使用课程学习，可以获得更好的结果。
  • 课程学习已经成功应用于大量的自然语言 ($\text{Spitkovsky et al., 2010; Collobert et al., 2011a; Mikolov et al., 2011b;Tu and Honavar, 2011}$) 和计算机视觉($\text{Kumar et al., 2010; Lee and Grauman, 2011;Supancic and Ramanan, 2013}$) 任务上。
  • 课程学习被证实为与人类教学方式一致($\text{Khan et al., 2011}$)：教师刚开始会展示更容易，更典型的示例，然后帮助学习者在不太显然的情况下提炼决策面。
  • 在人类教学上，基于课程学习的策略比基于样本均匀采样的策略更有效，也能提高其他学习策略的效率($\text{Basu and Christensen, 2013}$)。
• 课程学习研究的另一个重要贡献体现在训练循环神经网络抓住长期依赖：$\text{Zaremba and Sutskever (2014)}$发现使用随机课程获得了更好的结果，容易和困难的示例混合在一起，随机提供给学习者，更难示例（这些具有长期依赖）的平均比例在逐渐上升。具有确定性课程，不再发现超过基线（完整训练集的普通训练）的改进。
• 现在我们已经介绍了一些基本的神经网络模型，以及如何正则和优化。在接下来的篇章章中，我们转向神经网络的细化，扩展到能够处理很大规模的数据和具有特殊结构的数据。在本篇章中讨论的优化算法在较少或者没有改动后，通常可以直接用于这些特殊的架构。

• 图例1：一种形式的贪心监督预训练的示意图($\text{Bengio et al., 2007a}$)。

  • 一种形式的贪心监督预训练的示意图($\text{Bengio et al., 2007a}$)。
    

  • 说明：

    • (a) 我们从训练一个足够浅的架构开始。
    • (b) 同一个架构的另一描绘。
    • © 我们只保留原始网络的输入到隐藏层，并丢弃隐藏到输出层。我们将第一层隐藏层的输出作为输入发送到另一监督单隐层$\text{MLP}$（使用与第一个网络相同的目标训练），从而可以添加第二层隐藏层。这可以根据需要重复多层。
    • (d) 所得架构的另一种描绘，可视为前馈网络。为了进一步改进优化，我们可以联合地微调所有层（仅在该过程的结束或者该过程的每个阶段）。

总结

综上所述，深度模型优化中的优化策略和元算法是提升模型性能、确保训练效率与稳定性的关键。通过综合运用数据预处理、模型优化、损失函数选择、正则化与集成方法以及先进的优化算法，我们可以更好地应对深度模型训练中的挑战，推动人工智能技术的持续发展与应用。

往期内容回顾

深度模型中的优化 - 二阶近似方法篇
深度模型中的优化 - 神经网络优化中的挑战篇