反向传播算法可能是神经网络中最基本的构建模块。它最早是在 20 世纪 60 年代提出的，近 30 年后（1989 年），由 Rumelhart、Hinton 和 Williams 在一篇名为“通过反向传播误差学习表示”的论文中推广。

该算法通过一种称为链式法则的方法有效地训练神经网络。简单来说，在每次前向传递网络后，反向传播都会执行一次后向传递，同时调整模型的参数（权重和偏差）。

在本文中，我将介绍训练和优化一个简单的 4 层神经网络的数学过程。我相信这将有助于读者理解反向传播的工作原理以及它的重要性。

三、定义神经网络模型

该4层神经网络由输入层4个神经元、隐藏层4个神经元和输出层1个神经元组成。

简单的4层神经网络图示

3.1 输入层

紫色的神经元代表输入数据。这些神经元可以像标量一样简单，也可以像向量或多维矩阵一样复杂。

输入 x_i 的方程

第一组激活 ( a ) 等于输入值。注意：“激活”是应用激活函数后神经元的值。见下文。

3.2 隐藏图层

隐藏神经元的最终值（绿色）是 使用z^l （第l层的加权输入）和a^l （第l层的激活）计算得出的。对于第 2 层和第 3 层，方程式如下：

• l = 2

z² 和 a² 的方程式

• l = 3

z³ 和 a³ 的方程式

W²和W³是第 2 层和第 3 层中的权重，而 b² 和 b³ 是这些层中的偏差。

激活函数a²和a³是使用激活函数f计算的。通常，此函数f是非线性的（例如sigmoid、ReLU、tanh），允许网络学习数据中的复杂模式。我们不会详细讨论激活函数的工作原理，但如果感兴趣，我强烈建议您阅读这篇精彩的文章。

仔细观察，你会发现上面的 4 层网络图中x、z²、a²、z³、a³、W¹、W²、b¹和b²都缺少下标。原因是我们将所有参数值组合成矩阵，并按层分组。这是使用神经网络的标准方法，人们应该对计算感到满意。不过，我将介绍这些方程式，以消除任何困惑。

我们以第 2 层及其参数为例。相同的操作可应用于网络中的任何层。

• W¹是一个形状为(n, m) 的权重矩阵，其中n是输出神经元（下一层中的神经元）的数量，m是输入神经元（上一层中的神经元）的数量。对于我们来说，n = 2和m = 4。

W¹ 方程

注意：任何权重下标中的第一个数字与下一层的神经元的索引匹配（在我们的例子中，这是Hidden_​​2 层），第二个数字与前一层的神经元的索引匹配（在我们的例子中，这是输入层）。

• x是形状为(m, 1)的输入向量，其中m是输入神经元的数量。对于我们来说，m = 4。

x 方程

• b¹是形状为(n, 1)的偏差向量，其中n是当前层中的神经元数量。对于我们来说，n = 2。

b¹ 方程

按照 z² 方程，我们可以使用上述W¹、x和b¹的定义来推导出“ z² 方程”：

z² 方程

现在仔细观察上面的神经网络图示。

输入层和 Hidden_​​1 层

您将看到z²可以用 ( z_1)²和 ( z_2)²来表示，其中 ( z_1)²和 ( z_2)²是每个输入x_i与相应权重 ( W_ij)¹的乘积之和。

这导致了相同的“ z²方程” ，并证明z²、a²、z³和a³的矩阵表示是正确的。

3.3 输出层

神经网络的最后一部分是输出层，它产生预测值。在我们的简单示例中，它表示为单个神经元，以蓝色表示，并按 如下方式评估：

输出方程

再次，我们使用矩阵表示来简化方程。可以使用上述技术来理解底层逻辑。如果您发现自己对方程式感到困惑，请在下面留下任何评论——我很乐意提供帮助！

四、前向传播和评估

上面的方程构成了网络的前向传播。下面是一个简短的概述：

按层着色的前向传播方程概述

前向传递的最后一步是评估预测输出s与预期输出y 之间的关系。

输出y是训练数据集(x, y)的一部分，其中x是输入（如我们在上一节中看到的）。

s和y之间的评估通过成本函数进行。这可以像MSE（均方误差）一样简单，也可以像交叉熵一样更复杂。

我们将该成本函数命名为C，并表示如下：

成本函数 C 的方程

成本可以等于 MSE、交叉熵或任何其他成本函数。

根据C的值，模型“知道”需要调整多少参数才能更接近预期输出y。这是使用反向传播算法实现的。

五、反向传播和计算梯度

根据 1989 年的论文，反向传播：

反复调整网络中连接的权重，以最小化网络实际输出向量与期望输出向量之间的差异。

和

创建有用的新功能的能力将反向传播与早期的简单方法区分开来……

换句话说，反向传播旨在通过调整网络的权重和偏差来最小化成本函数。调整的程度由成本函数相对于这些参数的梯度决定。

可能会出现一个问题——为什么要计算梯度？

为了回答这个问题，我们首先需要重新回顾一些微积分术语：

• 函数 C(x_1, x_2, …, x_m) 在点 x 的梯度是C 关于 x 的偏导数的向量。

C 关于 x 的导数方程

• 函数 C 的导数衡量函数值（输出值）随其自变量 x（输入值）变化而变化的敏感度。换句话说，导数告诉我们 C 的走向。
• 梯度显示参数 x 需要改变多少（正向或负向）才能最小化 C。

计算这些梯度需要使用一种称为链式法则的技术。

对于单个权重(w_jk)^l，梯度为：

单一权重(w_jk)^l中 C 的导数方程

类似的方程组可以应用于(b_j)^l：

单偏差(b_j)^l中 C 的导数方程

两个方程的共同部分通常称为“局部梯度”，表示如下：

局部梯度方程

使用链式法则可以轻松确定“局部梯度”。我现在不会详细介绍这个过程，但如果您有任何疑问，请在下面发表评论。

梯度使我们能够优化模型的参数：

优化权重和偏差的算法（也称为“梯度下降”）

• w和b的初始值是随机选择的。
• Epsilon（e）是学习率。它决定了梯度的影响力。
• w和b是权重和偏差的矩阵表示。可以使用C在各个权重或偏差中的偏导数来计算C在w或b中的导数。
• 一旦成本函数最小化，终止条件就会得到满足。

我想将本节的最后一部分专门用于一个简单的例子，其中我们将计算C相对于单个权重(w_22)²的梯度。

让我们放大上述神经网络的底部：

神经网络中反向传播的可视化表示

权重(w_22)²连接(a_2)²和(z_2)²，因此计算梯度需要通过(z_2)³和(a_2)³ 应用链式法则：

(w_22)²中 C 的导数方程

计算(a_2)³中C的导数的最终值需要了解函数C。由于C依赖于(a_2)³，因此计算导数应该相当简单。

我希望这个例子能够让你对计算梯度背后的数学原理有所了解。为了进一步提高你的技能，我强烈建议你观看斯坦福的 NLP 系列，其中 Richard Socher 对反向传播给出了 4 个很好的解释。

六、结束语

在本文中，我详细解释了反向传播的工作原理，其中使用了计算梯度、链式法则等数学技巧。了解该算法的具体细节将增强您的神经网络知识，让您能够轻松应对更复杂的模型。祝您深度学习之旅愉快！