一、说明

在本教程中，您将回顾一下雅可比行列式的简单介绍。完成本教程后，您将了解：

• 雅可比矩阵收集了可用于反向传播的多元函数的所有一阶偏导数。
• 雅可比行列式在变量之间变化时非常有用，它充当一个坐标空间与另一个坐标空间之间的缩放因子。 

教程概述

本教程分为三个部分；他们是：

• 机器学习中的偏导数
• 雅可比矩阵
• 雅可比矩阵的其他用途

 二、机器学习中的偏导数

        到目前为止，我们已经提到梯度和偏导数对于优化算法来说非常重要，例如更新神经网络的模型权重以达到最佳权重集。通过依次计算误差曲线相对于每个权重的梯度，偏导数的使用允许每个权重独立于其他权重进行更新。

        我们在机器学习中通常使用的许多函数都是多元向量值函数，这意味着它们将多个实际输入 n 映射到多个  实际输出m：

        例如，考虑一个将灰度图像分为几个类别的神经网络。这种分类器实现的功能会将每个单通道输入图像的n 个像素值映射到属于每个不同类别的m 个输出概率。 

        在训练神经网络时，反向传播算法负责在构成神经网络不同隐藏层的神经元之间共享输出层计算的误差，直到到达输入。 

反向传播算法调整网络权重的基本原理是，网络中的每个权重都应根据网络整体误差对该权重变化的敏感度按比例进行更新。 

– 第 222 页，深度学习，2019 年。

        网络总体误差对任何一个特定权重变化的敏感性是根据变化率来测量的，而变化率又是通过对同一权重求误差的偏导数来计算的。 

        为简单起见，假设某个特定网络的隐藏层之一仅由单个神经元k组成。我们可以用一个简单的计算图来表示：

 

 

        再次，为了简单起见，我们假设根据该神经元实现的函数（包括非线性）将权重w k应用于该神经元的输入以产生输出z k 。然后，该神经元的权重可以连接到网络输出处的误差，如下所示（以下公式正式称为微积分的链式法则，稍后将在单独的教程中详细介绍）：

        这里，导数dz k / dw k首先将权重w k连接到输出z k，而导数d error / dz k随后将输出z k连接到网络误差。 

        更常见的情况是，我们的网络中有许多连接的神经元，每个神经元都有不同的权重。由于我们对这种情况更感兴趣，因此我们可以推广到标量情况之外，以考虑多个输入和多个输出：

        该项之和可以更紧凑地表示如下：

        或者，等效地，在向量表示法中，使用 del 运算符 ∇ 来表示相对于权重w k或输出z k的误差梯度：

反向传播算法包括对图中的每个操作执行雅可比梯度积。

– 第 207 页，深度学习，2017 年。

        这意味着反向传播算法可以通过乘以雅可比矩阵(∂ z k / ∂ w k ) T将网络误差的敏感性与权重的变化联系起来。

那么，这个雅可比矩阵包含什么？

三、雅可比矩阵

        雅可比矩阵收集多元函数的所有一阶偏导数。具体来说，首先考虑一个将真实输入映射到单个真实输出的函数：

然后，对于长度为u的输入向量x ，大小为 1 × u 的雅可比向量可以定义如下：

现在，考虑另一个将u真实输入映射到v真实输出的函数：

然后，对于长度为u 的相同输入向量x，雅可比行列式现在是v × u矩阵，J ∈ ℝ v× u，定义如下：

将雅可比矩阵重构为前面考虑的机器学习问题，同时保留相同数量的u实数输入和v实数输出，我们发现该矩阵将包含以下偏导数：