深度学习基础 - 梯度垂直于等高线的切线

flyfish

梯度

给定一个标量函数 $f(x,y)$，它的梯度（gradient）是一个向量，表示为 $\nabla f(x,y)$，定义为：$$\nabla f(x,y)=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)$$

梯度指向函数在该点增加最快的方向，其大小表示函数增加的速率。

等高线

等高线是指在某个平面上连接函数值相同的点的曲线。对于一个标量函数 $f(x,y)$，等高线可以表示为 $f(x,y)=c$，其中 $c$ 是常数。

梯度与等高线的关系

梯度垂直于等高线的切线 ：对于等高线 $f(x,y)=c$，在等高线上，函数的值是恒定的。因此，当我们在等高线上移动时，函数 $f$ 的变化率为零。这意味着在等高线的切线方向上，函数没有变化，梯度与该方向无关。
梯度的方向是函数值变化最快的方向，而在等高线上的任意方向上，函数值不变，因此梯度方向必然垂直于等高线的切线方向。

几何解释

1. 等高线 ：
   等高线是一个函数 $f(x,y)$ 的等值线，即满足 $f(x,y)=c$ 的所有点的集合。
   在等高线上，函数值保持不变。

2. 梯度的 ：
   梯度 $\nabla f$ 是一个向量，其方向是函数 $f(x,y)$ 在某一点变化最快的方向。梯度向量的大小表示函数在该点变化的速率。

3. 梯度与等高线 ：
   沿等高线方向，函数值不变，因此沿等高线移动时，函数的变化量为零。
   梯度向量的方向是函数变化最快的方向，而沿等高线方向没有变化，故梯度向量必须垂直于等高线的方向。

向量解释

在二维平面中，可以使用简单的向量代数证明梯度与等高线的切线垂直：

1. 等高线的方向 ：
   在等高线 $f(x,y)=c$ 上，假设我们选择一个方向向量 $\mathbf{t}=(a,b)$，这个向量代表等高线的切线方向。

2. 梯度与切线的关系 ：
   梯度 $$\nabla f=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)$$
   梯度 $\nabla f$ 与向量 $\mathbf{t}$ 的点积为零。

点积的计算 ：
$$\nabla f\cdot \mathbf{t}=\frac{\partial f}{\partial x}\cdot a+\frac{\partial f}{\partial y}\cdot b$$

因为在等高线方向上，函数值不变，故此方向的变化量为零：
$$a\cdot \frac{\partial f}{\partial x}+b\cdot \frac{\partial f}{\partial y}=0$$
这表明梯度 $\nabla f$ 与等高线的切线方向向量 $\mathbf{t}$ 垂直。

两个向量的点积为零时，它们是相互垂直的，这背后的数学原理来源于欧几里得几何中的向量投影与角度关系。以下是这个结论的详细解释：

向量的点积

两个向量 $\mathbf{a}$ 和 $\mathbf{b}$ 的点积（内积）定义为：$$\mathbf{a}\cdot \mathbf{b}=|\mathbf{a}||\mathbf{b}|\cos \theta$$

其中：
$|\mathbf{a}|$ 和 $|\mathbf{b}|$ 分别是向量 $\mathbf{a}$ 和 $\mathbf{b}$ 的模（长度）。
$\theta$ 是两个向量之间的夹角。

点积与垂直的关系

当两个向量垂直时，它们之间的夹角 $\theta =90^{\circ }$。此时，$\cos 90^{\circ }=0$，因此点积为：$$\mathbf{a}\cdot \mathbf{b}=|\mathbf{a}||\mathbf{b}|\cos 90^{\circ }=0$$

再解释

1. 切线的方向 ：假设在等高线上的某一点 $(x_0,y_0)$，等高线的切线方向用一个向量 $(dx,dy)$ 表示。沿着等高线的微小移动满足：$$f(x_0+dx,y_0+dy)-f(x_0,y_0)=0$$
   根据函数的全微分公式，这意味着（链式法则）：
   $$\frac{\partial f}{\partial x}dx+\frac{\partial f}{\partial y}dy=0$$

2. 垂直关系 ：由于梯度 $\nabla f=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)$，上式表明：$$\nabla f\cdot (dx,dy)=0$$

这说明梯度向量 $\nabla f(x,y)$ 与切向量 $(dx,dy)$ 的点积为零，表明它们相互垂直。

梯度指向函数变化最快的方向，而等高线方向是函数不变的方向。

梯度向量与切线垂直，梯度的正方向指示了函数值增加最快的方向，而负方向则指示了函数值减少最快的方向。梯度向量的负方向由红色箭头指示，一条等高线上的切线用绿色显示。