Fisher信息矩阵与Hessian矩阵：区别与联系全解析

news2025/2/26 16:01:39

Fisher信息矩阵与Hessian矩阵：区别与联系全解析

在统计学和机器学习中，Fisher信息矩阵（FIM）和Hessian矩阵是两个经常出现的概念，它们都与“二阶信息”有关，常用来描述函数的曲率或参数的敏感性。你可能听说过，Fisher信息矩阵可以定义为对数似然函数二阶导数的负期望值，看起来很像Hessian矩阵的某种形式。那么，这两者到底有什么区别，又有哪些联系呢？今天我们就来一探究竟。

Fisher信息矩阵是什么？

Fisher信息矩阵是统计学中的一个核心工具，用来衡量概率分布 ( $p(x|\theta)$ ) 中包含的参数 ( $\theta$ ) 的信息量。它有两种等价定义：

基于得分函数（Score Function）：
$I(\theta)_{ij} = E\left[ \frac{\partial \log p(x|\theta)}{\partial \theta_i} \frac{\partial \log p(x|\theta)}{\partial \theta_j} \bigg| \theta \right]$
这是得分函数的协方差，反映了参数变化引起的似然波动。
基于二阶导数：
$I(\theta)_{ij} = -E\left[ \frac{\partial^2 \log p(x|\theta)}{\partial \theta_i \partial \theta_j} \bigg| \theta \right]$
这是对数似然函数二阶偏导数的负期望值。

这两种定义在正则条件下（比如可微性和积分交换性）是等价的，我们稍后会证明。

通俗理解

Fisher信息矩阵像一个“信息探测器”，告诉你通过数据能了解多少关于 ( $\theta$ ) 的知识。它是期望值，代表分布的平均特性。

Hessian矩阵是什么？

Hessian矩阵则是一个更广义的概念，出现在数学和优化领域。对于任意函数 ( $f(\theta)$ )，Hessian矩阵 ( $H(\theta)$ ) 定义为：

$H(\theta)_{ij} = \frac{\partial^2 f(\theta)}{\partial \theta_i \partial \theta_j}$

在统计学或机器学习中，如果 ( $f(\theta) = -\log p(x|\theta)$ )（负对数似然，作为损失函数），Hessian就是：

$H(\theta)_{ij} = -\frac{\partial^2 \log p(x|\theta)}{\partial \theta_i \partial \theta_j}$

注意，这里的Hessian是一个具体的数据函数，依赖于观测值 ( $x$ )。

通俗理解

Hessian矩阵像一张“曲率地图”，告诉你函数在某一点的凹凸性或变化速度。在优化中（如牛顿法），它直接用来调整步长。

Fisher信息矩阵与Hessian的联系

从定义上看，Fisher信息矩阵和Hessian矩阵似乎很像，尤其是Fisher的二阶导数定义：

$I(\theta)_{ij} = -E\left[ \frac{\partial^2 \log p(x|\theta)}{\partial \theta_i \partial \theta_j} \bigg| \theta \right]$

而Hessian是：

$H(\theta)_{ij} = -\frac{\partial^2 \log p(x|\theta)}{\partial \theta_i \partial \theta_j}$

它们的联系显而易见：Fisher信息矩阵是Hessian矩阵在真实参数 ( $\theta$ ) 下的期望值。换句话说，Fisher取了Hessian的平均，抹去了单个数据的随机性，反映了分布的整体特性。

证明两种定义的等价性

为什么 ( $I(\theta)_{ij} = E\left[ s_i s_j \right] = -E\left[ \frac{\partial^2 \log p}{\partial \theta_i \partial \theta_j} \right]$ )？我们来推导一下：

得分函数 ( $s_i = \frac{\partial \log p}{\partial \theta_i}$ )，其二阶导数为：

$\frac{\partial s_i}{\partial \theta_j} = \frac{\partial^2 \log p}{\partial \theta_i \partial \theta_j}$

计算得分函数的协方差：

$I(\theta)_{ij} = E[s_i s_j]$

考虑 ( $E[s_i] = 0$ )（得分函数期望为零，请参考笔者的另一篇博客：统计学中的得分函数（Score Function）是什么？它和Fisher信息矩阵有什么关系？），我们对 ( $s_i$ ) 求偏导的期望：

$E\left[ \frac{\partial s_i}{\partial \theta_j} \right] = E\left[ \frac{\partial^2 \log p}{\partial \theta_i \partial \theta_j} \right]$

另一方面：

$\frac{\partial s_i}{\partial \theta_j} = \frac{\partial}{\partial \theta_j} \left( \frac{1}{p} \frac{\partial p}{\partial \theta_i} \right) = -\frac{1}{p^2} \frac{\partial p}{\partial \theta_j} \frac{\partial p}{\partial \theta_i} + \frac{1}{p} \frac{\partial^2 p}{\partial \theta_i \partial \theta_j}$

$-s_i s_j + \frac{\partial^2 \log p}{\partial \theta_i \partial \theta_j}$

取期望：

$E\left[ \frac{\partial^2 \log p}{\partial \theta_i \partial \theta_j} \right] = E[s_i s_j] + E\left[ \frac{\partial s_i}{\partial \theta_j} \right]$

由于 ( $E[s_i] = 0$ )，且在正则条件下可以交换积分和导数：

$E\left[ \frac{\partial s_i}{\partial \theta_j} \right] = \frac{\partial}{\partial \theta_j} E[s_i] = 0$

所以：

$E\left[ \frac{\partial^2 \log p}{\partial \theta_i \partial \theta_j} \right] = E[s_i s_j]$

取负号：

$I(\theta)_{ij} = E[s_i s_j] = -E\left[ \frac{\partial^2 \log p}{\partial \theta_i \partial \theta_j} \right]$

这证明了两种定义的等价性。

Fisher信息矩阵与Hessian的区别

尽管有联系，两者在使用和性质上有显著差别：

1. 定义基础

Fisher信息矩阵：基于概率分布 ( $p(x|\theta)$ )，是期望值，反映分布的统计特性。
Hessian矩阵：基于具体函数（比如 ( $-\log p(x|\theta)$ )），依赖特定数据 ( $x$ )，是瞬时值。

2. 随机性

Fisher：取了期望，消除了数据的随机波动，是理论上的平均曲率。
Hessian：直接计算某次观测的二阶导数，受数据噪声影响，可能不稳定。

3. 应用场景

Fisher：用于统计推断，比如Cramér-Rao下界，衡量参数估计的理论精度。
Hessian：用于优化算法（如牛顿法），直接处理损失函数的局部曲率。

4. 计算复杂度

Fisher：需要知道分布并计算期望，理论上精确但实践中常需近似（如K-FAC）。
Hessian：只需对具体数据求二阶导数，但在大规模模型中计算和存储成本高。

举例：正态分布

对于 ( $\sim N(\mu, \sigma^2)$ )：

Fisher：
$I_{\mu\mu} = -E\left[ -\frac{1}{\sigma^2} \right] = \frac{1}{\sigma^2}$
（二阶导数为常数，期望不变）
Hessian：
$H_{\mu\mu} = -\frac{\partial^2 \log p}{\partial \mu^2} = \frac{1}{\sigma^2}$
（对于单次观测，值固定）

这里两者相等，但如果数据有噪声或分布复杂，Hessian会波动，而Fisher保持稳定。

实际中的联系与应用

1. 大样本近似

在最大似然估计（MLE）中，当样本量很大时，Hessian矩阵的平均值趋近于Fisher信息矩阵：

$\frac{1}{n} \sum_{i=1}^n H(\theta; x_i) \approx I(\theta)$

这为参数估计的协方差提供了近似：( $\text{Cov}(\hat{\theta}) \approx I(\theta)^{-1}$ )。

2. 优化中的融合

牛顿法：直接用Hessian调整步长，但计算昂贵。
自然梯度下降：用Fisher信息代替Hessian，结合统计特性，效率更高。
折中方案：如K-FAC，用Fisher的近似加速Hessian类优化。

3. 参数正交性

Fisher的非对角元素 ( $I_{ij} = 0$ ) 表示参数正交，而Hessian的非对角元素反映具体数据的参数耦合。Fisher提供理论指导，Hessian提供实践反馈。

总结

Fisher信息矩阵和Hessian矩阵是一对“亲戚”：Fisher是Hessian的期望版本，前者关注分布的统计信息，后者关注具体数据的曲率。它们在统计推断和优化中各有侧重，但在理论和实践中常常相辅相成。理解它们的区别与联系，能帮助我们在模型设计和训练中更灵活地选择工具——是追求理论精度，还是优化实际收敛？答案就在这两者之中。