在二维空间中用椭圆表示不确定性

flyfish

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.patches import Ellipse

# 生成示例数据
np.random.seed(0)
data = np.random.multivariate_normal([0, 0], [[4, 2], [2, 3]], size=500)

# 计算均值和协方差矩阵
mean = np.mean(data, axis=0)
covariance = np.cov(data, rowvar=False)

# 计算特征值和特征向量
eigvals, eigvecs = np.linalg.eigh(covariance)

# 绘制数据点
fig, ax = plt.subplots()
ax.scatter(data[:, 0], data[:, 1], s=10, alpha=0.5)

# 绘制特征向量
for i in range(len(eigvals)):
    eigvec = eigvecs[:, i]
    start, end = mean, mean + 2 * np.sqrt(eigvals[i]) * eigvec
    ax.annotate('', xy=end, xytext=start,
                arrowprops=dict(facecolor='red', width=2.0))

# 绘制协方差椭圆
def plot_covariance_ellipse(mean, cov, ax, color='blue', n_std=2):
    eigvals, eigvecs = np.linalg.eigh(cov)
    order = eigvals.argsort()[::-1]
    eigvals, eigvecs = eigvals[order], eigvecs[:, order]
    angle = np.degrees(np.arctan2(*eigvecs[:, 0][::-1]))
    width, height = 2 * n_std * np.sqrt(eigvals)
    ellipse = Ellipse(xy=mean, width=width, height=height, angle=angle, 
                      edgecolor=color, facecolor='none')
    ax.add_patch(ellipse)

plot_covariance_ellipse(mean, covariance, ax, color='blue')

# 设置图表
ax.set_xlim(-10, 10)
ax.set_ylim(-10, 10)
ax.set_xlabel('X')
ax.set_ylabel('Y')
ax.set_title('Data Points, Eigenvectors, and Covariance Ellipse')
plt.grid()
plt.show()

协方差矩阵和椭圆的关系

协方差矩阵 $$\Sigma$$ 描述了多变量正态分布的形状和方向。在二维情况下，它是一个 $$2\times 2$$ 的矩阵：$$\Sigma =\left(\begin{array}{cc}{\sigma }_{xx}& {\sigma }_{xy}\\ {\sigma }_{xy}& {\sigma }_{yy}\end{array}\right)$$

特征值和特征向量

• 特征值 ：$${\lambda }_1$$ 和 $${\lambda }_2$$ 是协方差矩阵的特征值，它们表示分布在特征向量方向上的方差。

• 特征向量 ：$${\mathbf{v}}_1$$ 和 $${\mathbf{v}}_2$$ 是协方差矩阵的特征向量，它们表示分布的主要方向。

特征值和特征向量的关系如下：
$$\Sigma {\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$$
其中 $${\mathbf{v}}_i$$ 是特征向量，$${\lambda }_i$$ 是对应的特征值。

椭圆的构造

在二维空间中，椭圆可以表示为：
$${\mathbf{x}}^T{\Sigma }^{-1}\mathbf{x}=c$$
其中 $$\mathbf{x}$$ 是一个二维向量，$$c$$ 是一个常数，通常取决于所选的置信水平。例如，对于95%的置信椭圆，$$c={\chi }_{0.95}^2(2)$$，这里的 $${\chi }_{0.95}^2(2)$$ 是卡方分布的95%分位数，具有2个自由度。

椭圆的几何解释

• 中心 ：椭圆的中心是数据的均值向量 $$\mu$$。

• 轴的方向 ：椭圆的主轴方向由协方差矩阵的特征向量决定。

• 轴的长度 ：椭圆的轴长度由特征值的平方根决定，长轴为 $$2\sqrt{{\lambda }_1}$$，短轴为 $$2\sqrt{{\lambda }_2}$$。

数学推导

考虑一个二维正态分布，其概率密度函数为：
$$f(\mathbf{x})=\frac{1}{2\pi |\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )\right)$$

在等概率密度下（即椭圆上的点），指数部分是常数：
$$(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )=\text{constant}$$

这就是椭圆的方程。

椭圆公式的具体形式

如果协方差矩阵的特征值和特征向量分别为 $${\lambda }_1,{\lambda }_2$$ 和 $${\mathbf{v}}_1,{\mathbf{v}}_2$$，则椭圆的参数如下：

• 长轴方向 ：特征向量 $${\mathbf{v}}_1$$

• 短轴方向 ：特征向量 $${\mathbf{v}}_2$$

• 长轴长度 ： $$2\sqrt{{\lambda }_1}$$

• 短轴长度 ： $$2\sqrt{{\lambda }_2}$$

椭圆

1. 计算特征值和特征向量 ：通过协方差矩阵。

2. 确定椭圆的旋转角度 ：由主要特征向量的方向决定。

3. 确定椭圆的轴长度 ：由特征值的平方根决定。