图示矩阵分解

news2024/9/19 11:18:33

特征值与特征向量

设 $A$ 是 n 阶矩阵，如果存在数 $\lambda$ 和 n 维非零列向量 $x$ ，满足关系式：

$\lambda x\quad\quad(1)$

则数 $\lambda$ 称为矩阵 $A$ 的特征值，非零向量 $x$ 称为矩阵 $A$ 的特征向量.

关系式（1）推导得到 $\lambda E)x = 0$ ，存在非零解 $x$ 的充分必要条件为系数行列式为零：

$|A-\lambda E| = 0\quad\quad(2)$

上式是以 $\lambda$ 为未知数的一元 n 次方程，称为矩阵 $A$ 的特征方程。特征方程在复数范围内恒有解，解的个数为方程的次数（重根按重数计算），因此，n 阶矩阵 $A$ 在复数范围内有 n 个特征值。

设 n 阶矩阵 $A = (a_{ij})$ 的特征值为 $\lambda_1, \lambda_2,...,\lambda_n$

$\sum_{i=1}^n\lambda_i = \sum_{i=1}^na_{ii} = tr(A)$
$\prod_{i=1}^n\lambda_i = |A|$
A 可逆的充分必要条件是 n 个特征值全不为零

有如下性质：

设 $\lambda$ 是方阵 $A$ 的特征值，则 $\lambda^2$ 是 $A^2$ 的特征值；当 $A$ 可逆时， $1/\lambda$ 是 $A^{-1}$ 的特征值.

$A ， B$ 都是 n 阶矩阵，若有可逆矩阵 $P$ ,使：

$P^{-1}AP = B$

则称 B 是 A 的相似矩阵。 $P^{-1}AP$ 称为 A 的相似变换。

定理：相似矩阵的特征值相同.

对于 n 阶矩阵 A ，若存在矩阵 P 满足 $P^{-1}AP =\Lambda$ ，则称矩阵 A 可对角化。

定理：一个 n 阶方阵 A 如果有 n 个不同的特征值，那么对应的 n 个特征向量互相线性独立

定理：任何 n 阶对称矩阵都有 n 个独立且正交的特征向量

图解特征值的含义：

A	特征值&特征向量	x	Ax
$\begin{bmatrix} 0.5 & 1 \\ 0 & 2 \end{bmatrix}$	$\lambda_1 = 0.5, p_1 = [1, 0]^T \\ \lambda_2= 2, p_2 = [0, 1]^T$

$\begin{bmatrix} 1 & -1 \\ -1 & 1 \end{bmatrix}$	$\lambda_1 = 0, p_1 = [1, 1]^T \\ \lambda_2= 2, p_2 = [-1, 1]^T$

$\begin{bmatrix} 3 & -1 \\ -1 & 3 \end{bmatrix}$	$\lambda_1 = 2, p_1 = [1, 1]^T \\ \lambda_2= 4, p_2 = [-1, 1]^T$

Cholesky 分解（Cholesky Decomposition）

把一个对称正定的矩阵表示成一个下三角矩阵 L 与其转置的乘积的形式。

$A = LL^T$

特征值分解（Eigen Decomposition）

对角化条件：当且仅当A满秩（有n个独立的特征向量）时，有 $A = P^{-1}DP$ ，P 为A的特征矩阵组成的可逆矩阵，D是有A的特征值组成的对角矩阵。

任何对称矩阵都可以对角化：

$S = PDP^{-1}$

其中 P 是由 n 个正交特征向量组成的矩阵，D 是有特征值组成的对角矩阵。

图解特征值分解：

$S=PDP^{-1}$	x	$P^{-1}x$	$DP^{-1}x$	$PDP^{-1}x$
$\begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} =$ $\begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}\begin{bmatrix} 1 & 0 \\ 0 & 3 \end{bmatrix}\begin{bmatrix} \frac{1}{2} & \frac{1}{2} \\ \frac{1}{2} & -\frac{1}{2} \end{bmatrix}$

奇异值分解（Singular Value Decomposition）

SVD定理：设矩阵 $A^{m\times n}$ 的秩为 $r\in (0, min(m,n))$ ，矩阵 A 的奇异值分解形式如下

$U\Sigma V^T$

其中 $U\in R^{m\times m}，V\in R^{n\times n}$ 是正交矩阵， $\Sigma\in R^{m\times n}$ 满足 $\Sigma_{ii} = \sigma_i \ge 0, \Sigma_{ij} = 0, i\ne j$ ， $\sigma_i$ 称为奇异值。

图解奇异值分解：

$U\Sigma V^T$	x	$V^Tx$	$\Sigma V^T x$	$U\Sigma V^T x$
$\begin{bmatrix} 1 & 1 \\ 1 & 1 \\ 0 & 0 \end{bmatrix} =$ $\begin{bmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} & 0 \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} 2 & 0 \\ 0 & 0 \\ 0 & 0 \end{bmatrix}\begin{bmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix}^T$
$\begin{bmatrix} 0 & 1 \\ 1 & 1 \\ 1 & 0 \end{bmatrix} =$ $\begin{bmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} & 0 & -\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{3}} \end{bmatrix}\begin{bmatrix} \sqrt{3} & 0 \\ 0 & 1 \\ 0 & 0 \end{bmatrix}\begin{bmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix}^T$