文章目录
- 1. 投影矩阵
- 1.1 投影矩阵P
- 1.2 投影向量
1. 投影矩阵
1.1 投影矩阵P
根据上节知识，我们知道当我们在解
A
X
=
b
AX=b
AX=b的时候，发现当向量b不在矩阵A的列空间的时候，我们希望的是通过投影，将向量b投影到矩阵A的列空间中，这样，我们可以求得一个近似的解，得到如下公式
A
T
A
X
^
=
A
T
b
(1)
A^TA\hat{X} = A^Tb\tag{1}
ATAX^=ATb(1)
- 我们假设
A
T
A
可逆，
A^TA可逆，
ATA可逆，可得到解为：
X ^ = ( A T A ) − 1 A T b (2) \hat{X}=(A^TA)^{-1}A^Tb\tag{2} X^=(ATA)−1ATb(2) - 那么可以得到向量b在矩阵A的列空间向量p表示如下：
p = A ( A T A ) − 1 A T b (3) p=A(A^TA)^{-1}A^Tb\tag{3} p=A(ATA)−1ATb(3) - 由上可以看出，我们将矩阵
P
=
A
(
A
T
A
)
−
1
A
T
P=A(A^TA)^{-1}A^T
P=A(ATA)−1AT代入可得：
p = P b (4) p=Pb\tag{4} p=Pb(4) - 我们发现，向量b为不在矩阵A的列空间中的向量,p为向量b通过投影矩阵P转换后的向量。并且向量p是在矩阵A的列空间中。
1.2 投影向量
对于任意向量b来说，我们可以通过正交分解，将向量b分解到两个垂直的向量空间中，我们考虑两个极端的情况下
- 假设向量b在矩阵A的列空间中，那么向量b通过投影矩阵P的转换，还是得到其本身
P b = b (5) Pb=b\tag{5} Pb=b(5) - 假设向量b在垂直于矩阵A的列空间中，那么向量b通过投影矩阵P的转换，得到的将是零向量
P b = 0 (6) Pb=0\tag{6} Pb=0(6)
那么我们思考下，什么向量空间是垂直于矩阵A的列空间的呢？我们之前学过矩阵A的四个子空间，分别是
- Row(A) —> 矩阵A的行空间；2.Colum(A) —> 矩阵A的列空间
- N(A) —> 矩阵A的零解空间；4.
N
(
A
T
)
N(A^T)
N(AT) —> 矩阵
A
T
A^T
AT的零解空间
我们可以将 A T A^T AT按列向量拆解得到如下
A T = [ a 1 T a 2 T ⋮ a n T ] ; [ a 1 T a 2 T ⋮ a n T ] [ y 1 y 2 … y n ] = 0 (7) A^T=\begin{bmatrix}a_1^T\\\\a_2^T\\\\\vdots\\\\a_n^T \end{bmatrix};\begin{bmatrix}a_1^T\\\\a_2^T\\\\\vdots\\\\a_n^T \end{bmatrix}\begin{bmatrix}y_1&y_2&\dots&y_n\end{bmatrix}=0\tag{7} AT= a1Ta2T⋮anT ; a1Ta2T⋮anT [y1y2…yn]=0(7)
- 由上述可以看出，
A
T
A^T
AT的零解空间是垂直于矩阵A的列空间的，所以我们可以将任意向量b 通过正交分解为一部分投影在列空间的向量p，另一部分投影在
A
T
A^T
AT的零解空间中的e
p = P b e = ( I − P ) b (8) p=Pb\\\\e=(I-P)b\tag{8} p=Pbe=(I−P)b(8)
