从四个子空间角度理解SVD

$$A=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T$$

将$\mathbf{A}$视为线性变换，并将整个${\mathbf{R}}^n$空间拆分为两部分，即$\mathbf{A}$的行空间（维数$r$）和零空间（维数$n-r$，行空间的正交补）：

1. $\mathbf{A}$的行空间中，存在第一部分标准正交基${\mathbf{v}}_i(i=1,2,...,r)$
   $\mathbf{A}$对应的线性变换将行空间中的${\mathbf{v}}_i$映射为$\mathbf{A}$的列空间中的一个非零向量${\sigma }_i{\mathbf{u}}_i=\mathbf{A}{\mathbf{v}}_i$（视为对$\mathbf{A}$的列向量的线性组合）；
   $$\begin{array}{rl}\mathbf{A}\left[\begin{array}{llll}{\mathbf{v}}_1& {\mathbf{v}}_2& \cdots & {\mathbf{v}}_r\end{array}\right]& =\left[\begin{array}{llll}{\sigma }_1{\mathbf{u}}_1& {\sigma }_2{\mathbf{u}}_2& \cdots & {\sigma }_r{\mathbf{u}}_r\end{array}\right]\\ & =\left[\begin{array}{llll}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_r\end{array}\right]\left[\begin{array}{llll}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_r\end{array}\right]\end{array}$$
   此即${\mathbf{U}}_{m\times n}{\hat{\mathbf{V}}}_{n\times r}={\hat{\mathbf{U}}}_{m\times r}{\hat{\mathbf{\Sigma }}}_{r\times r}$，对应下图中的红色部分

注意，$\mathbf{A}$的行空间中的向量$\mathbf{x}$到列空间中的向量$\mathbf{A}\mathbf{x}$映射，为一一映射
也就是说对于行空间中的向量$\mathbf{x}\ne \mathbf{y}$，则必有列空间中的向量$\mathbf{A}\mathbf{x}\ne \mathbf{A}\mathbf{y}$
证明：
反证法：对于行空间的向量$\mathbf{x}\ne \mathbf{y}$，假设有$\mathbf{A}\mathbf{x}=\mathbf{A}\mathbf{y}$
则$\mathbf{A}(\mathbf{x}-\mathbf{y})=0$，这就是说，向量$(\mathbf{x}-\mathbf{y})$在零空间中；
另一方面，向量$(\mathbf{x}-\mathbf{y})$一定在行空间中（两个行空间中的向量的线性组合）
向量$(\mathbf{x}-\mathbf{y})$不可能既在行空间中，又在零空间中，因此假设不成立

2. $\mathbf{A}$的零空间中，有第二部分标准正交基${\mathbf{v}}_i(i=r+1,r+2,...,n)$
$\mathbf{A}$对应的线性变换将${\mathbf{v}}_i$映射为零向量，满足$\mathbf{A}{\mathbf{v}}_i=0$；
体现在${\mathbf{\Sigma }}_{m\times n}$中，就是其右下角的0元素，对应上图蓝色部分

结论

我们在$\mathbf{A}$的四个子空间中，寻找了两组合适的基：

• 第一组标准正交基由两部分构成：
  ${\mathbf{v}}_i(i=1,2,...,r)$为行空间中的标准正交基
  ${\mathbf{v}}_i(i=r+1,r+2,...,n)$为零空间中的标准正交基
• 第二组标准正交基由两部分构成：
  ${\mathbf{u}}_i(i=1,2,...,r)$为列空间中的标准正交基
  ${\mathbf{u}}_i(i=r+1,r+2,...,m)$为左零空间中的标准正交基

理论的统一

前面笔记10-1说过，SVD（$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$）中，$\mathbf{\Sigma }$奇异值$\sigma \ge 0$；
并且，若$\mathbf{A}$为可逆矩阵$r=n$，则${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$为正定矩阵，其特征值全为正，对应$\mathbf{A}$奇异值全为正；
若$\mathbf{A}$为不可逆矩阵$r<n$，则${\mathbf{A}}^T\mathbf{A}$和$\mathbf{A}{\mathbf{A}}^T$为半正定矩阵，其特征值正数和0，对应$\mathbf{A}$奇异值为正数和0

因此有：
$\mathbf{A}$不可逆（$r<n$）$⟺$
$\mathbf{\Sigma }$对角元为正数和0（存在奇异值为0）$⟺$
$\mathbf{A}$存在零空间（维度$n-r>0$），零空间中的一部分向量${\mathbf{v}}_i$被线性变换$\mathbf{A}$映射为零向量（$\mathbf{A}{\mathbf{v}}_i=0$）