一、四个子空间的正交性

如果两个向量的点积为零，则两个向量正交：$\mathbf{v}\cdot \mathbf{w}={\mathbf{v}}^T\mathbf{w}=0$。本章着眼于正交子空间、正交基和正交矩阵。两个子空间的中的向量，一组基中的向量和 $Q$ 中的列向量，它们所有的配对向量都是正交的。对于直角三角形有 $a^2+b^2=c^2$，两条直角边分别是 $\mathbf{v}$ 和 $\mathbf{w}$。

$$正交向量{\mathbf{v}}^T\mathbf{w}=0且||\mathbf{v}|{|}^2+||\mathbf{w}|{|}^2=||\mathbf{v}-\mathbf{w}|{|}^2$$

当 ${\mathbf{v}}^T\mathbf{w}={\mathbf{w}}^T\mathbf{v}=0$ 时，右边 $(\mathbf{v}+\mathbf{w}{)}^T(\mathbf{v}-\mathbf{w})={\mathbf{v}}^T\mathbf{v}+{\mathbf{w}}^T\mathbf{w}$。
第三章我们主要是讨论 $A\mathbf{x}=\mathbf{b}$，我们需要列空间和零空间，然后视线转到 $A^T$，会需要另外两个子空间。这四个基本子空间揭示了矩阵实际上在做什么。
矩阵乘向量：$A$ 乘 $\mathbf{x}$：第一层只有数字；第二层 $A\mathbf{x}$ 表示的是列向量的组合；第三层展示了子空间。在学习 Figure4.2 的大图之后，我们将看到它的全貌。
将子空间放在一起可以显示出 $A$ 乘 $\mathbf{x}$ 隐藏的一些事实，两个子空间之间的 $90°$ 角就是我们将要讨论的新的主题。
行空间垂直于零空间。$A$ 的每一行垂直于 $A\mathbf{x}=0$ 的每一个解。得到 Figure 4.2 左侧的 $90°$ 角。子空间的垂直性是线性代数基本定理的第二部分。
列空间垂直于 $A^T$ 的零空间。当 $\mathbf{b}$ 不在列空间中，此时将无法求解 $A\mathbf{x}=\mathbf{b}$，那么 $A^T$ 的零空间将展现出它的优势。它包含有 “最小二乘” 解法的误差 $\mathbf{e}=\mathbf{b}-A\mathbf{x}$。最小二乘法是线性代数在本章的关键应用。
线性代数基本定理的第一部分给出了子空间的维度。行空间与列空间有相同的维度 $r$，剩下两个零空间的维度分别是 $n-r$ 和 $m-r$。现在我们将证明行空间与零空间是 $R^n$ 中的正交子空间。
定义 \kern 10pt 如果向量空间中的两个子空间 $\mathbf{V}$ 和 $\mathbf{W}$ 有：任意 $\mathbf{V}$ 中的向量 $\mathbf{v}$ 和任意 $\mathbf{W}$ 中的向量 $\mathbf{w}$ 都垂直，则 $\mathbf{V}$ 和 $\mathbf{W}$ 正交：

$$正交子空间对于所有\mathbf{V}中的向量\mathbf{v}和所有\mathbf{W}中的向量\mathbf{w}都有{\mathbf{v}}^T\mathbf{w}=0$$

【例1】房间中的地板（延伸到无限远）是一个子空间 $\mathbf{V}$，两面墙的交线是一个子空间 $\mathbf{W}$（一维）。这两个子空间是正交的。两面墙交线上的每个向量与地板上的每个向量都垂直。
【例2】两面墙看起来垂直，但是这两个子空间不是正交的！它们的交线同时位于 $\mathbf{V}$ 和 $\mathbf{W}$，这条交线与它自身并不垂直。两个平面（${\text{R}}^3$ 中的两个 $2$ 维平面）不可能是正交的子空间。
当一个向量同时存在于两个正交的子空间中，那么它一定是零向量，它垂直于它本身，即是 $\mathbf{v}$ 也是 $\mathbf{w}$，所以有 ${\mathbf{v}}^T\mathbf{v}=0$，它只能是零向量。

线性代数的重要例子来源于四个基本子空间。零是零空间与行空间的唯一交点，此外，$A$ 的零空间与行空间是 $90°$ 相交。我们可以直接从 $A\mathbf{x}=0$ 得到这个关键事实：

因为 $A\mathbf{x}=0$，所以有 $A$ 零空间中的每个向量 $\mathbf{x}$ 垂直于 $A$ 的每一行。零空间 $N(A)$ 和行空间 $C(A^T)$ 是 ${\text{R}}^n$ 中的正交子空间。

为什么 $\mathbf{x}$ 与这些行垂直呢，看 $A\mathbf{x}=0$，每行乘 $\mathbf{x}$：

$$A\mathbf{x}=\left[\begin{array}{c}\text{row1}\\ ⋮\\ \text{row}m\end{array}\right]\left[\begin{array}{c}\\ \mathbf{x}\\ \end{array}\right]=\left[\begin{array}{c}0\\ ⋮\\ 0\end{array}\right]\begin{array}{cc}\leftarrow & (\text{row1})\cdot \mathbf{x}是零\\ & \\ \leftarrow & (\text{row}m)\cdot \mathbf{x}是零\end{array}(\mathrm{4.1.1})$$

第一个方程表明行 $1$ 垂直于 $\mathbf{x}$，最后一个方程表明行 $m$ 垂直于 $\mathbf{x}$。每一行与 $\mathbf{x}$ 的点积都是零，则 $\mathbf{x}$ 也垂直于行的每种组合。整个行空间 $C(A^T)$ 与零空间 $N(A)$ 正交。
第二种证明正交的方式使用矩阵的缩写：行空间的向量就是行的线性组合 $A^T\mathbf{y}$，做 $A^T\mathbf{y}$ 与零空间任意向量 $\mathbf{x}$ 的点积，可以得到这些向量是垂直的：$$零空间与行空间正交{\mathbf{x}}^T(A^T\mathbf{y})=(A\mathbf{x}{)}^T\mathbf{y}=0^T\mathbf{y}=0(\mathrm{4.1.2})$$第一个证明很直观，从方程（4.1.1）中可以直接看到 $A$ 的这些行乘 $\mathbf{x}$ 得到零。第二个证明表示了为什么 $A$ 和 $A^T$ 都在基础定理中。

【例3】$A$ 的行垂直于零空间中的向量 $\mathbf{x}=(1,1,-1)$：$$A\mathbf{x}=\left[\begin{array}{ccc}1& 3& 4\\ 5& 2& 7\end{array}\right]\left[\begin{array}{c}1\\ 1\\ -1\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]得点积\begin{array}{c}1+3-4=0\\ 5+2-7=0\end{array}$$现在我们将实现转向另外两个子空间。此例中，列空间是整个 ${\text{R}}^2$，$A^T$ 的零空间只有零向量（与任意向量正交）。$A$ 的列空间和 $A^T$ 的零空间总是正交的子空间。

$A^T$ 零空间中的每个向量 $\mathbf{y}$ 垂直于 $A$ 的每一列。左零空间 $N(A^T)$ 和列空间 $C(A)$ 是 ${\text{R}}^m$ 中的正交子空间。

因为 $A^T$ 的零空间与 $A^T$ 的行空间正交，而 $A^T$ 的零空间就是 $A$ 的左零空间，$A^T$ 的行空间就是 $A$ 的列空间。证毕！
看 $A^T\mathbf{y}=0$ 可以得到一个可视化的证明。$A$ 的每一列乘 $\mathbf{y}$ 都得到 $0$：$$C(A)\perp N(A^T)A^T\mathbf{y}=\left[\begin{array}{c}(\text{column}1{)}^T\\ \cdots \\ (\text{column}n{)}^T\end{array}\right]\left[\begin{array}{c}\\ \mathbf{y}\\ \end{array}\right]=\left[\begin{array}{c}0\\ \dot{}\\ 0\end{array}\right](\mathrm{4.2.3})$$$\mathbf{y}$ 和 $A$ 的每一列点积都是零，则有 $A$ 左零空间中的向量 $\mathbf{y}$ 垂直于 $A$ 的每一列，即垂直于列空间。

二、正交补

重要： 基本子空间不仅仅是正交（成对）而已，它们也要有合适的维度。两条直线可能在 ${\text{R}}^3$ 空间中垂直，但是这些直线不可能是 $3\times 3$ 矩阵的行空间和零空间。这两天直线的维度都是 $1$，相加起来是 $2$，但是正确的维度 $r$ 与 $n-r$ 加起来一定是 $n=3$。
$3\times 3$ 矩阵的基本子空间的维度可能是 $2$ 和 $1$，或 $3$ 和 $0$，这些成对的子空间不仅仅是正交，它们是正交补。
定义： 子空间 $V$ 的正交补包含所有与 $V$ 垂直的向量。这个子空间的正交补写成 $V^{\perp }$（读作 “$V$ perp”）。
根据这个定义，零空间是行空间的正交补，每个垂直于所有行的向量 $\mathbf{x}$ 都满足 $A\mathbf{x}=0$，它也在零空间中。
反过来也是正确的，如果 $\mathbf{v}$ 与零空间正交，它一定在行空间中。否则我们可以将 $\mathbf{v}$ 加入矩阵当做额外的一行，这样没有改变它的零空间，但是行空间会变大，将违反 $r+(n-r)=n$ 的法则。结论是零空间的正交补 $N(A{)}^{\perp }$ 就是行空间 $C(A^T)$。
同样的方法，左零空间和列空间是 ${\text{R}}^m$ 的正交补。它们的维度 $r$ 和 $m-r$ 加起来得到全维度 $m$。

$$\begin{gathered} 线性代数基本定理，第二部分 \\ N(A)是行空间C(A^T)的正交补(在{\text{R}}^n中) \\ N(A^T)是列空间C(A)的正交补(在{\text{R}}^m中) \end{gathered}$$

第一部分给出了子空间的维度，第二部分给出了它们之间的 $90°$ 角。补充的重点是每一个 $\mathbf{x}$ 都可以分成一个行空间分量 ${\mathbf{x}}_r$ 和一个零空间分量 ${\mathbf{x}}_n$。Figure 4.3 显示了当 $A$ 乘 $\mathbf{x}={\mathbf{x}}_r+{\mathbf{x}}_n$ 时发生了什么 $A\mathbf{x}=A{\mathbf{x}}_r+A{\mathbf{x}}_n$：$$\begin{gathered} 零空间的分量得到零：A{\mathbf{x}}_n=0 \\ 行空间的分量到列空间：A{\mathbf{x}}_r=A\mathbf{x} \end{gathered}$$每个向量都到列空间！左乘 $A$ 不会做其它的事情，除此之外，列空间的每个向量 $\mathbf{b}$ 仅来自一个行空间的唯一向量 ${\mathbf{x}}_r$。证明：如果 $A{\mathbf{x}}_r=A{\mathbf{x}}_r^{\prime }$，它们的差 ${\mathbf{x}}_r-{\mathbf{x}}_r^{\prime }$ 在零空间中，也会在行空间中，因为 ${\mathbf{x}}_r$ 和 ${\mathbf{x}}_r^{\prime }$ 都来自与行空间。它们的差必定为零，因为零空间与行空间是垂直的，因此 ${\mathbf{x}}_r={\mathbf{x}}_r^{\prime }$。
如果我们抛开两个零空间，则 $A$ 中会隐藏有一个 $r\times r$ 的可逆矩阵，从行空间到列空间，$A$ 是可逆的。
【例4】每个秩 $r$ 的矩阵都有一个 $r\times r$ 的可逆子矩阵：$$A=\left[\begin{array}{ccccc}3& 0& 0& 0& 0\\ 0& 5& 0& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]包含子矩阵\left[\begin{array}{cc}3& 0\\ 0& 5\end{array}\right]$$另外 $11$ 个 $0$ 是负责零空间的。$B$ 的秩也为 $r=2$。$$B=\left[\begin{array}{ccccc}1& 2& 3& 4& 5\\ 1& 2& 4& 5& 6\\ 1& 2& 4& 5& 6\end{array}\right]包含子矩阵\left[\begin{array}{cc}1& 3\\ 1& 4\end{array}\right]在主元行和主元列$$当我们选择了正确的 ${\text{R}}^n$ 和 ${\text{R}}^m$ 的基，每个矩阵都可以对角化。这个奇异值分解（Singular Value Decomposition）在应用中已经非常重要。
我们重复下一个事实，$A$ 的行不可能在 $A$ 的零空间中（除了零向量）。唯一都存在于两个正交子空间的向量是零向量。$$如果向量\mathbf{v}正交于它本身，则\mathbf{v}是零向量。$$

三、画出大图

大图要显示出这些子空间的正交性。Figure4.4是一条直线与一个平面的正交图，它们是在三维空间中。

四、从子空间中组合基

基是线性无关的向量，它们可以张成向量空间。正常情况下对于基来说我们要检验以下两个性质，当其中一个成立时是可以退出另外一个的：

${\text{R}}^n$ 中任意 $n$ 个无关向量一定可以张成空间 ${\text{R}}^n$，因此它们是一组基。
任何可以张成空间 ${\text{R}}^n$ 的 $n$ 个向量一定是无关的，所以它们是一组基。

如果向量的数量是正确的，那么基的一个性质可以推出另外一个性质，这对于任何向量空间都是成立的，我们更多关注的是 ${\text{R}}^n$。当这些向量是 $n\times n$ 方阵 $A$ 的列时，我们可得到下面两个事实：

如果 $A$ 的 $n$ 列是无关的，它们张成 ${\text{R}}^n$，所以 $A\mathbf{x}=\mathbf{b}$ 有解。
如果这 $n$ 个列张成 ${\text{R}}^n$，则它们是无关的，$A\mathbf{x}=\mathbf{b}$ 有唯一解。

唯一性推论到存在性且存在性推论到唯一性，$A$ 是可逆的。如果没有自由变量，则解 $\mathbf{x}$ 是唯一的，那么一定有 $n$ 个主元列，通过回代可以求解 $A\mathbf{x}=\mathbf{b}$（解存在）。
从反方向开始，假设 $A\mathbf{x}=\mathbf{b}$ 对于任意的 $\mathbf{b}$ 都有解（存在解），那么消元后没有零行，有 $n$ 个主元没有自由变量。零空间仅包含 $\mathbf{x}=0$（唯一性）。
对于行空间和零空间的基来说，有 $r+(n-r)=n$ 个向量，这 $n$ 个向量是无关的，它们张成 ${\text{R}}^n$。

$$每个\mathbf{x}都是行空间{\mathbf{x}}_r和零空间{\mathbf{x}}_n的和{\mathbf{x}}_r+{\mathbf{x}}_n。$$

Figure 4.3 画出了正交补的关键点 —— 它们的维度相加是 $n$，所有的向量都可以通过正交补来解释。

【例5】$A=\left[\begin{array}{cc}1& 2\\ 3& 6\end{array}\right]$ 将 $\mathbf{x}=\left[\begin{array}{c}4\\ 3\end{array}\right]$ 分成 ${\mathbf{x}}_r+{\mathbf{x}}_n=\left[\begin{array}{c}2\\ 4\end{array}\right]+\left[\begin{array}{c}2\\ -1\end{array}\right]$。
向量 $\left[\begin{array}{c}2\\ 4\end{array}\right]$ 在行空间，它的正交向量 $\left[\begin{array}{c}2\\ -1\end{array}\right]$ 在零空间中。

五、主要内容总结

• 如果 $\mathbf{V}$ 中的每个向量 $\mathbf{v}$ 和 $\mathbf{W}$ 中的每个向量 $\mathbf{w}$ 都正交，则子空间 $\mathbf{V}$ 和 $\mathbf{W}$ 正交。
• 如果 $\mathbf{W}$ 中包含全部垂直于 $\mathbf{V}$ 的向量（反之亦然），则 $\mathbf{V}$ 和 $\mathbf{W}$ 是正交补。在 ${\text{R}}^n$ 中，$\mathbf{V}$ 和 $\mathbf{W}$ 的维度相加是 $n$ 。
• 零空间 $N(A)$ 和行空间 $C(A^T)$ 是正交补，维度是 $(n-r)+r=n$，相似的，左零空间 $N(A^T)$ 和列空间 $C(A)$ 是正交补，它们的维度是 $(m-r)+r=m$ 。
• ${\text{R}}^n$ 中任意 $n$ 个无关的向量可以张成 ${\text{R}}^n$；任意可以张成 ${\text{R}}^n$ 的 $n$ 个向量是无关的。

六、例题

【例6】假设 $S$ 是 9 维空间 ${\text{R}}^9$ 中的 $6$ 维子空间：
（a）与 $S$ 正交的子空间的维度可能是多少？
（b）$S$ 的正交补 $S^{\perp }$ 的维度可能是多少？
（c）行空间是 $S$ 的矩阵 $A$ 可能的最小形状大小是多少？
（d）零空间是 $S^{\perp }$ 的矩阵 $B$，它的形状可能的最小大小是多少？
解： （a）如果 $S$ 是 ${\text{R}}^9$ 中的 $6$ 维子空间，那么与 $S$ 正交的子空间的维度可能是 $0,1,2,3$。
（b）正交补 $S^{\perp }$ 是最大的正交子空间，它的维度是 $3$。
（c）最小的矩阵 $A$ 形状是 $6\times 9$。（它的 $6$ 行是 $S$ 的一组基）。
（d）最小的矩阵 $B$ 形状是 $6\times 9$。（与（c）答案一样）
如果 $B$ 的新行第 $7$ 行是 $A$ 的 $6$ 行的组合，那么 $B$ 与 $A$ 有相同的行空间，也有相同的零空间。$A\mathbf{x}=0$ 的特殊解 ${\mathbf{s}}_1,{\mathbf{s}}_2,{\mathbf{s}}_3$ 同样也是 $B\mathbf{x}=0$ 的特殊解。消元后 $B$ 的第$7$ 行将会变成零行。

【例7】方程 $x-3y-4z=0$ 描述了 ${\text{R}}^3$ 中的一个平面 $P$（实际上是一个子空间）。
（a）平面 $P$ 是哪个 $1\times 3$ 的矩阵 $A$ 的零空间？
（b）找到 $x-3y-4z=0$ 特殊解构成的一组基 ${\mathbf{s}}_1,{\mathbf{s}}_2$（它们会是零空间矩阵 $N$ 的列）。
（c）找到垂直于 $P$ 的直线 $P^{\perp }$ 的一组基。
解：（a）$A=\left[\begin{array}{ccc}1& -3& -4\end{array}\right]$
（b）${\mathbf{s}}_1=\left[\begin{array}{c}3\\ 1\\ 0\end{array}\right],{\mathbf{s}}_2=\left[\begin{array}{c}4\\ 0\\ 1\end{array}\right]$
（c）$\left[\begin{array}{c}1\\ -3\\ -4\end{array}\right]$