内积空间

内积空间

三维几何空间是线性空间的一个重要例子，如果分析一下三维几何空间，我们就会发现它还具有一般线性空间不具备的重要性质：三维几何空间中向量有长度和夹角，这称为三维几何空间的度量性质。现在，我们在一般线性空间中引入度量有关的概念。

我们知道三维几何空间中向量的长度和夹角可由向量的内积来决定。内积就是一个函数，它把向量对$\mathbf{u},\mathbf{v}$ 映射成一个数。在向量空间 $V$ 中，将内积运算记为 $⟨\mathbf{u},\mathbf{v}⟩$，满足以下性质

1. $⟨\mathbf{u},\mathbf{v}⟩=⟨\mathbf{v},\mathbf{u}⟩$
2. $⟨\mathbf{u},\mathbf{v}+\mathbf{w}⟩=⟨\mathbf{u},\mathbf{v}⟩+⟨\mathbf{u},\mathbf{w}⟩$
3. $c⟨\mathbf{u},\mathbf{v}⟩=⟨c\mathbf{u},\mathbf{v}⟩=⟨\mathbf{u},c\mathbf{v}⟩$
4. $⟨\mathbf{v},\mathbf{v}⟩⩾0,⟨\mathbf{v},\mathbf{v}⟩=0\text{ iff }\mathbf{v}=0$

定义了内积运算的向量空间称为内积空间(innerproductspace)。

注意，内积只给出了性质，而没给出具体的计算法则。

对于向量空间 $V$ 中的任意两向量
$$\begin{gathered} \mathbf{u}=u_1{\mathbf{e}}_1+\cdots +u_n{\mathbf{e}}_n \\ \mathbf{v}=v_1{\mathbf{e}}_1+\cdots +v_n{\mathbf{e}}_n \end{gathered}$$
由内积的基本性质知道，其内积
$$⟨\mathbf{u},\mathbf{v}⟩=⟨u_1{\mathbf{e}}_1+\cdots +u_n{\mathbf{e}}_n,v_1{\mathbf{e}}_1+\cdots +v_n{\mathbf{e}}_n⟩=\sum _{i,j}{u}_i{v}_j⟨{\mathbf{e}}_i,{\mathbf{e}}_j⟩$$
可见，只要知道基向量之间的内积，就可以求出任意两个向量的内积。上式用矩阵乘法表示为
$$⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^{T}M\mathbf{v}$$
其中，矩阵 $M=({\delta }_{ij})$ 称为坐标基的度量矩阵，包含了基向量两两之间的内积
$${\delta }_{ij}=⟨{\mathbf{e}}_i,{\mathbf{e}}_j⟩$$
定义：三维几何空间的度量概念也推广到向量空间中

1. $\Vert \mathbf{v}\Vert =\sqrt{⟨\mathbf{v},\mathbf{v}⟩}$ 称为向量的长度或范数；
2. $\text{dist}(\mathbf{u},\mathbf{v})=\Vert \mathbf{u}-\mathbf{v}\Vert$ 称为向量 $\mathbf{u},\mathbf{v}$ 间的距离；
3. 两向量的夹角余弦 $\cos \theta =\frac{⟨\mathbf{u},\mathbf{v}⟩}{\Vert \mathbf{u}\Vert \cdot \Vert \mathbf{v}\Vert }$
4. 若 $⟨\mathbf{u},\mathbf{v}⟩=0$ ，则称 $\mathbf{u},\mathbf{v}$ 正交(orthogonal)；
5. 长度为1的向量称为单位向量；
6. 如果向量空间的基向量都为单位向量且两两正交，则称为标准正交基(orthonormal basis)；

性质：

1. $\Vert \mathbf{v}\Vert ⩾0,\Vert \mathbf{v}\Vert =0\text{ iff }\mathbf{v}=0$
2. $c\Vert \mathbf{v}\Vert =|c|\Vert \mathbf{v}\Vert$
3. 勾股定理：若 $\mathbf{u},\mathbf{v}$ 是 $V$ 中的正交向量，则 $\Vert \mathbf{u}+\mathbf{v}{\Vert }^2=\Vert \mathbf{u}{\Vert }^2+\Vert \mathbf{v}{\Vert }^2$
4. 柯西-施瓦茨不等式：$|⟨\mathbf{u},\mathbf{v}⟩|⩽\Vert \mathbf{u}\Vert \cdot \Vert \mathbf{v}\Vert$
5. 三角不等式： $\Vert \mathbf{u}+\mathbf{v}\Vert ⩽\Vert \mathbf{u}\Vert +\Vert \mathbf{v}\Vert$
6. 若向量组是一组两两正交的非零向量，则向量组线性无关

示例：向量空间的欧几里得内积定义为
$$⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^T\mathbf{v}=u_1{v}_1+u_2{v}_2+\cdots +u_n{v}_n$$

即采用的是标准正交基，度量矩阵为单位阵
$${\delta }_{ij}=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$
以后，当我们讨论内积空间时，总默认采用欧几里得内积。

正交补：设 $W$ 是 $V$ 的子空间，如果向量 $\mathbf{z}$ 与子空间 $W$ 中的任意向量都正交 ，则称 $\mathbf{z}$ 正交于 $W$。与子空间 $W$ 正交的全体向量的集合称为 $W$ 的正交补(orthogonal complement)，并记作 $W^{\perp }$ 。
W ⊥ = { z ∈ V ∣ ∀ w ∈ W , ⟨ z , w ⟩ = 0 } W^{\perp}=\{\mathbf z\in V\mid \forall\mathbf w\in W,\lang\mathbf z,\mathbf w\rang=0\} W⊥={z∈V∣∀w∈W,⟨z,w⟩=0}

由其次方程 $A\mathbf{x}=0$ 的解空间易知：

1. $(\text{row }A{)}^{\perp }=\ker A$
2. $(\text{col }A{)}^{\perp }=\ker A^T$

定理：若 $\mathbf{z}$ 与${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p$ 均正交，则 $\mathbf{z}$ 正交于 W = span  { u 1 , u 2 , ⋯   , u p } W=\text{span }\{\mathbf u_1,\mathbf u_2,\cdots,\mathbf u_p\} W=span {u1​,u2​,⋯,up​} 。

证：对于任意 $\mathbf{v}\in W$ ，可线性表示为
$$\mathbf{v}=x_1{\mathbf{u}}_1+x_2{\mathbf{u}}_2+\cdots +x_p{\mathbf{u}}_p$$
由内积的性质知
$$⟨\mathbf{z},\mathbf{v}⟩=x_1⟨\mathbf{z},{\mathbf{u}}_1⟩+x_2⟨\mathbf{z},{\mathbf{u}}_2⟩+\cdots +x_p⟨\mathbf{z},{\mathbf{u}}_p⟩=0$$
于是可知$\mathbf{z}$ 正交于 $W$ 。

正交矩阵与正交变换

定义：若矩阵 $A$ 满足 $A^{T}A=I$，即 $A^{-1}=A^T$，则称 $A$ 为正交矩阵。

上式用 $A$ 的列向量表示，即
$$\left[\begin{array}{c}{\mathbf{a}}_1^T\\ {\mathbf{a}}_2^T\\ ⋮\\ {\mathbf{a}}_n^T\end{array}\right]({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)=I_n$$
于是得到
$${\mathbf{a}}_i{\mathbf{a}}_j=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$
定理：矩阵 $A$ 为正交矩阵的充要条件是$A$ 的列向量都是单位向量且两两正交。

考虑到 $A^{T}A=I$ 与 $A{A}^T=I$ 等价，所以上述结论对 $A$ 的行向量亦成立。

正交矩阵 $A$ 对应的线性变换称为正交变换。设 $\mathbf{u},\mathbf{v}\in V$ ，则变换后的内积
$$⟨A\mathbf{u},A\mathbf{v}⟩=(A\mathbf{u}{)}^T(A\mathbf{v})={\mathbf{u}}^T\mathbf{v}=⟨\mathbf{u},\mathbf{v}⟩$$
定理：正交变换后向量内积保持不变，从而向量的长度、距离和夹角均保持不变。

正交投影

正交分解定理：设 $W$ 是 $V$ 的子空间，那么对于任意 $\mathbf{v}\in V$ 可唯一表示为
$$\mathbf{v}=\hat{\mathbf{v}}+\mathbf{z}$$
其中 $\hat{\mathbf{v}}\in W,\mathbf{z}\in W^{\perp }$ 。$\hat{\mathbf{v}}$ 称为$\mathbf{v}$ 在 $W$ 上的正交投影(orthogonal projection)，记作 ${\text{proj}}_W\mathbf{v}$ 。若 ${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p$ 是 $W$ 的任意正交基，则
$$\hat{\mathbf{v}}={\text{proj}}_W\mathbf{v}=\frac{⟨\mathbf{v},{\mathbf{u}}_1⟩}{⟨{\mathbf{u}}_1,{\mathbf{u}}_1⟩}{\mathbf{u}}_1+\frac{⟨\mathbf{v},{\mathbf{u}}_2⟩}{⟨{\mathbf{u}}_2,{\mathbf{u}}_2⟩}{\mathbf{u}}_2+\cdots +\frac{⟨\mathbf{v},{\mathbf{u}}_p⟩}{⟨{\mathbf{u}}_p,{\mathbf{u}}_p⟩}{\mathbf{u}}_p$$

证：若${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p$ 是 $W$ 的任意正交基，则任意 $\mathbf{v}\in V$ 的投影可线性表示
$$\hat{\mathbf{v}}=x_1{\mathbf{u}}_1+x_2{\mathbf{u}}_2+\cdots +x_p{\mathbf{u}}_p$$
令 $\mathbf{z}=\mathbf{v}-\hat{\mathbf{v}}$ ，由于任意基向量${\mathbf{u}}_j$ 与其他基向量正交且 $\mathbf{z}\in W^{\perp }$，则
$$⟨\mathbf{z},{\mathbf{u}}_j⟩=⟨\mathbf{v}-\hat{\mathbf{v}},{\mathbf{u}}_j⟩=⟨\mathbf{v},{\mathbf{u}}_j⟩-x_j⟨{\mathbf{u}}_j,{\mathbf{u}}_j⟩=0$$
于是便求得了投影的系数
$$x_j=\frac{⟨\mathbf{v},{\mathbf{u}}_j⟩}{⟨{\mathbf{u}}_j,{\mathbf{u}}_j⟩}$$
性质：设 $W$ 是 $V$ 的子空间，$\mathbf{v}\in V,\hat{\mathbf{v}}={\text{proj}}_W\mathbf{v}$

1. (最佳逼近定理) $\hat{\mathbf{v}}$ 是 $W$ 中最接近 $\mathbf{v}$ 的点，即对于 $\forall \mathbf{w}\in W,\Vert \mathbf{v}-\hat{\mathbf{v}}\Vert ⩽\Vert \mathbf{v}-\mathbf{w}\Vert$
2. 若$U=({\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p)$ 的列向量是 $W$ 的单位正交基，则 ${\text{proj}}_W\mathbf{v}=U{U}^T\mathbf{v}$

证：(1) 取$W$ 中的任一向量 $\mathbf{w}$ ，由于
$$\mathbf{v}-\mathbf{w}=(\mathbf{v}-\hat{\mathbf{v}})+(\hat{\mathbf{v}}-\mathbf{w})$$

由勾股定理定理知道
$$\Vert \mathbf{v}-\mathbf{w}{\Vert }^2=\Vert \mathbf{v}-\hat{\mathbf{v}}{\Vert }^2+\Vert \hat{\mathbf{v}}-\mathbf{w}{\Vert }^2$$
由于 $\Vert \hat{\mathbf{v}}-\mathbf{w}{\Vert }^2⩾0$ 从而不等式得证。

(2) 由于${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p$是 $W$ 的单位正交基，那么
$$\begin{gathered} {\text{proj}}_W\mathbf{v}=⟨\mathbf{v},{\mathbf{u}}_1⟩{\mathbf{u}}_1+⟨\mathbf{v},{\mathbf{u}}_2⟩{\mathbf{u}}_2\cdots ++⟨\mathbf{v},{\mathbf{u}}_p⟩{\mathbf{u}}_p \\ ={\mathbf{u}}_1^T\mathbf{v}{\mathbf{u}}_1+{\mathbf{u}}_2^T\mathbf{v}{\mathbf{u}}_2+\cdots +{\mathbf{u}}_p^T\mathbf{v}{\mathbf{u}}_p=U{U}^T\mathbf{v} \end{gathered}$$

施密特正交化

施密特(Schmidt)正交化方法是将向量空间 $V$ 的任意一组基 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_r$ 构造成标准正交基 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_r$ 的简单算法。

取
$$\begin{array}{rl}& {\mathbf{b}}_1={\mathbf{a}}_1\\ & {\mathbf{b}}_2={\mathbf{a}}_2-\frac{{\mathbf{b}}_1^T{\mathbf{a}}_2}{{\mathbf{b}}_1^T{\mathbf{b}}_1}{\mathbf{b}}_1\\ & {\mathbf{b}}_3={\mathbf{a}}_3-\frac{{\mathbf{b}}_1^T{\mathbf{a}}_3}{{\mathbf{b}}_1^T{\mathbf{b}}_1}{\mathbf{b}}_1-\frac{{\mathbf{b}}_2^T{\mathbf{a}}_3}{{\mathbf{b}}_2^T{\mathbf{b}}_2}{\mathbf{b}}_2\\ & \cdots \\ & {\mathbf{b}}_r={\mathbf{a}}_r-\frac{{\mathbf{b}}_1^T{\mathbf{a}}_r}{{\mathbf{b}}_1^T{\mathbf{b}}_1}{\mathbf{b}}_1-\frac{{\mathbf{b}}_2^T{\mathbf{a}}_r}{{\mathbf{b}}_2^T{\mathbf{b}}_2}{\mathbf{b}}_2-\cdots -\frac{{\mathbf{b}}_{r-1}^T{\mathbf{a}}_{r-1}}{{\mathbf{b}}_{r-1}^T{\mathbf{b}}_{r-1}}{\mathbf{b}}_{r-1}\end{array}$$
那么 ${\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_r$ 是 $V$ 的一组正交基
V = span  { a 1 , a 2 , ⋯   , a r } = span  { b 1 , b 2 , ⋯   , b r } V=\text{span }\{\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_r\}=\text{span }\{\mathbf b_1,\mathbf b_2,\cdots,\mathbf b_r\} V=span {a1​,a2​,⋯,ar​}=span {b1​,b2​,⋯,br​}
再把它们单位化
$${\mathbf{e}}_1=\frac{1}{\Vert {\mathbf{b}}_1\Vert }{\mathbf{b}}_1,{\mathbf{e}}_2=\frac{1}{\Vert {\mathbf{b}}_2\Vert }{\mathbf{b}}_2,\cdots ,{\mathbf{e}}_r=\frac{1}{\Vert {\mathbf{b}}_r\Vert }{\mathbf{b}}_r$$
最终获得 $V$ 的一组标准正交基。

例：设 ${\mathbf{a}}_1=\left[\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right],{\mathbf{a}}_2=\left[\begin{array}{c}0\\ 1\\ 1\\ 1\end{array}\right],{\mathbf{a}}_3=\left[\begin{array}{c}0\\ 0\\ 1\\ 1\end{array}\right]$ 是子空间$V$的一组基，试构造 $V$ 的一组正交基

解：step 1 取第一个基向量 b 1 = a 1 , W 1 = span { a 1 } = span { b 1 } \mathbf b_1=\mathbf a_1,W_1=\text{span}\{\mathbf a_1\}=\text{span}\{\mathbf b_1\} b1​=a1​,W1​=span{a1​}=span{b1​}

step 2 取第二个基向量
$$\begin{gathered} {\mathbf{b}}_2={\mathbf{a}}_2-{\text{proj}}_{W_1}{\mathbf{a}}_2={\mathbf{a}}_2-\frac{{\mathbf{b}}_1^T{\mathbf{a}}_2}{{\mathbf{b}}_1^T{\mathbf{b}}_1}{\mathbf{b}}_1 \\ =\left[\begin{array}{c}0\\ 1\\ 1\\ 1\end{array}\right]-\frac{3}{4}\left[\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right]=\left[\begin{array}{c}-3/4\\ 1/4\\ 1/4\\ 1/4\end{array}\right] \end{gathered}$$

为计算方便，缩放 ${\mathbf{b}}_2=(-3,1,1,1{)}^T$ 。同样取 W 2 = span { b 1 , b 2 } W_2=\text{span}\{\mathbf b_1,\mathbf b_2\} W2​=span{b1​,b2​}

step 3 取第三个基向量
$$\begin{gathered} {\mathbf{b}}_3={\mathbf{a}}_3-{\text{proj}}_{W_2}{\mathbf{a}}_3={\mathbf{a}}_3-\frac{{\mathbf{b}}_1^T{\mathbf{a}}_3}{{\mathbf{b}}_1^T{\mathbf{b}}_1}{\mathbf{b}}_1-\frac{{\mathbf{b}}_2^T{\mathbf{a}}_3}{{\mathbf{b}}_2^T{\mathbf{b}}_2}{\mathbf{b}}_2 \\ =\left[\begin{array}{c}0\\ 0\\ 1\\ 1\end{array}\right]-\frac{2}{4}\left[\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right]-\frac{2}{12}\left[\begin{array}{c}-3\\ 1\\ 1\\ 1\end{array}\right]=\left[\begin{array}{c}0\\ -2/3\\ 1/3\\ 1/3\end{array}\right] \end{gathered}$$

实对称矩阵的对角化

定理：

1. 实对称矩阵对应于不同特征值的特征向量必正交。
2. 实对称矩阵可正交相似对角化。即对于对称矩阵 $A$ ，存在正交矩阵 $P$ ，使 $\Lambda =P^{-1}AP$ 。 $\Lambda$ 的对角元素为 $A$ 的特征值。

证明：(1) 设实对称矩阵 $A$ 对应不同特征值 ${\lambda }_1,{\lambda }_2$ 的特征向量分别为 ${\mathbf{u}}_1,{\mathbf{u}}_2$ 。则
$$A^T=A,A{\mathbf{u}}_1={\lambda }_1{\mathbf{u}}_1,A{\mathbf{u}}_2={\lambda }_2{\mathbf{u}}_2$$
对 $A{\mathbf{u}}_1={\lambda }_1{\mathbf{u}}_1$两边求转置，再右乘向量 ${\mathbf{u}}_2$，有
$${\mathbf{u}}_1^{T}A{\mathbf{u}}_2={\lambda }_1{\mathbf{u}}_1^T{\mathbf{u}}_2$$
对 $A{\mathbf{u}}_2={\lambda }_2{\mathbf{u}}_2$两边左乘向量 ${\mathbf{u}}_1^T$，有
$${\mathbf{u}}_1^{T}A{\mathbf{u}}_2={\lambda }_2{\mathbf{u}}_1^T{\mathbf{u}}_2$$
两式相减，得到
$$({\lambda }_1-{\lambda }_2){\mathbf{u}}_1^T{\mathbf{u}}_2=0$$
由于 ${\lambda }_1\ne {\lambda }_2$ ，所以 ${\mathbf{u}}_1^T{\mathbf{u}}_2=0$ ，即特征向量 ${\mathbf{u}}_1,{\mathbf{u}}_2$ 正交。

例：将矩阵$A=\left[\begin{array}{ccc}3& -2& 4\\ -2& 6& 2\\ 4& 2& 3\end{array}\right]$正交对角化

解：特征方程 $\det (A-\lambda I)=-(\lambda -7{)}^2(\lambda +2)=0$ ，特征值和特征向量分别为
$$\lambda =7:{\mathbf{v}}_1=\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right],{\mathbf{v}}_2=\left[\begin{array}{c}-1/2\\ 1\\ 0\end{array}\right];\lambda =-2:{\mathbf{v}}_1=\left[\begin{array}{c}-1\\ -1/2\\ 1\end{array}\right]$$
尽管 ${\mathbf{v}}_1,{\mathbf{v}}_2$ 是线性无关的，但它们并不正交。我们可以用施密特正交化方法，计算与 ${\mathbf{v}}_1$ 正交的 ${\mathbf{v}}_2$ 分量
$${\mathbf{z}}_2={\mathbf{v}}_2-\frac{{\mathbf{v}}_1^T{\mathbf{v}}_2}{{\mathbf{v}}_1^T{\mathbf{v}}_1}{\mathbf{v}}_1=\left[\begin{array}{c}-1/4\\ 1\\ 1/4\end{array}\right]$$
由于 ${\mathbf{z}}_2$ 是特征值$\lambda =7$ 的特征向量 ${\mathbf{v}}_1,{\mathbf{v}}_2$ 的线性组合，从而 ${\mathbf{z}}_2$ 是特征值$\lambda =7$ 的特征向量。

分别将 ${\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3$ 标准化
$${\mathbf{u}}_1=\left[\begin{array}{c}1/\sqrt{2}\\ 0\\ 1/\sqrt{2}\end{array}\right],{\mathbf{u}}_2=\left[\begin{array}{c}-1/\sqrt{18}\\ 4/\sqrt{18}\\ 1/\sqrt{18}\end{array}\right],{\mathbf{u}}_3=\left[\begin{array}{c}-2/3\\ -1/3\\ 2/3\end{array}\right]$$
令
$$P=({\mathbf{u}}_1,{\mathbf{u}}_2,{\mathbf{u}}_3)=\left[\begin{array}{ccc}1/\sqrt{2}& -1/\sqrt{18}& -2/3\\ 0& 4/\sqrt{18}& -1/3\\ 1/\sqrt{2}& 1/\sqrt{18}& 2/3\end{array}\right],\Lambda =\left[\begin{array}{ccc}7& 0& 0\\ 0& 7& 0\\ 0& 0& -2\end{array}\right]$$
于是正交矩阵 $P$ 将 $A$ 正交对角化，即 $A=P\Lambda P^{-1}$

对称矩阵的谱：矩阵 $A$ 的特征值的集合称为 $A$ 的谱(spectrum)
spec  A = { λ ∈ C ∣ det ⁡ ( A − λ I ) = 0 } \text{spec }A=\{\lambda\in\Complex\mid\det(A-\lambda I)=0\} spec A={λ∈C∣det(A−λI)=0}
性质 设 $A$ 为 $n$ 阶对称阵

1. $A$ 有 $n$ 个实特征值(包含重复的特征值)；
2. 对于每一个特征值，对应的特征空间的维数等于特征方程的根的重数；
3. 不同特征值的特征空间相互正交的；
4. $A$ 可正交対角化;

谱分解：假设对称矩阵 $A=P\Lambda P^{-1}$ 。其中 $P$ 为正交矩阵，其列是 $A$ 的正交特征向量 ${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_n$ ，对应的特征值 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是 $\Lambda$ 的对角线元素。由于 $P^T=P^{-1}$ ，故
$$\begin{array}{rl}A& =P\Lambda P^{-1}=({\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_n)\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{\mathbf{u}}_1^T\\ {\mathbf{u}}_2^T\\ ⋮\\ {\mathbf{u}}_n^T\end{array}\right]\\ & =({\lambda }_1{\mathbf{u}}_1,{\lambda }_2{\mathbf{u}}_2,\cdots ,{\lambda }_n{\mathbf{u}}_n)\left[\begin{array}{c}{\mathbf{u}}_1^T\\ {\mathbf{u}}_2^T\\ ⋮\\ {\mathbf{u}}_n^T\end{array}\right]\\ & ={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T+{\lambda }_2{\mathbf{u}}_2{\mathbf{u}}_2^T+\cdots +{\lambda }_n{\mathbf{u}}_n{\mathbf{u}}_n^T\end{array}$$
由于它将 $A$ 分解为由 $A$ 的特征值确定的小块，因此这个 $A$ 的表示就称为 $A$ 的谱分解。 上式中的每一项都是一个秩为1的 $n$ 阶方阵。例如，${\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T$的每一列都是 ${\mathbf{u}}_1$ 的倍数。