内积空间

1 内积空间

• 内积空间定义

  设$V$是在数域$F$上的向量空间，则$V$到$F$的一个代数运算记为$(\alpha ,\beta )$。如果$(\alpha ,\beta )$满足以下条件：

  1. $(\alpha ,\beta )=\overline{(\beta ,\alpha )}$（$\overline{}$表示共轭符，针对复数域，为了保证复数运算的正确性）
  2. $(\alpha +\beta ,\gamma )=(\alpha ,\gamma )+(\beta ,\gamma )$
  3. $(k\alpha ,\beta )=k(\alpha ,\beta )$
  4. $(\alpha ,\alpha )\ge 0$，当且仅当$\alpha =0$时，$(\alpha ,\alpha )=0$。

  其中$k\in F,\alpha ,\beta ,\gamma \in V$。则称$(\alpha ,\beta )$为$\alpha$和$\beta$的内积。定义了内积的向量空间$V$称为内积空间。特别地，称实数域$R$上的内积空间$V$为Euclid空间（欧式空间）；称复数域$C$上的内积空间$V$为酉空间。

• 标准内积

  1. 在实数域$R$上的$n$维向量空间$R^n$中，对向量$x=(x_1,\cdots ,x_n{)}^T,y=(y_1,\cdots ,y_n{)}^T$，定义内积
     $$\begin{gathered} (x,y)=y^{T}x=\left(\begin{array}{ccc}{y}_1& \cdots & y_n\end{array}\right)\left(\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right)=\sum _{ \\ i=1}^n{x}_i{y}_i \end{gathered}$$

  2. 在复数域$C$上的$n$维向量空间$C^n$，对向量$x=(x_1,\cdots ,x_n{)}^T,y=(y_1,\cdots ,y_n{)}^T$，定义内积
     $$\begin{gathered} (x,y)=y^{H}x=\left(\begin{array}{ccc}\overline{y_1}& \cdots & \overline{y_n}\end{array}\right)\left(\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right)=\sum _{ \\ i=1}^n{x}_i\overline{y_i} \end{gathered}$$
     其中$y^H$表示$y$的共轭转置。

  以上两个内积我们称为$R^n$或$C^n$的标准内积，一般我们探讨的也就是标准内积。

• 重要定义

  设$u,v$是内积空间$V$的向量

  1. 则$v$的长度或范数为：$||v||=\sqrt{(v,v)}$，长度为$1$的称为单位向量。如果$v\ne 0$，则$\frac{v}{||v||}$是一个单位向量
  2. 如果$v\ne 0$，则$u$在$v$上的数量投影被定义为：$\alpha =\frac{(u,v)}{||v||}$，$u$在$v$上的向量投影被定义为：$p=\alpha \frac{v}{||v||}=\frac{(u,v)}{(v,v)}v$
  3. 如果$(u,v)=0$，则称$u$和$v$正交

• 内积的基本性质

  设$u,v\in V$，其中$V$是内积空间，则

  1. 勾股定理：如果$u\perp v$，则$||u-v|{|}^2=||u|{|}^2+||v|{|}^2$

     证明：
     $$\begin{gathered} ||u-v|{|}^2=(u-v,u-v)=(u,u-v)+(-v,u-v) \\ =(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-\overline{(u,v)}+(v,v) \end{gathered}$$

     

  2. 柯西不等式：$|(u,v)|\le ||u||||v||$。等式成立当且仅当$u$和$v$线性相关。

     证明：

     如果$u,v$线性相关，则设$u=kv,k\in F$，则$(u,v)=(kv,v)=k||v|{|}^2$

     如果$u,v$线性无关，设$z=u-\frac{(u,v)}{(v,v)}v$，则$(z,v)=(u-\frac{(u,v)}{(v,v)}v,v)=(u,v)-\frac{(u,v)}{(v,v)}(v,v)=0$，则$z$和$v$正交。转换得到$u=z+\frac{(u,v)}{(v,v)}v$，根据正交性，结合勾股定理则$||u|{|}^2=||z|{|}^2+|\frac{(u,v)}{(v,v)}{|}^2||v|{|}^2=||z|{|}^2+\frac{|(u,v){|}^2}{(||v|{|}^2{)}^2}||v|{|}^2=||z|{|}^2+\frac{|(u,v){|}^2}{||v|{|}^2}$

     又因为$||z|{|}^2>0$（线性无关，$||z|{|}^2$必大于$0$），则$|(u,v|<||u||||v||$

  3. 三角不等式：$||u+v|{|}^2\le ||u|{|}^2+||v|{|}^2$

     证明：
     $$\begin{gathered} ||u+v|{|}^2=(u+v,u+v)=(u,u+v)+(v,u+v) \\ =(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+\overline{(u,v)}+(v,v) \\ \le ||u|{|}^2+2|(u,v)|+||v|{|}^2\le ||u|{|}^2+2||u||||v||+||v|{|}^2=(||u||+||v||{)}^2 \end{gathered}$$

  4. 平行四边形准则：$||u+v|{|}^2+||u-v|{|}^2=2(||u|{|}^2+||v|{|}^2)$

     证明：
     $$\begin{gathered} ||u-v|{|}^2=(u-v,u-v)=(u,u-v)+(-v,u-v) \\ =(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-\overline{(u,v)}+(v,v) \\ ||u+v|{|}^2=(u+v,u+v)=(u,u+v)+(v,u+v) \\ =(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+\overline{(u,v)}+(v,v) \\ ||u+v|{|}^2+||u-v|{|}^2=2(u,u)+2(v,v)=2(||u|{|}^2+||v|{|}^2) \end{gathered}$$

2 标准正交向量集

• 正交向量集定义

  设$v_1,\cdots ,v_n$是内积空间$V$中的非零向量，如果$V$中的任意两个向量$(v_i,v_j)=0(i\ne j)$，则$V$是一个正交向量集。

• 标准正交向量集定义

  如果$V$是一个正交向量集，且$V$中的所有向量都是单位向量，即$(v_i,v_i)=1$，则$V$是一个标准正交向量集。

• 正交向量集性质

  如果$v_1,\cdots ,v_n$是内积空间$V$的一个正交向量集，则$v_1,\cdots ,v_n$都是线性无关的。

• 正交基和标准正交基

  在$n$维内积空间中，由$n$个正交向量组成的基称为正交基，由$n$个标准正交向量组成的基称为标准正交基。

• 标准正交基表示向量坐标

  设$u_1,\cdots ,u_n$是内积空间$V$的一个标准正交基，如果$$\begin{gathered} v={\sum }_{ \\ i=1}^n{c}_i{u}_i \end{gathered}$$，则$c_i=(v,u_i)$其中$c_i$为向量$v$在向量$u_i$的标量投影。

• Parseval公式

  设$u_1,\cdots ,u_n$是内积空间$V$的一个标准正交基，如果$$\begin{gathered} u={\sum }_{ \\ i=1}^n{a}_i{u}_i,v={\sum }_{ \\ i=1}^n{b}_i{u}_i \end{gathered}$$，则$$\begin{gathered} (u,v)={\sum }_{ \\ i=1}^n{a}_i\overline{b_i} \end{gathered}$$。并且，$$\begin{gathered} ||v|{|}^2={\sum }_{ \\ i=1}^n{b}_i\overline{b_i}={\sum }_{i=1}^n|b_i{|}^2 \end{gathered}$$。

• 正交投影向量定义

  如果$S$是内积空间$V$的子空间，令$b\in V$，如果存在向量$p\in S,q$，使得$q\perp S,b=p+q$，则称$p$是$b$在子空间$S$上的正交投影向量。

  

  设$u_1,\cdots ,u_n$为$S$的标准正交基，如果$$\begin{gathered} p={\sum }_{ \\ i=1}^n(b,u_i)u_i \end{gathered}$$，则

  1. $b-p$与$s$的任意一个向量正交

  2. $p$是$S$中唯一一个最接近$b$的向量。也就是说$\forall y\in S,y\ne p$，有$||y-b||>||p-b||$。向量$p$是$b$在子空间$S$上的正交投影向量。

     

• 投影矩阵

  设$S$是内积空间$F^n$的非零子空间，$b\in F^n$，$u_1,\cdots ,u_n$为$S$的标准正交基， U = { u 1 , ⋯   , u n } U=\{u_1,\cdots,u_n\} U={u1​,⋯,un​}，则$b$在子空间$S$的正交投影$p=U{U}^{H}b$，其中$U$则是投影矩阵。

3 Gram-Schmidt正交化方法

设${\alpha }_1,\cdots ,{\alpha }_n$是向量空间$V$的线性无关向量组。我们按照以下步骤标准正交化得到标准正交向量组${\beta }_1,\cdots ,{\beta }_n$

1. 单位化向量${\alpha }_1$，得到${\beta }_1=\frac{{\alpha }_1}{||{\alpha }_1||}$。易知$span({\alpha }_1)=span({\beta }_1)$。
2. 找到${\alpha }_2$在$span({\beta }_1)$上的向量投影$p_1=({\alpha }_2,{\beta }_1){\beta }_1$，根据推导可知${\alpha }_2-p_1$和$span({\beta }_1)$正交。我们对其单位化得到${\beta }_2=\frac{{\alpha }_2-p_1}{||{\alpha }_2-p_1||}$。易得$span({\alpha }_1,{\alpha }_2)=span({\beta }_1,{\beta }_2)$。
3. 找到${\alpha }_3$在$span({\beta }_1,{\beta }_2)$上的向量投影$p_2=({\alpha }_3,{\beta }_1){\beta }_1+({\alpha }_3,{\beta }_2){\beta }_2$，根据推导可知${\alpha }_3-p_2$和$span({\beta }_1,{\beta }_2)$正交。我们对其单位化得到${\beta }_3=\frac{{\alpha }_3-p_2}{||{\alpha }_3-p_2||}$。易得$span({\alpha }_1,{\alpha }_2,{\alpha }_3)=span({\beta }_1,{\beta }_2,{\beta }_3)$。
4. 如上进行操作，${\alpha }_i$在$S_{i-1}=span({\alpha }_1,\cdots ,{\alpha }_i)=span({\beta }_1,\cdots ,{\beta }_i)$的向量投影$p_{i-1}=({\alpha }_i,{\beta }_1){\beta }_1+\cdots +({\alpha }_i,{\beta }_{i-1}){\beta }_{i-1}$，则${\alpha }_i-p_{i-1}$和$S_{i-1}$正交。所以对其单位化得到${\beta }_i=\frac{{\alpha }_i-p_{i-1}}{||{\alpha }_i-p_{i-1}||}$。易得$span({\alpha }_1,\cdots ,{\alpha }_i)=span({\beta }_1,\cdots ,{\beta }_i)$。
5. 直到求得${\beta }_n$，得到标准正交向量组${\beta }_1,\cdots ,{\beta }_n$

4 正交子空间

• 正交子空间定义

  $X,Y$是内积空间$V$的子空间，如果$\forall x\in X,y\in Y$，$(x,y)=0$，则$X$和$Y$正交，我们记作$X\perp Y$。

• 正交补定义

  设$Y$是内积空间$V$的子空间，则$V$中与$Y$的每个向量正交的所有向量称为$Y^{\perp }$， Y ⊥ = { x ∈ V ∣ ∀ y ∈ Y , ( x , y ) = 0 } Y^\perp =\{x\in V|\forall y\in Y,(x,y)=0 \} Y⊥={x∈V∣∀y∈Y,(x,y)=0}。

• 正交子空间定理

  如果$V_1$和$V_2$正交，则$V_1+V_2$的和为直和。

• 正交补性质

  设$S$为有限维内积空间$V$的子空间，则：

  1. $V=S\oplus S^{\perp }$。并且如果$V=S\oplus W,W\perp S$，则$W=S^{\perp }$。
  2. $(S^{\perp }{)}^{\perp }=S$

• 向量到子空间的最小距离

  设$S$为有限维内积空间$V$的子空间，$\forall b\in V$，则$S$ 中的给定向量 $p$ 与给定向量$b$ 最接近，当且仅当$b-p\perp S^{\perp }$。即$p$是$b$在$S$上的向量投影。

• 矩阵的基本子空间

  设$A$为$m\times n$矩阵，则

  N ( A ) = { x ∈ F n ∣ A x = 0 } N(A)=\{x\in F^n|Ax=0\} N(A)={x∈Fn∣Ax=0}：$A$的零空间，$F^n$的子空间。

  $R(A)=Ax|x\in F^n$：$A$的列空间，$F^m$的子空间。

  $N(A^H)$：$A^H$的零空间，$F^m$的子空间。

  $R(A^H)$：$A^H$的列空间，$F^n$的子空间。

  $N(A)=R(A^H{)}^{\perp },N(A^h)=R(A{)}^{\perp }$

  $F^n=N(A)\oplus N(A{)}^{\perp }=N(A)\oplus R(A^H)$

  $\dim (F^n)=\dim (N(A))+\dim (R(A^H))$

5 最小二乘问题

• 问题定义

  设线性系统$Ax=b$，其中$A\in F^{m\times n}$，可能不相容（无解）。我们能否找到一个最佳解，即向量$\hat{x}$使得$$\begin{gathered} A\hat{x}-b={\min }_{ \\ x\in F^n}||Ax-b|| \end{gathered}$$

• 问题核心

  找到向量$\hat{x}$即是使得$A\hat{x}$等于$b$在$R(A)$上的向量投影。

  

• 最小二乘解等价条件

  1. $\hat{x}$是$Ax=b$的最小二乘解
  2. $$\begin{gathered} A\hat{x}-b={\min }_{ \\ x\in F^n}||Ax-b|| \end{gathered}$$
  3. $A\hat{x}$等于$b$在$R(A)$上的正交向量投影
  4. $A\hat{x}-b\in R(A{)}^{\perp }=N(A^H)$
  5. $A^H(A\hat{x}-b)=0$
  6. $A^{H}A\hat{x}=A^{H}b$（正规方程）

• 正规方程的相容性

  设$A\in F^{m\times n}$，则正规方程$A^{H}Ax=A^{H}b$有解，其为$Ax=b$的最小二乘解。

  最小二乘解不唯一，但是对于任意解$x,y$，$Ax=Ay$，且$Ax$和$Ay$都是$b$在$R(A)$上的向量投影。

• 最小二乘解唯一解

  设$A\in F^{m\times n}$，且$rank(A)=n$（列满秩），$b\in F^n$，则正规方程$A^{H}Ax=A^{H}b$有唯一解$\hat{x}=(A^{H}A{)}^{-1}{A}^{H}b$。$\hat{x}$为$Ax-b$的唯一最小二乘解。

6 正交矩阵和酉矩阵

• 正交矩阵定义

  设$A\in R^{n\times n}$，$A$的所有列向量构成$R^n$的标准正交集，具有$R^n$上的标准内积。

• 酉矩阵定义

  设$A\in C^{n\times n}$，$A$的所有列向量构成$C^n$的标准正交集，具有$C^n$上的标准内积。

  易知，正交矩阵也是酉矩阵。

• 正交矩阵和酉矩阵的充要条件

  $A$是正交矩阵当且仅当$A^{T}A=I$

  $A$是酉矩阵当且仅当$A^{H}A=I$

• 若$A\in C^{n\times n}$，则以下条件等价

  1. $A$是酉矩阵
  2. $A$的列向量构成$C^n$的标准正交集
  3. $A^{H}A=I$
  4. $A^{-1}=A^H$
  5. $\forall x,y\in C^n,(Ax,Ay)=(x,y)$
  6. $\forall x\in C^n,(Ax,Ax)=(x,x)$