7.3、向量空间的简要回顾
在开始讨论格之前,我们先提醒读者注意线性代数中的一些重要定义和思想。向量空间的定义可以非常宽泛,但就本章而言,我们只需考虑对于某个正整数 m,包含在 R m R^{m} Rm中的向量空间即可。
我们从研究向量空间必不可少的基本定义开始
向量空间。 向量空间 V 是
R
m
R^{m}
Rm 的子集,其性质是:
a
1
v
1
+
a
2
v
2
∈
V
对于所有的
v
1
,
v
2
∈
V
和所有的
a
1
,
a
2
∈
R
a_{1}v_{1}+a_{2}v_{2} \in V \qquad 对于所有的v_{1},v_{2}\in V和所有的a_{1},a_{2}\in R
a1v1+a2v2∈V对于所有的v1,v2∈V和所有的a1,a2∈R
等价地,向量空间是
R
m
R^{m}
Rm的一个子集,它对R的元素的加法和标量乘法封闭。
线性组合。 设
v
1
,
v
2
,
.
.
.
,
v
k
∈
V
v_{1},v_{2},...,v_{k} \in V
v1,v2,...,vk∈V。
v
1
,
v
2
,
.
.
.
,
v
k
∈
V
v_{1},v_{2},...,v_{k} \in V
v1,v2,...,vk∈V 的线性组合是任何形式的向量:
w
=
a
1
v
1
+
a
2
v
2
+
.
.
.
+
a
k
v
k
w
i
t
h
a
1
,
.
.
.
,
a
k
∈
R
w=a_{1}v_{1}+a_{2}v_{2}+...+a_{k}v_{k} \qquad with \qquad a_{1},...,a_{k} \in R
w=a1v1+a2v2+...+akvkwitha1,...,ak∈R
所有这些线性组合的集合,
{
a
1
v
1
+
.
.
.
+
a
k
v
k
:
a
1
,
.
.
.
,
a
k
∈
R
}
\{a_{1}v_{1}+...+a_{k}v_{k}:a_{1},...,a_{k} \in R\}
{a1v1+...+akvk:a1,...,ak∈R}
称为 {v1,…, vk} 的扩张空间(span)。补充:扩张空间: 即向量张成的线性空间
无关性。 一组向量
v
1
,
v
2
,
.
.
.
,
v
k
∈
V
v_{1},v_{2},...,v_{k} \in V
v1,v2,...,vk∈V 是(线性)独立的,如果要得到
a
1
v
1
+
a
2
v
2
+
.
.
.
+
a
k
v
k
=
0
(
7.5
)
a_{1}v_{1}+a_{2}v_{2}+...+a_{k}v_{k}=0 \qquad (7.5)
a1v1+a2v2+...+akvk=0(7.5)
如果我们能使 (7.5) 成真,且至少有一个
a
i
a_{i}
ai 非零,那么这个集合就是(线性)相关集合。
基。 V 的基是一组跨(span-张成空间) V 的线性无关向量
v
1
,
v
2
,
.
.
.
,
v
n
v_{1},v_{2},...,v_{n}
v1,v2,...,vn。这等同于说,对于 α1,…,αn∈ R 的唯一选择,每个向量 w∈V 都可以写成这种形式。
w
=
a
1
v
1
+
a
2
v
2
+
.
.
.
+
a
n
v
n
w=a_{1}v_{1}+a_{2}v_{2}+...+a_{n}v_{n}
w=a1v1+a2v2+...+anvn
接下来,我们描述了不同基之间的关系和重要的维数概念。
命题 7.11. 设 V ⊂
R
m
R^{m}
Rm 是一个向量空间。
(a)存在V的一组基。
(b)V的任意两个基都有相同数量的元素。V的一组基中的元素数称为V的维数。(最小线性无关组)
(c)设 v1,…, vn 是 V 的一个基,设 w1,…, wn 是 V 中的另一组 n 个向量,把每个 wj 写成 vi 的线性组合(v中所有向量都可以用基来表示)
w
1
=
a
11
v
1
+
a
12
v
2
+
.
.
.
+
a
1
n
v
n
,
w
2
=
a
21
v
1
+
a
22
v
2
+
.
.
.
+
a
2
n
v
n
,
.
.
.
.
.
.
w
n
=
a
n
1
v
1
+
a
n
2
v
2
+
.
.
.
+
a
n
n
v
n
,
w_{1}=a_{11}v_{1}+a_{12}v_{2}+...+a_{1n}v_{n},\\ w_{2}=a_{21}v_{1}+a_{22}v_{2}+...+a_{2n}v_{n},\\ ...... \\ w_{n}=a_{n1}v_{1}+a_{n2}v_{2}+...+a_{nn}v_{n},\\
w1=a11v1+a12v2+...+a1nvn,w2=a21v1+a22v2+...+a2nvn,......wn=an1v1+an2v2+...+annvn,
然后w1,…,wn也是V的一组基当且仅当矩阵的行列式不等于0。
(
a
11
a
12
.
.
.
a
1
n
a
21
a
22
.
.
.
a
2
n
.
.
.
.
.
.
.
.
.
.
.
.
a
n
1
a
n
2
.
.
.
a
n
n
)
\begin{pmatrix} a_{11} & a_{12} & ... & a_{1n}\\ a_{21} & a_{22} & ... & a_{2n}\\ ... & ... & ... & ...\\ a_{n1} & a_{n2} & ... & a_{nn} \end{pmatrix}
a11a21...an1a12a22...an2............a1na2n...ann
接下来,我们将解释如何测量
R
n
R^{n}
Rn 中向量的长度以及向量对之间的夹角。这些重要的概念与点积和欧几里得规范的概念息息相关。
定义。 设 v,w∈V ⊂
R
m
R^{m}
Rm,并将 v 和 w 用坐标写成
v
=
(
x
1
,
x
2
,
.
.
.
,
x
m
)
a
n
d
w
=
(
y
1
,
y
2
,
.
.
.
,
y
m
)
v=(x_{1},x_{2},...,x_{m}) \qquad and \qquad w=(y_{1},y_{2},...,y_{m})
v=(x1,x2,...,xm)andw=(y1,y2,...,ym)
v 和 w 的点积为
v
⋅
w
=
x
1
y
1
+
x
2
y
2
+
.
.
.
+
x
m
y
m
v\cdot w=x_{1}y_{1}+x_{2}y_{2}+...+x_{m}y_{m}
v⋅w=x1y1+x2y2+...+xmym
如果
v
⋅
w
=
0
v\cdot w=0
v⋅w=0,我们就说 v 和 w 互为正交。
v 的长度或欧几里得范数是指:
∥
v
∥
=
x
1
2
+
x
2
2
+
.
.
.
+
x
m
2
\parallel v \parallel =\sqrt{x_{1}^{2}+x_{2}^{2}+...+x_{m}^{2}}
∥v∥=x12+x22+...+xm2
注意点积和范数是由公式联系起来的
v
⋅
v
=
∥
v
∥
2
v \cdot v =\parallel v \parallel^{2}
v⋅v=∥v∥2
命题7.12。 设
v
,
w
∈
V
⊂
R
m
v,w \in V \subset R^{m}
v,w∈V⊂Rm。
(a) 设 θ 为向量 v 和 w 之间的夹角,我们将 v 和 w 的起点置于原点 0,则:
v
⋅
w
=
∥
v
∥
∥
w
∥
c
o
s
(
θ
)
(
7.6
)
v \cdot w = \parallel v \parallel \parallel w \parallel cos(θ) \qquad (7.6)
v⋅w=∥v∥∥w∥cos(θ)(7.6)
(b) (柯西-施瓦茨不等式):
∣
v
⋅
w
∣
≤
∥
v
∥
∥
w
∥
|v \cdot w | \le \parallel v \parallel \parallel w \parallel
∣v⋅w∣≤∥v∥∥w∥
证明。 关于 (a),请参见任何标准线性代数教科书。我们注意到 Cauchy-Schwarz 不等式 (b) 是由 (a) 直接推出的,但我们认为它的重要性足以保证直接证明。如果 w = 0,则无须证明,我们可以假设 w = 0。我们考虑函数
f
(
t
)
=
∥
v
−
t
w
∥
2
=
(
v
−
t
w
)
⋅
(
v
−
t
w
)
=
v
⋅
v
−
2
t
v
⋅
w
+
t
2
w
⋅
w
=
∥
v
∥
2
−
2
t
v
⋅
w
+
t
2
∥
w
∥
2
f(t)=\parallel v-tw \parallel^{2}=(v-tw) \cdot (v-tw) \\ =v \cdot v -2tv \cdot w + t^{2}w \cdot w \\ =\parallel v \parallel ^{2}-2tv \cdot w +t^{2}\parallel w \parallel ^{2}
f(t)=∥v−tw∥2=(v−tw)⋅(v−tw)=v⋅v−2tv⋅w+t2w⋅w=∥v∥2−2tv⋅w+t2∥w∥2
我们知道,对于所有t∈R, f(t)≥0,因此我们选择使f(t)最小的t值,看看它给出了什么。这个最小值是
t
=
v
⋅
w
/
∥
w
∥
2
t=v \cdot w / \parallel w \parallel ^{2}
t=v⋅w/∥w∥2。因此
0
≤
f
(
v
⋅
w
∥
w
∥
2
)
=
∥
v
∥
2
−
(
v
⋅
w
)
2
∥
w
∥
2
0 \le f\left ( \frac{v \cdot w}{\parallel w \parallel ^{2}} \right ) = \parallel v \parallel ^{2}-\frac{(v \cdot w)^{2}}{\parallel w \parallel ^{2}}
0≤f(∥w∥2v⋅w)=∥v∥2−∥w∥2(v⋅w)2
对这个表达式进行简化并取平方根,就得到了想要的结果。(这一步通过化简
∥
v
∥
2
−
2
t
v
⋅
w
+
t
2
∥
w
∥
2
\parallel v \parallel ^{2}-2tv \cdot w +t^{2}\parallel w \parallel ^{2}
∥v∥2−2tv⋅w+t2∥w∥2成函数
f
(
x
)
=
(
x
−
b
)
2
f(x)=(x-b)^{2}
f(x)=(x−b)2的形式,由于函数图像开口朝上,所以b是最低点)
定义。 向量空间 V 的正交基是基 v1,…,vn,其性质是
v
i
⋅
v
j
=
0
对于所有的
i
≠
j
v_{i} \cdot v_{j} = 0 \qquad 对于所有的i \ne j
vi⋅vj=0对于所有的i=j
翻译:对于向量空间 V 里的所有基
v
1
,
.
.
.
,
v
n
v_{1},...,v_{n}
v1,...,vn,两两之间都存在关系:
v i ⋅ v j = 0 对于所有的 i ≠ j v_{i} \cdot v_{j} = 0 \qquad 对于所有的i \ne j vi⋅vj=0对于所有的i=j,则说是正交基
如果对于所有的 i , ∥ v i ∥ = 1 i,\parallel v_{i} \parallel = 1 i,∥vi∥=1,则说这个基是标准正交的,
使用正交或标准正交基,有许多公式会变得简单得多。特别地,如果v1,…, vn是一个正交基,同时,如果v = a1v1 +···+ anvn是基向量的线性组合,则
∥
v
∥
2
=
∥
a
1
v
1
+
.
.
.
+
a
n
v
n
∥
2
=
(
a
1
v
1
+
.
.
.
+
a
n
v
n
)
⋅
(
a
1
v
1
+
.
.
.
+
a
n
v
n
)
=
∑
i
=
1
n
∑
j
=
1
n
a
i
a
j
(
v
i
⋅
v
j
)
=
∑
i
=
1
n
a
i
2
∥
v
i
∥
2
因为当
i
≠
j
时,
v
i
⋅
v
j
\parallel v \parallel ^{2} = \parallel a_{1}v_{1}+...+a_{n}v_{n} \parallel ^{2} \\ =(a_{1}v_{1}+...+a_{n}v_{n}) \cdot (a_{1}v_{1}+...+a_{n}v_{n}) \\ =\sum_{i=1}^{n} \sum_{j=1}^{n} a_{i}a_{j}(v_{i} \cdot v_{j}) \\ =\sum_{i=1}^{n}a_{i}^{2} \parallel v_{i} \parallel ^{2} \qquad 因为当i\ne j时,v_{i} \cdot v_{j}
∥v∥2=∥a1v1+...+anvn∥2=(a1v1+...+anvn)⋅(a1v1+...+anvn)=i=1∑nj=1∑naiaj(vi⋅vj)=i=1∑nai2∥vi∥2因为当i=j时,vi⋅vj
如果基是标准正交的,那么这个进一步化简为
∥
v
∥
2
=
∑
a
i
2
\parallel v \parallel ^{2} =\sum a_{i}^{2}
∥v∥2=∑ai2。
有一种创建正交基础的标准方法,称为格拉姆-施密特算法(Gram-Schmidt algorithm)。我们将介绍通常算法的一个变种,它能得到一个正交基础,因为这个变种与我们后面的应用最为相关。
定理7.13 (Gram-Schmidt算法)。设v1,…, vn是向量空间V⊂Rm的一组基。下面的算法为 V 创建了一个正交基
v
1
∗
,
.
.
.
,
v
n
∗
v_{1}^{*},...,v_{n}^{*}
v1∗,...,vn∗:
这两个基的特性是:扩张空间(span)
S
p
a
n
{
v
1
,
.
.
.
,
v
i
}
=
S
p
a
n
{
v
1
∗
,
.
.
.
,
v
i
∗
}
对于所有的
i
=
1
,
2
,
.
.
.
,
n
Span\{v_{1},...,v_{i}\}=Span\{v_{1}^{*},...,v_{i}^{*}\} \qquad 对于所有的i=1,2,...,n
Span{v1,...,vi}=Span{v1∗,...,vi∗}对于所有的i=1,2,...,n
证明。正交性的证明采用归纳法,因此我们假设向量
v
1
∗
,
.
.
.
,
v
i
−
1
∗
v_{1}^{*},...,v_{i-1}^{*}
v1∗,...,vi−1∗ 是成对正交的,我们需要证明
v
i
∗
v_{i}^{*}
vi∗ 与前面所有的有星号的向量是正交的。为此,我们取任意 k< i 并计算
为了证明关于跨度的最后陈述,我们首先注意到,根据 v i ∗ v_{i}^{*} vi∗ 的定义,vi 显然在 v 1 ∗ , . . . , v i ∗ v_{1}^{*},...,v_{i}^{*} v1∗,...,vi∗ 的跨度中。我们通过归纳法证明其他包含,因此我们假设 v 1 ∗ , . . . , v i − 1 ∗ v_{1}^{*},...,v_{i-1}^{*} v1∗,...,vi−1∗ 在 v 1 , . . . , v i − 1 v_{1},...,v_{i-1} v1,...,vi−1 的跨度中,我们需要证明 v i ∗ v_{i}^{*} vi∗ 在 v 1 , . . . , v i − 1 v_{1},...,v_{i-1} v1,...,vi−1 的跨度中。 但根据 v i ∗ v_{i}^{*} vi∗ 的定义,我们可以看到它在 v 1 ∗ , . . . , v i − 1 ∗ , v i v_{1}^{*},...,v_{i-1}^{*},v_{i} v1∗,...,vi−1∗,vi 的跨中,因此我们可以通过归纳假设来证明。