对单位圆的乘法
首先我们在单位圆上遍历所有的点，作为二维向量，来研究某个矩阵乘以这些向量得到的结果，我们选三种矩阵，秩为0的矩阵，秩为1的矩阵和秩为2的矩阵。
秩为0的矩阵就一个，也就是0矩阵，毫无疑问，它把所有向量变成0向量，没什么可以多说的了。
我们任选一个秩为1的矩阵，就选这个吧：
(
1
1
1
1
)
\begin{pmatrix} 1 & 1\\ 1 & 1 \end{pmatrix}
(1111)
然后我们再遍历单位圆上的所有向量，毫无以为可以用以下形式表示任意单位向量：
(
cos
θ
sin
θ
)
\begin{pmatrix} \cos \theta \\ \sin \theta \ \end{pmatrix}
(cosθsinθ )
那么矩阵乘以这些单位向量就变成了以下向量：
(
cos
θ
+
sin
θ
cos
θ
+
sin
θ
)
\begin{pmatrix} \cos \theta+\sin \theta \\ \cos \theta+\sin \theta \end{pmatrix}
(cosθ+sinθcosθ+sinθ)
最终它把所有单位向量都变到这根直线上：
再找个秩为2的矩阵，就选个简单点的：
(
1
1
1
0
)
\begin{pmatrix} 1 & 1\\ 1 & 0 \end{pmatrix}
(1110)
那么矩阵乘以这些单位向量就变成了以下向量：
(
cos
θ
+
sin
θ
cos
θ
)
\begin{pmatrix} \cos \theta+\sin \theta \\ \cos \theta \end{pmatrix}
(cosθ+sinθcosθ)
它把单位向量变到这个斜放的椭圆上：
矩阵2-范数的定义
回忆下矩阵2-范数的定义：
∥
A
∥
2
=
max
∥
A
x
∥
2
∥
x
∥
2
\parallel A \parallel_2=\max \frac{\parallel Ax \parallel_2}{\parallel x \parallel_2}
∥A∥2=max∥x∥2∥Ax∥2
现在这些向量都是单位向量，2-范数都是1。所以上式k可以变成：
∥
A
∥
2
=
max
∥
A
x
∥
2
\parallel A \parallel_2=\max \parallel Ax \parallel_2
∥A∥2=max∥Ax∥2
那就是在上图的绿色图形中找到离原点最远的那个点的长度就是2-范数了。以第一个秩为1的矩阵为例子，它绿色曲线上2-范数最大的向量是：
(
±
2
±
2
)
\begin{pmatrix} \pm \sqrt2 \\ \pm \sqrt2 \end{pmatrix}
(±2±2)
所以它的2-范数是2.
下面这个矩阵呢？它那个绿色曲线最圆的点是什么呢？直接硬算是不好算的，因为是斜的，所以需要把坐标变一下，这根绿色的曲线，按
y
=
5
−
1
2
x
y=\cfrac{\sqrt5-1}2x
y=25−1x这根直线轴对称。如图：
解以下方程组：
x
2
−
2
x
y
+
2
y
2
=
1
y
=
5
−
1
2
x
⇒
x
2
−
2
x
5
−
1
2
x
+
2
(
5
−
1
2
x
)
2
=
1
⇒
x
2
−
(
5
−
1
)
x
2
+
2
6
−
2
5
4
x
2
=
1
⇒
x
2
−
(
5
−
1
)
x
2
+
(
3
−
5
)
x
2
=
1
⇒
5
x
2
−
2
5
x
2
=
1
⇒
x
2
=
5
+
2
5
5
x
=
±
5
+
2
5
5
y
2
=
3
−
5
2
×
5
+
2
5
5
y
=
±
5
+
5
10
x^2-2xy+2y^2=1\\ y=\cfrac{\sqrt5-1}2x\\ \Rightarrow x^2-2x\cfrac{\sqrt5-1}2x+2(\cfrac{\sqrt5-1}2x)^2=1\\ \Rightarrow x^2-(\sqrt5-1)x^2+2\cfrac{6-2\sqrt5}4x^2=1\\ \Rightarrow x^2-(\sqrt5-1)x^2+(3-\sqrt5)x^2=1\\ \Rightarrow 5x^2-2\sqrt5x^2=1\\ \Rightarrow x^2=\frac{5+2\sqrt5}{5}\\ x=\pm \sqrt{\frac{5+2\sqrt5}{5}}\\ y^2=\frac{3-\sqrt5}2\times\frac{5+2\sqrt5}{5}\\ y=\pm \sqrt{\frac{5+\sqrt5}{10}}
x2−2xy+2y2=1y=25−1x⇒x2−2x25−1x+2(25−1x)2=1⇒x2−(5−1)x2+246−25x2=1⇒x2−(5−1)x2+(3−5)x2=1⇒5x2−25x2=1⇒x2=55+25x=±55+25y2=23−5×55+25y=±105+5
所以绿色曲线上2-范数最大的向量是：
(
±
5
+
2
5
5
±
5
+
5
10
)
\begin{pmatrix} \pm \sqrt{\frac{5+2\sqrt5}{5}} \\ \pm \sqrt{\frac{5+\sqrt5}{10}} \end{pmatrix}
±55+25±105+5
那么它的二范数就是：
x
2
+
y
2
=
5
+
2
5
5
+
5
+
5
10
=
15
+
5
5
10
=
3
+
5
2
x^2+y^2=\frac{5+2\sqrt5}{5}+\frac{5+\sqrt5}{10}\\=\frac{15+5\sqrt5}{10}=\frac{3+\sqrt5}{2}
x2+y2=55+25+105+5=1015+55=23+5
奇异值
好了，但是这样求2-范数也太麻烦了吧，要解二元二次方程组，还要用到微积分或代数几何知识？其实大可不必。奇异值就是用来做这个事情的，奇异值的定义是
A
H
A
A^HA
AHA的所有特征值。以上例中的秩为2的矩阵来说，它有两个奇异值：
σ
1
=
3
+
5
2
,
σ
2
=
3
−
5
2
\sigma_1=\frac{3+\sqrt5}{2},\sigma_2=\frac{3-\sqrt5}{2}
σ1=23+5,σ2=23−5
这恰好是对单位圆拉伸的最大与最小长度,而且这两个拉伸方向是成正交的。对于高维的矩阵，就分别是球体的
n
n
n个方向的拉伸倍数，这几个方向中有最大拉伸倍数也有最小拉伸倍数。所以通过二维的变换就可以更容易理解奇异值。
