---

参考博客：

• Python 机器学习笔记：奇异值分解（SVD）算法
• SVD - Python 少年

1 为什么使用 SVD？

实际采集的数据常常充斥着大量的噪声和冗余信息，因此必须筛选出这些不必要的内容，仅保留下那些蕴含主要信息的数据特征。奇异值分解（SVD）技术可以用于简化数据，提取出数据的重要特征，同时剔除数据中的噪声和冗余。SVD 的应用范围广泛，例如在推荐系统中，它能够增强算法的准确性和效率；在图像处理领域，SVD 则被用来实现图像压缩，从而减少存储空间的需求。

2 SVD 的定义是什么？

线性代数警告⚠️

个人感觉，奇异值分解是特征值分解的一般情况，因此几乎所有 SVD 博客都会先讲特征值分解。

2.1 特征值分解

特征值和特征向量的定义如下：

$$Ax=\lambda x$$

其中，$A$ 是一个 $n\times n$ 阶矩阵，$x$ 是一个 $n$ 阶向量。如果上式成立，那么我们称 $\lambda$ 是矩阵 $A$ 的一个特征值，而 $x$ 是特征值 $\lambda$ 所对应的特征向量。

说明：本文使用大写字母代表矩阵，小写字母代表向量或者标量。一个矩阵 $A$ 可以有若干个特征值 $\lambda$，而和特征值 $\lambda$ 一起使等式成立的向量 $x$ 被称为特征向量。

令矩阵 $A$ 的所有特征值分别为：

{ λ 1 , λ 2 , . . . , λ n }   ( λ 1 ≤ λ 2 ≤ . . . ≤ λ n ) \{\lambda_1,\lambda_2,...,\lambda_n\}\ (\lambda_1\le \lambda_2\le ...\le \lambda_n) {λ1​,λ2​,...,λn​} (λ1​≤λ2​≤...≤λn​)

这 $n$ 个特征值所对应的特征向量为 { w 1 , w 2 , . . . , w n } \{w_1,w_2,...,w_n\} {w1​,w2​,...,wn​}。如果同时满足这 $n$ 个特征向量线性无关，那么矩阵 $A$ 可以用下式的特征分解表示：

$$A=W\Sigma W^{-1}$$

其中，$W$ 是这 $n$ 个特征向量拼成的 $n\times n$ 阶矩阵，而 $\Sigma$ 是以这 $n$ 个特征值为对角线的 $n\times n$ 阶矩阵。

注意：$\Sigma$ 是一个名为 Sigma 的矩阵，而不是一个求和符号。

通常情况下，我们会把这 $n$ 个特征向量标准化，即使其满足 ${\Vert w_i\Vert }_2=1$，从而有：

$$w_i^T{w}_i=1$$

此时 $W$ 满足 $W^{T}W=I$，从而有 $W^T=W^{-1}$。这样特征分解表达式可以写成：

$$A=W\Sigma W^T$$

注意：特征分解仅适用于方阵，即行数与列数相等的矩阵。如果遇到非方阵，即行数与列数不相等的矩阵，那么就需要采用奇异值分解 SVD 来处理了。

2.2 奇异值分解

假设 $A$ 是一个 $m\times n$ 阶矩阵，其中的元素全部属于实数域或复数域，则存在一个分解使得：

$$A=U\Sigma V^T$$

其中，$U$ 是 $m\times m$ 阶酋矩阵，$\Sigma$ 是半正定的 $m\times n$ 阶对角矩阵，而 $V^T$ 是 $V$ 的共轭转置，是 $n\times n$ 阶酋矩阵。我们称这样的分解为矩阵 $A$ 的奇异值分解，其中矩阵 $\Sigma$ 主对角线上的元素 ${\sigma }_i$ 即为 $A$ 的奇异值。

注意：$\Sigma$ 是对角矩阵，但不一定是方阵。此外，假设 $V$ 是一个复数矩阵，对 $V$ 中的每个元素取共轭，再对 $V$ 求转置，那么得到的就是 $V$ 的共轭矩阵 $V^{†}$。虽然标准的符号是 $V^{†}$，但本文一直用的是 $V^T$。

一般 $\Sigma$ 的形式如下：

$$\Sigma ={\left[\begin{array}{ccccc}{\sigma }_1& 0& 0& 0& 0\\ 0& {\sigma }_2& 0& 0& 0\\ 0& 0& ...& 0& 0\\ 0& 0& 0& ...& 0\end{array}\right]}_{m\times n}$$

矩阵 $\Sigma$ 只有对角元素，其他元素均为 $0$。另一个惯例是，$\Sigma$ 的对角元素是按从大到小的顺序排列的。这些对角元素被称为奇异值。

在科学和工程领域，一个广为人知的观点是：当超过某个奇异值数目（$r$ 个）之后，其余的奇异值都会变得很小，以至于可以忽略不计。这表明数据中只有 $r$ 个特征是重要的，而其他的特征都可以视为噪声或冗余信息。

原文的意思貌似是，由于可以忽略不计，因此可以直接置为零。

---

补充：酋矩阵的定义

如果 $n\times n$ 阶的复数矩阵 $U$ 满足：

$$U^{†}U=U{U}^{†}=I$$

那么 $U$ 是酋矩阵。其中，$I$ 是 $n$ 阶单位矩阵，$U^{†}$ 是 $U$ 的共轭转置。换句话说，矩阵 $U$ 为酋矩阵，当且仅当其共轭转置 $U^{†}$ 为其逆矩阵 $U^{-1}=U^{†}$ 时成立。

3 如何求解奇异值 SV？

⚠️注意：有现成的库函数，不必非得看原理。

下图形象地展示了 SVD 的定义：

那么我们如何求解 $U,\Sigma ,V$ 这三个矩阵呢？

3.1 求解过程

求解 V 矩阵

如果用 $A^T$ 和 $A$ 做矩阵乘法，那么会得到一个 $n\times n$ 阶的方阵 $A^{T}A$。既然 $A^{T}A$ 是方阵，那么就可以做特征分解了。特征值和特征向量满足下式：

$$(A^{T}A)v_i={\lambda }_i{v}_i$$

从而得到 $A^{T}A$ 的 $n$ 个特征值 ${\lambda }_i$ 及其对应的 $n$ 个特征向量 $v_i$。将所有特征向量 $v_i$ 拼成一个 $n\times n$ 阶矩阵 $V$，即为 SVD 公式中的 $V$ 矩阵。一般我们将 $V$ 中的每个特征向量称为 $A$ 的右奇异向量。

求解 U 矩阵

如果用 $A$ 和 $A^T$ 做矩阵乘法，那么会得到一个 $m\times m$ 阶的方阵 $A{A}^T$。 既然 $A{A}^T$ 是方阵，那么就可以做特征分解了。特征值和特征向量满足下式：

$$(A{A}^T)u_i={\lambda }_i{u}_i$$

从而得到 $A{A}^T$ 的 $n$ 个特征值 ${\lambda }_i$ 及其对应的 $n$ 个特征向量 $u_i$。将所有特征向量 $u_i$ 拼成一个 $n\times n$ 阶矩阵 $U$，即为 SVD 公式中的 $U$ 矩阵。一般我们将 $U$ 中的每个特征向量称为 $A$ 的左奇异向量。

求解 Σ 矩阵

由于 $\Sigma$ 除对角线上的奇异值外，其余的位置都是 $0$，因此我们只需求出每个奇异值 ${\sigma }_i$ 即可。

我们注意到：

$$\begin{array}{rl}A& =U\Sigma V^T\\ AV& =U\Sigma V^{T}V\\ AV& =U\Sigma \\ A{v}_i& ={\sigma }_i{u}_i\\ {\sigma }_i& =A{v}_i/u_i\end{array}$$

如此一来，我们就可以求出每个奇异值 ${\sigma }_i$，进而求出奇异值矩阵 $\Sigma$。

3.2 证明过程

我们说 $A^{T}A$ 的特征向量组成了 SVD 中的 $V$ 矩阵，$A{A}^T$ 的特征向量组成了 SVD 中的 $U$ 矩阵，这有什么依据吗？这个其实很容易证明，我们以 $V$ 矩阵的证明为例：

$$\begin{array}{rl}A=U\Sigma V^T& \Rightarrow A^T=V{\Sigma }^T{U}^T\\ A^{T}A& =V{\Sigma }^T{U}^{T}U\Sigma V^T\\ & =V{\Sigma }^T\Sigma V^T\\ & =V{\Sigma }^2{V}^T\end{array}$$

上式证明使用了：$U^{T}U=I$ 和 ${\Sigma }^T\Sigma ={\Sigma }^2$。可以看出 $A^{T}A$ 的特征向量矩阵的确是 SVD 中的 $V$ 矩阵。同理可以证明 $A{A}^T$ 的特征向量矩阵的确是 SVD 中的 $U$ 矩阵。

说明：对比 $A^{T}A=V{\Sigma }^2{V}^T$ 和特征值分解公式 $A=W\Sigma W^T$ 可知，$V$ 矩阵是 $A^{T}A$ 的特征向量矩阵。

进一步我们还可以看出，特征值矩阵是奇异值矩阵的平方 ${\Sigma }^2$，因此特征值 ${\lambda }_i$ 和奇异值 ${\sigma }_i$ 满足如下关系：

$${\sigma }_i=\sqrt{{\lambda }_i}$$

由此可见，我们可以不使用上面推导出的 ${\sigma }_i=A{v}_i/u_i$ 来计算奇异值，而是通过求 $A^{T}A$ 的特征值 ${\lambda }_i$ 并对其开平方根来得到奇异值。

---

补充：通过 $A^{T}A$ 或 $A{A}^T$ 的特征值开平方根求解奇异值的注意点

如前所述，我们可以利用如下性质求解奇异值：

$$\begin{array}{rl}{A}^{T}A& =V\Sigma U^{T}U\Sigma V^T=V{\Sigma }^T\Sigma V^T\\ A{A}^T& =U\Sigma V^{T}V\Sigma U^T=U\Sigma {\Sigma }^T{U}^T\end{array}$$

需要注意的是，上述 ${\Sigma }^T\Sigma$ 和 $\Sigma {\Sigma }^T$ 在矩阵的角度上来讲是不同的，因为它们的维度不同 ${\Sigma }^T\Sigma \in {\mathbb{R}}^{n\times n},\Sigma {\Sigma }^T\in {\mathbb{R}}^{m\times m}$。但是它们主对角线上的奇异值是相等的，即有：

$${\Sigma }^T\Sigma ={\left[\begin{array}{cccc}{\sigma }_1^2& 0& 0& 0\\ 0& {\sigma }_2^2& 0& 0\\ 0& 0& ...& 0\\ 0& 0& 0& ...\end{array}\right]}_{n\times n}\Sigma {\Sigma }^T={\left[\begin{array}{cccc}{\sigma }_1^2& 0& 0& 0\\ 0& {\sigma }_2^2& 0& 0\\ 0& 0& ...& 0\\ 0& 0& 0& ...\end{array}\right]}_{m\times m}$$

因此，对 ${\Sigma }^T\Sigma$ 或 $\Sigma {\Sigma }^T$ 的特征值开方，都可以得到所有奇异值。

个人理解：虽然 ${\Sigma }^T\Sigma$ 和 $\Sigma {\Sigma }^T$ 的维度不同，但是它们的对角元素个数相同且数值相等，并且等于奇异值的平方。

4 什么是 SVD 的性质？

上面我们对 SVD 的定义和计算做了详细的介绍，下面对 SVD 的性质进行分析。

奇异值分解中的奇异值，与特征分解中的特征值类似，在奇异值矩阵 ${\Sigma }_{m\times n}$ 中也是按照从大到小的顺序排列的。而且奇异值减小的特别快，在很多情况下，前 $10\%$ 甚至 $1\%$ 的奇异值的和就占了全部奇异值之和的 $99\%$ 以上。

这意味着我们可以用前 $r$ 个奇异值以及相应的左右奇异向量来近似描述矩阵。也就是说，由于 $r$ 要比 $n$ 小很多，因此一个大的矩阵 $A$ 可以用几个小的矩阵来近似表示。如下图所示：

说明：不难看出，上图中的 $U_r,{\Sigma }_r,V_r^T$ 分别是由原来的 $U,\Sigma ,V^T$ 裁剪得到的矩阵，因此说大矩阵 $A$ 可以由几个小矩阵来近似表示。此外，个人认为蓝色块只是为了标出左奇异向量、奇异值、右奇异向量分别是什么，并不是说只需要矩阵的这一部分😇

取其前 $r$ 个非零奇异值，可以还原原来的矩阵 $A$，即前 $r$ 个非零奇异值对应的奇异向量代表了矩阵 $A$ 的主要特征。可以表示为：

$$A_{m\times n}\approx U_{m\times r}{\Sigma }_{r\times r}{V}_{r\times n}^T$$

综上所述： SVD 的一个显著特性是其奇异值衰减速度非常快，这意味着数据集中的大部分信息都可以由前几个大的奇异值表征，而后续的奇异值则迅速减小至可以忽略不计的程度。这一特性使得 SVD 在数据压缩和去噪领域大放异彩，因为它能够有效地捕捉并保留数据的关键特征，同时剔除噪声和次要信息。