本文参考www.deeplearningbook.org一书第二章2.3 Identity and Inverse Matrices 2.4 Linear Dependence and Span

本文围绕线性方程求解依次介绍矩阵的逆、线性组合、线性独立等线性代数的基础知识点。

一、线性方程

本文主要围绕求解线性方程展开，我们先把线性方程写出来，方程如下：

$\mathbf{A}\mathbf{x}=\boldsymbol{b}$

其中 $\mathbf{A}\in \mathbb{R}^{m\times n}$ ， $\mathbf{A}$ 是已知的； $\mathbf{b}\in \mathbb{R}^{m}$ ， $\mathbf{b}$ 是已知的； $\mathbf{x}\in \mathbb{R}^{n}$ ， $\mathbf{x}$ 是未知的，需要我们求解。即上述方程已知 $\mathbf{A}$ 和 $\mathbf{b}$ ，求 $\mathbf{x}$ 。

为了求 $\mathbf{x}$ ，有很多思路，其中有个思路就是通过矩阵的逆来求 $\mathbf{x}$ 。对于一些 $\mathbf{A}$ ，可以通过矩阵的逆来求 $\mathbf{x}$ 。

二、单位矩阵（identity matrix）和矩阵的逆（matrix inverse）

在介绍矩阵的逆之前，需要先了解下单位矩阵。

单位矩阵

单位矩阵是指这样一个矩阵：当一个矩阵乘一个向量，相乘的结果依然是这个向量，那么这个矩阵就是单位矩阵。即对 $\forall \mathbf{x}\in \mathbb{R}^{n}$ ，有 $\mathbf{I}_{n}\mathbf{x}=\mathbf{x}$ ，其中 $\mathbf{I}_{n}\in \mathbb{R}^{n\times n}$ 。

单位矩阵的形式是很简单的，矩阵的主对角线上的值为1，其余位置的值都为0。例如：

$\mathbf{I_{2}}=\begin{bmatrix} 1 & 0\\ 0& 1 \end{bmatrix}$ ; $\mathbf{I_{3}}=\begin{bmatrix} 1 & 0& 0\\ 0& 1& 0\\ 0& 0& 1 \end{bmatrix}$ ； $\mathbf{I_{4}}=\begin{bmatrix} 1 & 0& 0&0 \\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1 \end{bmatrix}$ ；等等

单位矩阵有一个性质，那就是对于 $\forall \mathbf{A}\in \mathbb{R}^{n\times n}$ ，有 $\mathbf{A}\mathbf{I}_{n}=\mathbf{I}_{n}\mathbf{A}=\mathbf{A}$ 。

矩阵的逆

如果一个矩阵 $\mathbf{B}$ 满足 $\mathbf{B}\mathbf{A}=\mathbf{I_{n}}$ ，那么矩阵 $\mathbf{B}$ 就是矩阵 $\mathbf{A}$ 的逆（更具体来讲叫左逆）。我们一般把这样的矩阵 $\mathbf{B}$ 计作 $\mathbf{A}^{-1}$ ，即 $\mathbf{A}^{-1}\mathbf{A}=\mathbf{I_{n}}$ 。

根据矩阵的逆的定义，我们可以推导出来以下结论：

推导1、当矩阵 $\mathbf{A}$ 是方阵时，矩阵 $\mathbf{A}$ 的逆 $\mathbf{A}^{-1}$ 才有可能存在；当矩阵 $\mathbf{A}$ 不是方阵时，矩阵 $\mathbf{A}$ 的逆 $\mathbf{A}^{-1}$ 一定不存在。

推导2、当矩阵 $\mathbf{A}$ 是方阵时，矩阵 $\mathbf{A}$ 的逆 $\mathbf{A}^{-1}$ 可能存在，也可能不存在；不是所有的方阵都有逆矩阵。

推导3、当矩阵 $\mathbf{A}$ 是方阵并且矩阵 $\mathbf{A}$ 的逆 $\mathbf{A}^{-1}$ 存在时， $\mathbf{A}^{-1}$ 也是方阵，并且 $\mathbf{A}^{-1}$ 是唯一的。

关于这三个推导的证明会写在另外一篇文章里～

那么如果 $\mathbf{A}$ 是方阵并且矩阵 $\mathbf{A}$ 的逆 $\mathbf{A}^{-1}$ 存在的话，我们可以用 $\mathbf{A}^{-1}$ 来求解线性方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 里的 $\mathbf{x}$ 。具体求解过程如下：

$\mathbf{A}\mathbf{x}=\mathbf{b}\\ \\\mathbf{A}^{-1}\mathbf{A}\mathbf{x}=\mathbf{A}^{-1}\mathbf{b}\\ \\\mathbf{I_{n}}\mathbf{x}=\mathbf{A}^{-1}\mathbf{b}\\ \\\mathbf{x}=\mathbf{A}^{-1}\mathbf{b}\\$

我们可以得到：如果矩阵 $\mathbf{A}$ 的逆存在的话，对于任意的 $\mathbf{b}$ ，都可以求出线性方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 里的 $\mathbf{x}$ ，由于 $\mathbf{A}^{-1}$ 是唯一的，所以对于固定的 $\mathbf{b}$ ，求出的 $\mathbf{x}$ 只有一个。

也就是说如果矩阵 $\mathbf{A}$ 的逆存在，那么线性方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 对所有的 $\mathbf{b}\in \mathbb{R}^{m}$ ， $\mathbf{x}$ 都有解且 $\mathbf{x}$ 解唯一，反之也成立。我们暂且把这个结论计作结论1。

当然，如果矩阵 $\mathbf{A}$ 的逆不存在的话（包括 $\mathbf{A}$ 不是方阵、 $\mathbf{A}$ 是方阵但 $\mathbf{A}$ 的逆矩阵不存在），就不能上述求解过程来求解 $\mathbf{x}$ ，但是并不代表 $\mathbf{x}$ 没有解。

那么当矩阵 $\mathbf{A}$ 的逆不存在时，我们怎样求解 $\mathbf{x}$ 呢？我们接下来引入线性独立这个概念。

三、线性组合和线性独立

求解方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 里的 $\mathbf{x}$ 可能有哪些情况呢？我们不妨先列举出来可能出现的情况。

①、 $\mathbf{x}$ 有一个解。②、 $\mathbf{x}$ 没有解。③、 $\mathbf{x}$ 有无数解。④、 $\mathbf{x}$ 有几个解。

对于④，我们可以先排除掉。因为如果方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 只有两个解 $x_{1}$ 和 $x_{2}$ ，那么 $z=\alpha x_{1}+(1-\alpha )x_{2}$ 依然是方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 的解（简单证明一下就能明白）。

我们已经知道，如果矩阵 $\mathbf{A}$ 的逆存在的话，对于任意 $\mathbf{b}$ ，方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 里的 $\mathbf{x}$ 只有一个解，是唯一的，是①这种情况。那么什么样的 $\mathbf{A}$ 和 $\mathbf{b}$ 能有②、③这种情况呢？我们接下来从线性组合的角度来理解下①②③这三种情况。

线性组合

我们可以把求解 $\mathbf{x}$ 的过程想成这样：

把矩阵 $\mathbf{A}$ 的每一列看成是从原点出发，沿着不同方向延伸的向量； $\mathbf{x}$ 决定延伸到多远， $x_{i}$ 决定 $\mathbf{A}$ 的第 $i$ 列延伸到多远；然后我们看看有多少种方法能够到达 $\boldsymbol{b}$ （也就是求解 $\mathbf{x}$ ）。

那么 $\mathbf{A}\mathbf{x}$ 可以写成如下形式：

$\mathbf{A}\mathbf{x}=\sum_{i}^{}x_{i}\mathbf{A}_{:,i}$

其中 $\mathbf{A}_{:,i}$ 指 $\mathbf{A}$ 的第 $i$ 列（向量）， $x_{i}$ 指 $\mathbf{x}$ 的第 $i$ 个数值（实数）。

式子里的 $\sum_{i}^{}x_{i}\mathbf{A}_{:,i}$ 一般叫做线性组合。我们可以对线性组合做个一般性的描述：一组向量 $\begin{Bmatrix} \mathbf{v}^{(1)} ,& ..., & \mathbf{v}^{(n)} \end{Bmatrix}$ 的线性组合就是给每个向量 $\mathbf{v}^{(i)}$ 乘上一个实数系数再将向量相加后得到的向量：

$\sum_{i}^{}c_{i}\mathbf{v}^{(i)}$

一组向量的跨度（span）就是这组向量通过线性组合能够得到的所有向量。 $\mathbf{A}$ 的所有列的跨度就是 $\mathbf{A}\mathbf{x}$ 所能代表的所有向量（任意改变 $\mathbf{x}$ 每个维度的值）。

有了跨度这个概念之后，我们可以这样理解，如果 $\boldsymbol{b}$ 在 $\mathbf{A}$ 的所有列的跨度里，那么就存在 $\mathbf{x}$ ，使得 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ ，也就是说 $\mathbf{x}$ 有解。 $\mathbf{A}$ 的所有列的跨度也可以叫做 $\mathbf{A}$ 的列空间。

线性独立

我们先从一个问题入手分析，那就是要使得线性方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 对所有的 $\mathbf{b}\in \mathbb{R}^{m}$ ， $\mathbf{x}$ 都有解， $\mathbf{A}$ 需要满足什么条件。

如果要使得线性方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 对所有的 $\mathbf{b}\in \mathbb{R}^{m}$ ， $\mathbf{x}$ 都有解，那么需要使得所有的 $\mathbf{b}\in \mathbb{R}^{m}$ 都应该在 $\mathbf{A}$ 的列空间里，那么就需要满足 $\mathbf{A}$ 的列空间就是 $\mathbb{R}^{m}$ （如果 $\mathbb{R}^{m}$ 的一个向量不在 $\mathbf{A}$ 的列空间里，那么这个向量作为 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 里的 $\boldsymbol{b}$ 时， $\mathbf{x}$ 无解）。要使得 $\mathbf{A}$ 的列空间就是 $\mathbb{R}^{m}$ ，首先 $\mathbf{A}$ （ $\mathbf{A}\in \mathbb{R}^{m\times n}$ ）必须至少要有 $m$ 列，也就是 $n\geq m$ 。举个例子，比如 $\mathbf{A}$ 是一个 $3\times 2$ 矩阵， $\boldsymbol{b}$ 是3维向量， $\mathbf{x}$ 是 2 维向量，那么随意改变 $\mathbf{x}$ 每个维度的值最多也只能使 $\mathbf{A}\mathbf{x}$ 这个线性组合布满由 $\mathbf{A}$ 的两个列向量为边界的一个平面（ $\mathbb{R}^{3}$ 里的一个平面）， $\boldsymbol{b}$ 在这个平面里，方程有解， $\boldsymbol{b}$ 不在这个平面里，方程无解。其次 $\mathbf{A}$ 中至少能找出一组 $m$ 个没有冗余的列向量。举个例子，比如 $\mathbf{A}$ 是一个 $2\times 2$ 矩阵， $\mathbf{A}$ 的两个列向量是相同的， $\boldsymbol{b}$ 是2维向量， $\mathbf{x}$ 是 2 维向量，那么随意改变 $\mathbf{x}$ 每个维度的值最多也只能使 $\mathbf{A}\mathbf{x}$ 这个线性组合是一条直线（ $\mathbb{R}^{2}$ 里的一条直线），而不能覆盖整个平面 $\mathbb{R}^{2}$ ， $\boldsymbol{b}$ 在这个直线上，方程有解， $\boldsymbol{b}$ 不在这个直线上，方程无解。这里所说到的没有冗余一般叫做线性独立，如果一组向量里的任何一个向量不可能由其他向量通过线性组合的方式得到，那么这组向量就是线性独立的。

通过分析，我们可以得出如下结论：

结论2：如果线性方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 对所有的 $\mathbf{b}\in \mathbb{R}^{m}$ ， $\mathbf{x}$ 都有解，那么一定有 $n\geq m$ ，反之不成立。

结论3：如果线性方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 对所有的 $\mathbf{b}\in \mathbb{R}^{m}$ ， $\mathbf{x}$ 都有解，那么在 $\mathbf{A}$ 中至少能找出一组 $m$ 个线性独立的列向量，反义也成立。在 $\mathbf{A}$ 中只能找出1组 $m$ 个线性独立的列向量， $\mathbf{x}$ 有唯一解，在 $\mathbf{A}$ 中能找出2组及以上 $m$ 个线性独立的列向量， $\mathbf{x}$ 有无数解。

我们可以将结论1和结论3对比得出：如果在 $\mathbf{A}$ 中只能找出一组 $m$ 个线性独立的列向量，那么 $m=n$ 并且线性方程 $\mathbf{A}\mathbf{x}=\boldsymbol{b}$ 对所有的 $\mathbf{b}\in \mathbb{R}^{m}$ ， $\mathbf{x}$ 都有解（唯一解），那么 $\mathbf{A}$ 可逆。可以得到可逆矩阵 $\mathbf{A}$ 一定是方阵，也可以得到如果矩阵 $\mathbf{A}$ 可逆，那么 $\mathbf{A}$ 的 $m$ 个列向量线性独立，反之也成立。

如果在 $\mathbf{A}$ 中能找出二组及以上 $m$ 个线性独立的列向量，那么 $n>m$ ，那么 $\mathbf{A}$ 不是方阵当然也不可逆。

四、总结

$\mathbf{A}$ （不是零向量）	$\mathbf{b}$ （不是零向量）	$\mathbf{x}$
n=m(方阵)且可逆（ $\mathbf{A}$ 的 n 个列向量线性独立）	任意	有解（唯一解）
n=m(方阵)且不可逆（ $\mathbf{A}$ 的 n 个列向量线性有关）	$\mathbf{b}$ 在 $\mathbf{A}$ 的列空间里	有解（无数解）
n=m(方阵)且不可逆（ $\mathbf{A}$ 的 n 个列向量线性有关）	$\mathbf{b}$ 不在 $\mathbf{A}$ 的列空间里	无解
n>m 且 $\mathbf{A}$ 中至少存在一组 $m$ 个列向量线性独立	任意	有解（存在一组有唯一解，存在2组及以上有无数解）
n>m 且 $\mathbf{A}$ 中不存在一组 $m$ 个列向量线性独立	$\mathbf{b}$ 在 $\mathbf{A}$ 的列空间里	有解（无数解）
n>m 且 $\mathbf{A}$ 中不存在一组 $m$ 个列向量线性独立	$\mathbf{b}$ 不在 $\mathbf{A}$ 的列空间里	无解