---

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

---

线性代数的常用操作

1.向量的内积

• 定义
  
  向量的内积即点乘，其定义如下：
  
  向量$\vec{a}=[a_1,a_2,...,a_n]$
  向量$\vec{b}=[b_1,b_2,...,b_n]$
  
  $\vec{a}$和$\vec{b}$的内积公式表示为：
  
  $\vec{a}\bullet \vec{b}=a_1{b}_1+a_2{b}_2+...+a_n{b}_n=|\vec{a}||\vec{b}|cos\theta$
• 几何意义
  
  两个向量之间的夹角，向量$\vec{a}$在向量$\vec{b}$上的投影。

2.向量的外积

• 定义
  
  $\vec{a}\times \vec{b}=\left[\begin{array}{ccc}\vec{i}& \vec{j}& \vec{k}\\ a_1& b_1& c_1\\ a_2& b_2& c_2\end{array}\right]=\left[\begin{array}{c}{b}_1{c}_2-b_2{c}_1\\ a_2{c}_1-a_1{c}_2\\ a_1{b}_2-a_2{b}_1\end{array}\right]=\left[\begin{array}{ccc}0& -c_1& b_1\\ c_1& 0& -a_1\\ -b_1& a_1& 0\end{array}\right]\vec{b}={\vec{a}}^{\wedge }\vec{b}$
  
  式中$\wedge$符号表示把向量$\vec{a}$写成一个反对称矩阵。即：
  
  ${\vec{a}}^{\wedge }=\left[\begin{array}{ccc}0& -c_1& b_1\\ c_1& 0& -a_1\\ -b_1& a_1& 0\end{array}\right]$
• 几何意义
  
  外积的结果是一个向量，该向量的模等于向量$\vec{a}$和向量$\vec{b}$围成的平行四边形的面积

3.正交向量

向量的内积等于两个向量长度乘上向量之间的夹角，当两个向量之间夹角的余弦值等于0时，在二维空间，我们称之为垂直，在高维空间中我们称之为正交。

因此正交向量是内积为零的向量。

$\vec{a}\cdot \vec{b}=0$

4.正交向量组

正交向量组是指一组两两正交且非零的向量。

如果$n$维的向量组：$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},...,\overrightarrow{a_r}$两两正交，那么，它们彼此之间一定线性无关。即不存在一组不为0系数$\lambda$满足：

$${\lambda }_1\overrightarrow{a_1}+{\lambda }_2\overrightarrow{a_2}+...+{\lambda }_r\overrightarrow{a_r}=0$$

证明很简单，只需要左右同时乘以一个${\overrightarrow{a_1}}^T$,发现只有${\lambda }_1=0$时上式才成立。

---

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

---

5.向量空间的基与维数

向量空间的定义，向量空间${\mathbf{R}}^n$由所有的n维向量$\vec{v}$组成，向量中的每个元素都是实数。

设$\mathbf{V}$为向量空间，如果$r$个向量$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},...,\overrightarrow{a_r}\in \mathbf{V}$，且满足：

• $\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},...,\overrightarrow{a_r}$线性无关;
• $\mathbf{V}$中任一向量都可由$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},...,\overrightarrow{a_r}$线性表示，也就是可由它们生成整个空间。

那么，向量组$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},...,\overrightarrow{a_r}$就称为向量空间$\mathbf{V}$的一组基，$r$称为向量空间$\mathbf{V}$的维数。

对于给定向量空间，虽然会有很多组基，但空间中的任一组基都有相同的向量的数量。

基向量可能不同，但基向量的个数一定相同。

把正交向量组的概念和基的概念融合，设向量组$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},...,\overrightarrow{a_r}$是向量空间$\mathbf{V}$的一个基，若它们之间彼此正交，那么就称它们是一组规范正交基。

对于一个向量$\vec{a}$，可以很方便地求出它在规范正交基$\overrightarrow{a_i}$下各个维度的坐标${\lambda }_i$：

$${\lambda }_i={\overrightarrow{a_i}}^T\vec{a}$$

即对于向量$\vec{a}$，在规范正交基下某一个维度的坐标，等于它和整个维度的正交基向量的内积。

若已知向量空间$\mathbf{V}$中的一组基$\overrightarrow{a_1},\overrightarrow{a_2},\overrightarrow{a_3},...,\overrightarrow{a_r}$，如何求$\mathbf{V}$的规范正交基呢？

可以使用施密特算法对基进行规范正交化，该算法公式可写成：

$$\begin{array}{rl}{b}_1& =a_1\\ b_2& =a_2-\frac{[b_1,a_2]}{[b_1,b_1]}{b}_1\\ ...& \\ b_r& =a_r-\frac{[b_1,a_2]}{[b_1,b_1]}{b}_1-\frac{[b_2,a_2]}{[b_2,b_2]}{b}_2-...-\frac{[b_{r-1},a_{r-1}]}{[b_{r-1},b_{r-1}]}{b}_{r-1}\end{array}$$

上式中$[b_1,a_2]$表示两个向量的内积。

将$\vec{b}$单位归一化后即可求得规范正交基。

6.正交矩阵

正交矩阵矩阵是转置等于逆的方阵，即满足

$$A^{T}A=E$$

三个性质，

• $A^{-1}=A^T$,且都是正交矩阵，$det(A)=\pm 1$
• A和B都是正交矩阵，并且它们阶数一样，那么AB也是正交矩阵
• A是正交矩阵，向量y经过A变换之后行列式保持不变

7.反对称矩阵

反对称矩阵是一个方阵，其转置矩阵和自身的加法逆元相等，即$A^T=-A$

$(A+B{)}^{\vee }=A^{\vee }+B^{\vee }$

8.齐次坐标与齐次变换矩阵

简而言之，齐次坐标就是用N+1维来代表N维坐标。最后新增的一维值为1或0(无穷远处的点)。
齐次(homogeneous)从字面上解释是“次数相等”的意思。使用齐次坐标的方便之处在于，对笛卡尔点齐次坐标的任何标量的乘积仍然表示同一个笛卡尔点。齐次坐标有规模不变性。因此被称为齐次坐标。如齐次坐标$(1,2,1)/(2,4,2)/(3,6,3)$都表示同一个笛卡尔点$(1,2)$。对齐次坐标进行变换的矩阵称为齐次变换矩阵。

9.相似矩阵

A和B都是n×n的方阵，若存在可逆矩阵M，使得$B=M^{-1}AM$，则称A和B互为相似矩阵，记作A~B。相似矩阵具有同样的特征值。

如果A有n个线性无关的特征向量，则A可以对角化为$A=S\Lambda S^{-1}$，相当于$S^{-1}AS=\Lambda$，A和其特征值矩阵Λ互为相似矩阵，这里的M=S，是特征向量矩阵。实际上A的相似矩阵有很多，我们可以用任意可逆矩阵M代替S，从而求得其他的相似矩阵，Λ是众多相似矩阵中最简洁的一个。

对于$B=M^{-1}AM$,设A，B和C是任意同阶方阵，则有：

（1）反身性：A~A

（2）对称性：若A_B，则BA

（3）传递性：若A_B，BC，则A~C

（4）若A~B，则二者的特征值相同、行列式相同、秩相同、迹相同。

（5）若A~B，且A可逆，则B也可逆，$A^{-1}\sim B^{-1}$。

10.相似对角化

如果一个方阵$A$相似于对角矩阵，也就是说存在一个可逆矩阵$P$使得$P^{-1}AP$是对角矩阵，则$A$就被称为可以相似对角化的。

矩阵
$$A=\left[\begin{array}{cc}1& -2\\ -2& 1\end{array}\right]$$
的相似对角化为
$${\left[\begin{array}{cc}-1& 1\\ -1& -1\end{array}\right]}^{-1}\left[\begin{array}{cc}1& -2\\ -2& 1\end{array}\right]\left[\begin{array}{cc}-1& 1\\ -1& -1\end{array}\right]=\left[\begin{array}{cc}-1& 0\\ 0& 3\end{array}\right]$$
使用numpy计算$A$的特征值和特征向量可知：

from numpy import linalg as LA
import numpy as np
mat = np.array([[1, -2],[-2, 1]])
W, V = LA.eig(mat)
print(W,V)
"""output
[ 3. -1.] 

[[ 0.70710678  0.70710678]
 [-0.70710678  0.70710678]]
"""

对角矩阵中的元素是$A$的特征值。

相似对角化的好处：

• 1）相似对角化使得同一个线性变换表达方式变的简单

图片引用自https://zhuanlan.zhihu.com/p/138285148

• 2）通过相似对角化（实际为坐标轴旋转）可以消去二次型中的交叉项

图片引用自https://zhuanlan.zhihu.com/p/138285148

11.矩阵的特征分解

对于$m\times m$的矩阵$A$的特征值分解为$A=U\Lambda U^{-1}$,$U$的每一列都是特征向量，$\Lambda$对角线上的元素是从大到小排列的特征值。

当矩阵$A$是一个对称矩阵时，则存在一个对称对角化分解，即$A=Q\Lambda Q^T$,$Q$的每一列都是相互正交的特征向量，且是单位向量，$\Lambda$对角线上的元素是从大到小排列的特征值。将矩阵$Q$记作$Q=({\vec{q}}_1,{\vec{q}}_2,...,{\vec{q}}_m)$,则矩阵A可以写为：
$$A={\lambda }_1{\vec{q}}_1{\vec{q}}_1^T+{\lambda }_2{\vec{q}}_2{\vec{q}}_2^T+...+{\lambda }_m{\vec{q}}_m{\vec{q}}_m^T$$

12.奇异值分解SVD

当给定一个大小为$m\times n$的矩阵A，虽然矩阵A不一定是方阵，但大小为$m\times m$的$A{A}^T$和$n\times n$的$A^{T}A$却是对称矩阵，若$A{A}^T=P{\Lambda }_1{P}^T$，$A^{T}A=Q{\Lambda }_2{Q}^T$，则矩阵A的奇异值分解为:
$$A=P\Sigma Q^T$$
P的列向量称为矩阵A的左奇异向量，Q中的列向量称为矩阵A的右奇异向量，矩阵${\Lambda }_1$大小为$m\times m$,矩阵${\Lambda }_2$大小为$n\times n$,两个矩阵对角线上的非零元素相同，矩阵$\Sigma$的大小为$m\times n$,位于对角线上的元素称为奇异值。若矩阵${\Lambda }_1$对角线的非零元素为${\lambda }_1,{\lambda }_2,...,{\lambda }_k$,这些特征值也都是非负的，且${\Lambda }_2$与${\Lambda }_1$对角线上的非零元素相同，则矩阵$\Sigma$对角线上的元素为：

$${\sigma }_1=\sqrt{{\lambda }_1},{\sigma }_2=\sqrt{{\lambda }_2},...,{\sigma }_k=\sqrt{{\lambda }_k},$$

在奇异值分解中，较大的奇异值会决定原矩阵的“主要特征”，可以使用奇异值分解的低秩逼近来截取原矩阵中的主要成分。numpy.linalg中提供了$.svd$函数可用来计算矩阵的奇异值分解：

from numpy import linalg as LA
import numpy as np
mat = np.array([[4, 4],[-3, 3]])
u,s,v = LA.svd(mat)
print(u)
print(s)
print(v)
"""output
[[-1.00000000e+00  0.00000000e+00]
 [ 3.70074342e-18  1.00000000e+00]]

[5.65685425 4.24264069]

[[-0.70710678 -0.70710678]
 [-0.70710678  0.70710678]]
"""

12.1 SVD求齐次矩阵方程的最小二乘解

13.满秩分解

取自《矩阵论》p179

设A为$m\times n$且秩为$r>0$的复矩阵，记为$A\in {\mathbb{C}}_r^{m\times n}$，如果存在矩阵$B\in {\mathbb{C}}_r^{m\times r}$和$C\in {r\times n}_r$，使得$A=BC$,则称$B,C$为矩阵A的最大秩分解，满秩分解。

设$A\in {\mathbb{C}}_r^{m\times n}$，则一定存在$B\in {\mathbb{C}}_r^{m\times r}$和$C\in {\mathbb{C}}_r^{r\times n}$,使得$A=BC$

例如求矩阵A的满秩分解：

$$A=\left[\begin{array}{ccccc}1& 4& -1& 5& 6\\ 2& 0& 0& 4& 6\\ -1& 2& -4& -4& -19\\ 1& -2& -1& -1& -6\end{array}\right]$$

A进行初等行变换化为行标准形为：

$$A\simeq \left[\begin{array}{ccccc}1& 0& 0& 2& 3\\ 0& 1& 0& 1& 2\\ 0& 0& 1& 1& 5\\ 0& 0& 0& 0& 0\end{array}\right]$$

取A的前三列组成矩阵

$$B=\left[\begin{array}{ccc}1& 4& -1\\ 2& 0& 0\\ -1& 2& -4\\ 1& -2& -1\end{array}\right]$$
再取A的行标准形的前三个非零行，组成矩阵
$$C=\left[\begin{array}{ccccc}1& 0& 0& 2& 3\\ 0& 1& 0& 1& 2\\ 0& 0& 1& 1& 5\end{array}\right]$$

可以求得$A=BC$

14.Pseudo-Inverse Matrix

1920年摩尔提出广义逆的概念，1955年以4个方程的形式给出了广义逆矩阵的定义。
定义：设$A\in {\mathbb{R}}^{m\times n}$，若存在$n\times m$阶矩阵G，同时满足：
$$\begin{gathered} AGA=A \\ GAG=G \\ {(AG)}^T=AG \\ (GA{)}^T=GA \end{gathered}$$
则称G为A的加号逆，或伪逆，或摩尔彭斯逆(Moore–Penrose pseudoinverse),通常记为$A^{+}$

对于任意$A\in {\mathbb{R}}^{m\times n}$,其伪逆存在且唯一。

伪逆的求法:

• (1)如果A为满秩方阵，则$A^{+}=A^{-1}$
• (2)如果$A=diag(d_1,d_2,...,d_n)$,$d_i\in \mathbb{R}(i=1,2,..,n)$,则
  $$\begin{gathered} A^{+}=diag(d_1^{+},d_2^{+},...d_n^{+}), \\ 其中,d_i^{+}=\{\begin{array}{c}0,d_i=0时\\ \frac{1}{d_i},d_i\ne 0时\end{array} \end{gathered}$$
• (3)如果A为行满秩矩阵，
  $$A^{+}=A_R^{-1}=A^T(A{A}^T{)}^{-1}$$
• (4)如果A为列满秩矩阵，
  $$A^{+}=A_L^{-1}=(A^{T}A{)}^{-1}{A}^T$$
• (5)如果A为降秩的$m\times n$矩阵，可用满秩分解求$A^{+}$,即将A满秩分解为$A=BC$,其中B列满秩，C行满秩，且
  $$rank(B)=rank(C)=r=rank(A)<minm,n,$$
  则有：
  $$A^{+}=C_R^{-1}{B}_L^{-1}=C^{+}{B}^{+}$$
  这里：
  $$B_L^{-1}=(B^{T}B{)}^{-1}{B}^T,C_R^{-1}=C^T(C{C}^T{)}^{-1}$$

from numpy import linalg as LA
import numpy as np
A = np.array([[1,1,0,1,0],[0,1,1,1,1],[1,0,1,1,0]])
LA.pinv(A)
"""output
array([[ 0.33333333, -0.33333333,  0.33333333],
       [ 0.5       ,  0.25      , -0.5       ],
       [-0.5       ,  0.25      ,  0.5       ],
       [ 0.16666667,  0.08333333,  0.16666667],
       [-0.16666667,  0.41666667, -0.16666667]])
"""

---

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

---

reference

• 1.https://zhuanlan.zhihu.com/p/50066691
• 2.https://zhuanlan.zhihu.com/p/75060237
• 3.https://zhuanlan.zhihu.com/p/103636446