特征值的相关理论
矩阵的特征值与特征向量的定义由于是代数最基本的知识，在此暂且不介绍了，不太清楚的可以查询一下低阶代数课程。
一、矩阵特征值的估计1——矩阵特征值在复平面上的分布
定义
Gerschgorin圆盘：设 A=(aij)n×n 为实方阵，则称复平面上以 aii 为中心， 以ri=∑j=1,j≠in|ai,j| 为半径的 n 个圆盘称为Gerschgorin圆盘。
定理
Gerschgorin圆盘与特征值的关系
设 A=(aij)n×n 为实方阵，则
（1） A 的任一特征值必须落在 A 的某个Gerschgorin圆盘之中。
（2）如果 A 的 k 个Gerschgorin圆盘的并集 S 与其他圆盘不相连，则 S 内恰包含 A 的 k 个特征值。
二、矩阵特征值的估计2——雷利商
定义
Rayleigh商：设 A=(aij)n×n 为实方阵，非零向量 x=(x1,x2,...xn)T∈Rn ,则称 R(x)=(Ax,x)(x,x)=xTAxxTx 为矩阵 A 关于向量 x 的Rayleigh商。
定理
其特征值排列次序为 λ1≥λ2≥...≥λn ，则 ，λ1=maxx∈Rn,x≠0R(x)，λn=minx∈Rn,x≠0R(x)
【因此Rayleigh商的最大最小值分别对应着特征值的最大最小值】
三、扰动对矩阵特征值的影响
定理
Bauer-Fike定理：设 n 阶方阵 A 可对角化，矩阵 P 使得 P−1AP=diag(λ1,λ2,...λn)
则 A 经过扰动后的矩阵 A+E 的特征值有如下估计 min1≤i≤n|μ−λi|≤||P−1||p||P||p||E||p
其中 ||⋅||p 为矩阵的 p 范数 (p=1,2,∞)
乘幂法与反乘幂法
一、乘幂法
1.用途：
乘幂法是一种计算矩阵按模最大特征值及其对应特征向量的迭代法，特别适合求解大型稀疏矩阵。
2.乘幂法前提条件：
对 n 阶实方阵 A ，假设它具有一个线性无关的特征向量系 x1,x2,...,xn ，相应的特征值分别为 λ1,λ2,...,λn ,主特征值 λ1 满足条件 |λ1|>|λ2|≥...≥|λn|
【必须满足以上条件，乘幂法才会有效】
3.乘幂法的迭代格式
任取初始向量 z0≠0 ,构造向量序列
，，y1=Az0，m1=max(y1)，z1=y1/m1
，，y2=Az1，m2=max(y2)，z2=y2/m2
，，yk=Azk−1，mk=max(yk)，zk=yk/mk
4.迭代法的收敛性与收敛速度
收敛性
设 n 阶实方阵 A 有 n 个线性无关的特征向量，按模最大特征值 λ1 满足 |λ1|>|λ2|≥...≥|λn| ，则对于任给的初始向量 z0 ，由上面的迭代格式构造的向量序列 {zk} 和数列 {mk} 的极限分别为
(1) limk→∞zk=x1/max(x1)
(2) limk→∞mk=λ1
收敛速度
mk=λ1(1+O(|λ2λ1|k))
|λ2λ1| 越小，收敛速度越快，即 |λ1| 越大于 |λ2| ，收敛速度越快。
二、乘幂法的加速
1.何时提高收敛速度：
当 |λ2λ1|≈1 时，收敛慢。
2.加速方法1——原点平移法
通过对矩阵 A 进行平移 p 位，变为 B=A−pI ,特征值由 λ1,λ2,...,λn 变为 λ1−p,λ2−p,...,λn−p ,选择合适的 p 使得 |λ2−pλ1−p|≤|λ2λ1| ，并且保持 λ1−p 为按模最大特征值。
其中 p 一般取为 p=λ2+λn2
则问题由：求解 A 的按模最大特征值 λ1
变为：求解 B 的按模最大特征值 λ1−p
3.加速方法2——Rayleigh商加速
向量 zk 的雷利商可以更快的收敛到 λ1
定理
设 A 为 n 阶实对称方阵，特征值满足 |λ1|>|λ2|≥...≥|λn| ，则由乘幂法的迭代格式 ，，yk=Azk−1，mk=max(yk)，zk=yk/mk ，向量 zk 的Rayleigh商收敛于 λ1 ，且 (Azk,zk)(zk,zk)=λ1+O(|λ2λ1|2k)
三、反乘幂法
1.用途
计算矩阵 A 按模最小特征值及其对应特征向量的迭代法，本质是对 A−1 使用乘幂法。
2.成立条件
设 n 阶实方阵 A 非奇异，它有 n 个线性无关的特征向量 x1,x2,...xn 对应的特征值分布为 |λ1|≥|λ2|≥...>|λn|
3.迭代格式
迭代格式如下：
，，y1=A−1z0，m1=max(y1)，z1=y1/m1
，，y2=A−1z1，m2=max(y2)，z2=y2/m2
，，yk=A−1zk−1，mk=max(yk)，zk=yk/mk
4.反乘幂法的应用——求矩阵的某个特征值的近似值
原点平移法+反乘幂法
前提：知道某个特征值 λi 的近似值 λ^i
则问题由：求解矩阵 A 的与 λ^i 最接近的特征值 λi 及其特征向量 xi
变为：求解矩阵 A−λ^iI 的按模最小特征值 λ 及其特征向量 x
基于约化矩阵的Householder方法——QR方法的基础
任意矩阵 A 可以通过Householder矩阵 H 约化为上Hessenberg矩阵，之后通过QR方法计算上Hessenberg矩阵的特征值问题。QR方法不仅可以计算上Hessenberg矩阵，还可以计算对称三对角矩阵。
一、Householder矩阵
定义
Householder矩阵：形如 H=I−2wwT 的矩阵称为Householder矩阵，其中 I 为 n 阶单位阵， w 为 n 维实向量，且 ||w||2=wTw=1 。
定理
对任意向量 x,y∈Rn ,若 ||x||2=||y||2 ,则总存在Householder矩阵 H 使得 Hx=y 。
定理应用：将任意向量 x 约化为 ke1 形式，其中 e1=(1,0,...,0)
具体计算按下列步骤挨个计算即可得到Householder矩阵 H 与变换后的向量 x^
二、Hessenberg矩阵
定义
若方阵 A=(aij)n×n 满足条件 ，aij=0，i≥j+2 ，则称 A 为上Hessenberg矩阵。
三、约化方法
不断用 A 矩阵的部分列的Householder矩阵左右乘 A ，即 HAH ，（左右乘 H 是为了保持特征值不变），直到变为Hessenberg矩阵。即每个实方阵 A 都可以正交相似于上Hessenberg矩阵。
四、Householder矩阵的应用——矩阵的QR分解
与矩阵 A 约化为上Hessenberg矩阵方法类似，只不过只用左乘就好（因为此处与之前作用的目的不同，此处只是为了矩阵分解，之前是为了保持特征值不变）
定理
QR分解定理：设 n 阶实方阵 A 非奇异，则存在正交矩阵 Q 与上三角阵 R ，使得 A=QR ,当 R 的对角元素为正时，分解是唯一的。
QR方法
对于矩阵 A ，一般先将矩阵 A 约化为上Hessenberg矩阵再对这个上Hessenberg矩阵运用QR方法进行求解。如果直接用矩阵 A 进行计算，计算量将会很大。
一、QR方法的迭代格式
Ak=QkRk
，Ak+1=RkQk=QkTAkQk，k=1,2,...
二、QR方法收敛性
定理
设 n 阶实方阵 A 有如下性质：
（1）特征值满足条件： |λ1|>|λ2|>...>|λn|>0
（2） A 可表示成 A=XDX−1 ，其中 D=diag(λ1,...,λn) ,且 X−1 有LU分解 X−1=LU 。则当 k→∞ 时， Ak 的主对角线上的元素 aii(k) 收敛于 λi(i=1,2,...,n) ,主对角线左下方的元素都收敛于0，特别饿，若 A 还是对称矩阵，则 Ak 收敛于对角矩阵 D 。
