《A Practical Guide To Quantitative Finance Interviews》,被称为量化绿皮书,是经典的量化求职刷题书籍之一,包含以下七章:
Chapter 1 General Principles 通用技巧
Chapter 2 Brain Teasers 脑筋急转弯
Chapter 3 Calculus and Linear Algebra 微积分与线性代数
Chapter 4 Probability Theory 概率论
Chapter 5 Stochastic Process and Stochastic Calculus 随机过程与随机微积分
Chapter 6 Finance 金融
Chapter 7 Algorithms and Numerical Methods 算法与数值方法
目录
文章目录
- 3.5 Ordinary Differential Equations 常微分方程
- 3.5.1 Separable differential equations 可分离变量的微分方程
- 3.5.2 First-order linear differential equations 一阶线性微分方程
- 3.5.3 Homogeneous linear equations 二阶齐次线性方程
- 3.5.4 Nonhomogeneous linear equations 二阶非齐次线性方程
- 3.6 Linear Algebra 线性代数
- 3.6.1 Vectors 向量
- 3.6.2 QR decomposition QR分解
- 3.6.3 Determinant, eigenvalue and eigenvector 行列式,特征值和特征向量
- 3.6.4 Positive semidefinite/definite matrix 半正定和正定矩阵
- 3.6.5 LU decomposition and Cholesky decomposition LU分解和Cholesky分解
3.5 Ordinary Differential Equations 常微分方程
3.5.1 Separable differential equations 可分离变量的微分方程
d y d x = g ( x ) h ( y ) \frac{dy}{dx}=g(x)h(y) dxdy=g(x)h(y)
解:分离为 d y h ( y ) = g ( x ) d x \frac{dy}{h(y)}=g(x)dx h(y)dy=g(x)dx,解为 ∫ d y h ( y ) = ∫ g ( x ) d x \int\frac{dy}{h(y)}=\int g(x)dx ∫h(y)dy=∫g(x)dx
问: y ′ + 6 x y = 0 , y ( 0 ) = 1 y'+6xy=0,y(0)=1 y′+6xy=0,y(0)=1
**答:**分离为 d y y = − 6 x d x \frac{dy}{y}=-6xdx ydy=−6xdx,解为 ln y = − 3 x 2 + c \ln y=-3x^2+c lny=−3x2+c
代入 y ( 0 ) = 1 y(0)=1 y(0)=1,
∴ y = e − 3 x 2 \therefore y=e^{-3x^2} ∴y=e−3x2
问: y ′ = x − y x + y y'=\frac{x-y}{x+y} y′=x+yx−y
**答:**令 z = x + y z=x+y z=x+y
原方程变为 d ( z − x ) d x = x − ( z − x ) z \frac{d(z-x)}{dx}=\frac{x-(z-x)}{z} dxd(z−x)=zx−(z−x),即 d z d x − 1 = 2 x z − 1 \frac{dz}{dx}-1=\frac{2x}{z}-1 dxdz−1=z2x−1
分离为 z d z = 2 x d x zdz=2xdx zdz=2xdx,解为 z 2 = 2 x 2 + c z^2=2x^2+c z2=2x2+c
代入 z = x + y z=x+y z=x+y,
∴ y 2 + 2 x y − x 2 = c \therefore y^2+2xy-x^2=c ∴y2+2xy−x2=c
3.5.2 First-order linear differential equations 一阶线性微分方程
d y d x + P ( x ) y = Q ( x ) \frac{dy}{dx}+P(x)y=Q(x) dxdy+P(x)y=Q(x)
解:找到积分因子 I ( x ) = e ∫ P ( x ) d x I(x)=e^{\int P(x)dx} I(x)=e∫P(x)dx( d I ( x ) d x = I ( x ) P ( x ) \frac{dI(x)}{dx}=I(x)P(x) dxdI(x)=I(x)P(x)),方程两边同乘积分因子:
I ( x ) ( y ′ + P ( x ) y ) = I ( x ) y ′ + I ( x ) P ( x ) y = ( I ( x ) y ) ′ = I ( x ) Q ( x ) I(x)(y'+P(x)y)=I(x)y'+I(x)P(x)y=(I(x)y)'=I(x)Q(x) I(x)(y′+P(x)y)=I(x)y′+I(x)P(x)y=(I(x)y)′=I(x)Q(x)
⇒ I ( x ) y = ∫ I ( x ) Q ( x ) d x ⇒ y = ∫ I ( x ) Q ( x ) d x I ( x ) \Rightarrow I(x)y=\int I(x)Q(x)dx \Rightarrow y=\frac{\int I(x)Q(x)dx}{I(x)} ⇒I(x)y=∫I(x)Q(x)dx⇒y=I(x)∫I(x)Q(x)dx
即公式为: y = e − ∫ P ( x ) d x ( ∫ e ∫ P ( x ) d x Q ( x ) d x + c ) y=e^{-\int P(x)dx}(\int e^{\int P(x)dx}Q(x)dx+c) y=e−∫P(x)dx(∫e∫P(x)dxQ(x)dx+c)
伯努利方程: d y d x + P ( x ) y = Q ( x ) y n \frac{dy}{dx}+P(x)y=Q(x)y^n dxdy+P(x)y=Q(x)yn(可化为一阶线性微分方程)
y − n d y d x + P ( x ) y 1 − n = Q ( x ) y^{-n}\frac{dy}{dx}+P(x)y^{1-n}=Q(x) y−ndxdy+P(x)y1−n=Q(x)
1 1 − n d y 1 − n d x + P ( x ) y 1 − n = Q ( x ) \frac{1}{1-n}\frac{dy^{1-n}}{dx}+P(x)y^{1-n}=Q(x) 1−n1dxdy1−n+P(x)y1−n=Q(x)
令 y 1 − n = u y^{1-n}=u y1−n=u,方程两边同乘 1 − n 1-n 1−n:
d u d x + ( 1 − n ) P ( x ) u = ( 1 − n ) Q ( x ) \frac{du}{dx}+(1-n)P(x)u=(1-n)Q(x) dxdu+(1−n)P(x)u=(1−n)Q(x)
d u d x + P ′ ( x ) u = Q ′ ( x ) \frac{du}{dx}+P'(x)u=Q'(x) dxdu+P′(x)u=Q′(x)
问: y ′ + y x = 1 x 2 , y ( 1 ) = 1 , x > 0 y'+\frac{y}{x}=\frac{1}{x^2},y(1)=1,x>0 y′+xy=x21,y(1)=1,x>0
答: I ( x ) = e ∫ P ( x ) d x = e ln x = x I(x)=e^{\int P(x)dx}=e^{\ln x}=x I(x)=e∫P(x)dx=elnx=x
y = ln x + c x y=\frac{\ln x+c}{x} y=xlnx+c
代入 y ( 1 ) = 1 y(1)=1 y(1)=1,
∴ y = ln x + 1 x \therefore y=\frac{\ln x+1}{x} ∴y=xlnx+1
3.5.3 Homogeneous linear equations 二阶齐次线性方程
a d 2 y d x 2 + b d y d x + c y = 0 a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+cy=0 adx2d2y+bdxdy+cy=0
解:特征方程 a r 2 + b r + c = 0 ar^2+br+c=0 ar2+br+c=0
- 特征方程有两个不同的实数解 r 1 , r 2 r_1,r_2 r1,r2,方程通解 y = c 1 e r 1 x + c 2 e r 2 x y=c_1e^{r_1x}+c_2e^{r_2x} y=c1er1x+c2er2x
- 特征方程有一个二重解 r 1 = r 2 = r r_1=r_2=r r1=r2=r,方程通解 y = c 1 e r x + c 2 x e r x y=c_1e^{rx}+c_2xe^{rx} y=c1erx+c2xerx
- 特征方程有一对共轭复解 r = α ± i β r=\alpha \pm i\beta r=α±iβ,方程通解 y = e α x ( c 1 cos β x + c 2 sin β x ) y=e^{\alpha x}(c_1\cos \beta x+c_2\sin \beta x) y=eαx(c1cosβx+c2sinβx)
问: y ′ ′ + y ′ + y = 0 y''+y'+y=0 y′′+y′+y=0
答: r 2 + r + 1 = 0 r^2+r+1=0 r2+r+1=0, r = − 1 / 2 ± 3 / 2 i r=-1/2 \pm \sqrt{3}/2i r=−1/2±3/2i
∴ y = e − 1 / 2 x ( c 1 cos ( 3 / 2 x ) + c 2 sin ( 3 / 2 x ) ) \therefore y=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x)) ∴y=e−1/2x(c1cos(3/2x)+c2sin(3/2x))
3.5.4 Nonhomogeneous linear equations 二阶非齐次线性方程
a d 2 y d x 2 + b d y d x + c y = d ( x ) a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+cy=d(x) adx2d2y+bdxdy+cy=d(x)
解:找一个方程的非齐次特解,方程通解 y = y p ( x ) + y g ( x ) y=y_p(x)+y_g(x) y=yp(x)+yg(x),其中 y p ( x ) y_p(x) yp(x)为非齐次特解, y g ( x ) y_g(x) yg(x)为齐次通解
非齐次特解:
P m ( x ) 表示 x 最高次为 m 的多项式, Q m ( x ) 表示系数需要代回原方程确定的 x 最高次为 m 的多项式 P_m(x)表示x最高次为m的多项式,Q_m(x)表示系数需要代回原方程确定的x最高次为m的多项式 Pm(x)表示x最高次为m的多项式,Qm(x)表示系数需要代回原方程确定的x最高次为m的多项式
- d ( x ) = P m ( x ) d(x)=P_m(x) d(x)=Pm(x)
- 若 0 0 0不是方程的特征解,则有特解 y p ( x ) = Q m ( x ) y_p(x)=Q_m(x) yp(x)=Qm(x)
- 若 0 0 0是方程的单特征解,则有特解 y p ( x ) = x Q m ( x ) y_p(x)=xQ_m(x) yp(x)=xQm(x)
- 若 0 0 0是方程的二重特征解,则有特解 y p ( x ) = x 2 Q m ( x ) y_p(x)=x^2Q_m(x) yp(x)=x2Qm(x)
- d ( x ) = e α x P m ( x ) d(x)=e^{\alpha x}P_m(x) d(x)=eαxPm(x)
- 若 α \alpha α不是方程的特征解,则有特解 y p ( x ) = e α x Q m ( x ) y_p(x)=e^{\alpha x}Q_m(x) yp(x)=eαxQm(x)
- 若 α \alpha α是方程的单特征解,则有特解 y p ( x ) = x e α x Q m ( x ) y_p(x)=xe^{\alpha x}Q_m(x) yp(x)=xeαxQm(x)
- 若 α \alpha α是方程的二重特征解,则有特解 y p ( x ) = x 2 e α x Q m ( x ) y_p(x)=x^2e^{\alpha x}Q_m(x) yp(x)=x2eαxQm(x)
- d ( x ) = e α x ( a 1 cos β x + a 2 sin β x ) d(x)=e^{\alpha x}(a_1\cos \beta x+a_2\sin \beta x) d(x)=eαx(a1cosβx+a2sinβx)
- 若 α ± i β \alpha \pm i\beta α±iβ不是方程的特征解,则有特解 y p ( x ) = e α x ( A 1 cos β x + A 2 sin β x ) y_p(x)=e^{\alpha x}(A_1\cos \beta x+A_2\sin \beta x) yp(x)=eαx(A1cosβx+A2sinβx)
- 若 α ± i β \alpha \pm i\beta α±iβ是方程的特征解,则有特解 y p ( x ) = x e α x ( A 1 cos β x + A 2 sin β x ) y_p(x)=xe^{\alpha x}(A_1\cos \beta x+A_2\sin \beta x) yp(x)=xeαx(A1cosβx+A2sinβx)
问: y ′ ′ + y ′ + y = 1 y''+y'+y=1 y′′+y′+y=1和 y ′ ′ + y ′ + y = x y''+y'+y=x y′′+y′+y=x
答: y g ( x ) = e − 1 / 2 x ( c 1 cos ( 3 / 2 x ) + c 2 sin ( 3 / 2 x ) ) y_g(x)=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x)) yg(x)=e−1/2x(c1cos(3/2x)+c2sin(3/2x))
y ′ ′ + y ′ + y = 1 y''+y'+y=1 y′′+y′+y=1:
y p ( x ) = 1 y_p(x)=1 yp(x)=1,
∴ y = e − 1 / 2 x ( c 1 cos ( 3 / 2 x ) + c 2 sin ( 3 / 2 x ) ) + 1 \therefore y=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x))+1 ∴y=e−1/2x(c1cos(3/2x)+c2sin(3/2x))+1
y ′ ′ + y ′ + y = x y''+y'+y=x y′′+y′+y=x:
y p ( x ) = x − 1 y_p(x)=x-1 yp(x)=x−1,
∴ y = e − 1 / 2 x ( c 1 cos ( 3 / 2 x ) + c 2 sin ( 3 / 2 x ) ) + x − 1 \therefore y=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x))+x-1 ∴y=e−1/2x(c1cos(3/2x)+c2sin(3/2x))+x−1
3.6 Linear Algebra 线性代数
3.6.1 Vectors 向量
内积/点积: ∑ i = 1 n x i y i = x T y \sum_{i=1}^{n}x_iy_i=x^Ty ∑i=1nxiyi=xTy
欧几里得范数(L2范数): ∣ ∣ x ∣ ∣ = ∑ i = 1 n x i 2 ||x||=\sqrt{\sum_{i=1}^{n}x_i^2} ∣∣x∣∣=∑i=1nxi2; ∣ ∣ x − y ∣ ∣ = ( x − y ) T ( x − y ) ||x-y||=\sqrt{(x-y)^T(x-y)} ∣∣x−y∣∣=(x−y)T(x−y)
两个向量 x x x和 y y y的夹角 θ \theta θ, cos θ = x T y ∣ ∣ x ∣ ∣ ∣ ∣ y ∣ ∣ \cos \theta=\frac{x^Ty}{||x||||y||} cosθ=∣∣x∣∣∣∣y∣∣xTy
x T y = 0 x^Ty=0 xTy=0, x x x和 y y y正交
两个随机变量的相关系数可以看作是它们在欧氏空间中夹角的余弦值 ρ = cos θ \rho = \cos\theta ρ=cosθ
问:有3个随机变量 x 、 y 、 z x、y、z x、y、z, x x x与 y y y的相关系数为 0.8 0.8 0.8, x x x与 z z z的相关系数为0.8, y y y与 z z z的相关系数最大值和最小值为多少?
**答:**将随机变量看作向量, x x x与 y y y的夹角为 θ \theta θ, cos θ = 0.8 \cos \theta=0.8 cosθ=0.8, x x x与 z z z的夹角也为 θ \theta θ。
- y y y与 z z z的相关系数最大,即夹角最小: y y y与 z z z在同一方向,夹角为0,相关系数为 1 1 1
- y y y与 z z z的相关系数最小,即夹角最大: y y y与 z z z的夹角为 2 θ 2\theta 2θ,相关系数为 ρ = cos 2 θ = ( cos θ ) 2 − ( sin θ ) 2 = 0. 8 2 − 0. 6 2 = 0.28 \rho=\cos2\theta=(\cos\theta)^2-(\sin\theta)^2=0.8^2-0.6^2=0.28 ρ=cos2θ=(cosθ)2−(sinθ)2=0.82−0.62=0.28
3.6.2 QR decomposition QR分解
**QR分解:**对于每一个 n n n阶非奇异矩阵 A n ∗ n A_{n*n} An∗n,存在唯一的一对正交矩阵 Q n ∗ n Q_{n*n} Qn∗n和非奇异上三角矩阵 R n ∗ n R_{n*n} Rn∗n,使得 A = Q R A = QR A=QR
- 写出矩阵 A A A的列向量组 ( a 1 , a 2 , … , a n ) (a_1,a_2,…,a_n) (a1,a2,…,an)
- 对列向量组进行施密特正交化得到正交向量组 ( b 1 , b 2 , … , b n ) (b_1,b_2,…,b_n) (b1,b2,…,bn),再单位化得到单位正交向量组 ( q 1 , q 2 , … , q n ) (q_1,q_2,…,q_n) (q1,q2,…,qn),构成正交矩阵 Q Q Q
- b 1 = a 1 b_1=a_1 b1=a1
- b 2 = a 2 − ( a 2 , b 1 ) ( b 1 , b 1 ) b 1 b_2=a_2-\frac{(a_2,b_1)}{(b_1,b_1)}b_1 b2=a2−(b1,b1)(a2,b1)b1
- b 3 = a 3 − ( a 3 , b 1 ) ( b 1 , b 1 ) b 1 − ( a 3 , b 2 ) ( b 2 , b 2 ) b 2 b_3=a_3-\frac{(a_3,b_1)}{(b_1,b_1)}b_1-\frac{(a_3,b_2)}{(b_2,b_2)}b_2 b3=a3−(b1,b1)(a3,b1)b1−(b2,b2)(a3,b2)b2
- … … …
- 将矩阵 A A A的列向量组 ( a 1 , a 2 , … , a n ) (a_1,a_2,…,a_n) (a1,a2,…,an)表示成正交向量组 ( q 1 , q 2 , … , q n ) (q_1,q_2,…,q_n) (q1,q2,…,qn)的线性组合(使用施密特正交化的结果),系数矩阵即为 R R R
**QR分解常用于解决 A A A为非奇异矩阵的线性问题 A x = b Ax=b Ax=b:**因为 Q Q Q为正交矩阵, Q − 1 = Q T Q^{-1}=Q^T Q−1=QT,所以 Q R x = b ⇒ R x = Q T b QRx=b \Rightarrow Rx=Q^Tb QRx=b⇒Rx=QTb;因为 R R R为上三角矩阵,可以从 x n x_n xn开始(方程简写为 R n , n x n = ( Q T b ) n ) R_{n,n}x_n = (Q^Tb)_n) Rn,nxn=(QTb)n),然后递归地计算所有的 x i x_i xi
问:设计一个算法进行线性最小二乘回归
答: y i = β 0 x i , 0 + β 1 x i , 1 + … + β p − 1 x i , p − 1 + ϵ i , ∀ i = 1 , … , n y_i=\beta_0x_{i,0}+\beta_1x_{i,1}+…+\beta_{p-1}x_{i,p-1}+\epsilon_i,\forall i=1,…,n yi=β0xi,0+β1xi,1+…+βp−1xi,p−1+ϵi,∀i=1,…,n,其中 x i , 0 ≡ 0 , ∀ i x_{i,0}\equiv 0,\forall i xi,0≡0,∀i为截距项, x i , 1 , … , x i , p − 1 x_{i,1},…,x_{i,p-1} xi,1,…,xi,p−1为 p − 1 p-1 p−1个外生解释变量,共 n n n个样本,找到一组 β = [ β 0 , β 1 , … , β p − 1 ] T \beta=[\beta_0,\beta_1,…,\beta_{p-1}]^T β=[β0,β1,…,βp−1]T使 ∑ i = 1 n ϵ i 2 \sum_{i=1}^n\epsilon_i^2 ∑i=1nϵi2最小
矩阵形式: Y n ∗ 1 = X n ∗ p β p ∗ 1 + ϵ n ∗ 1 Y_{n*1}=X_{n*p}\beta_{p*1}+\epsilon_{n*1} Yn∗1=Xn∗pβp∗1+ϵn∗1, min β f ( β ) = min β ∑ i = 1 n ϵ i 2 = min β ( Y − X β ) T ( Y − X β ) \underset{\beta}\min f(\beta)=\underset{\beta}\min \sum_{i=1}^n\epsilon_i^2=\underset{\beta}\min (Y-X\beta)^T(Y-X\beta) βminf(β)=βmin∑i=1nϵi2=βmin(Y−Xβ)T(Y−Xβ)
f ′ ( β ) = 2 X T ( Y − X β ^ ) = 0 ⇒ ( X T X ) β ^ = X T Y f'(\beta)=2X^T(Y-X\hat\beta)=0 \Rightarrow (X^TX)\hat\beta=X^TY f′(β)=2XT(Y−Xβ^)=0⇒(XTX)β^=XTY
令 A = ( X T X ) , b = X T Y A=(X^TX),b=X^TY A=(XTX),b=XTY, A β ^ = b A\hat\beta=b Aβ^=b,可以使用QR分解解决。
矩阵求导:
∂ a T x ∂ x = ∂ x T a ∂ x = a \frac{\partial a^Tx}{\partial x}=\frac{\partial x^Ta}{\partial x}=a ∂x∂aTx=∂x∂xTa=a, ∂ A x ∂ x = A \frac{\partial Ax}{\partial x}=A ∂x∂Ax=A, ∂ x T A x ∂ x = ( A T + A ) x \frac{\partial x^TAx}{\partial x}=(A^T+A)x ∂x∂xTAx=(AT+A)x, ∂ 2 x r A x ∂ x ∂ x r = 2 A \frac{\partial^2 x^rAx}{\partial x\partial x^r}=2A ∂x∂xr∂2xrAx=2A,
∂ ( A x + b ) T C ( D x + e ) ∂ x = A T C ( D x + e ) + D T C T ( A x + b ) \frac{\partial (Ax+b)^TC(Dx+e)}{\partial x}=A^TC(Dx+e)+D^TC^T(Ax+b) ∂x∂(Ax+b)TC(Dx+e)=ATC(Dx+e)+DTCT(Ax+b)
3.6.3 Determinant, eigenvalue and eigenvector 行列式,特征值和特征向量
**行列式:**矩阵 A n ∗ n A_{n*n} An∗n的行列式 det ( A ) \det (A) det(A)
- 对角线法:将前 n − 1 n-1 n−1列平移到行列式右侧,作出所有斜对角线,对角线上的元素相乘,左上至右下的为 + + +,右上至左下的为 − - −
- det ( [ a b c d ] ) = a d − b c \det\begin{pmatrix} \begin{bmatrix}a & b \\ c & d\\ \end{bmatrix} \end{pmatrix}=ad-bc det([acbd])=ad−bc, det ( [ a b c d e f g h i ] ) = a e i + b f g + c d h − c e g − a f h − b d i \det\begin{pmatrix} \begin{bmatrix}a & b & c \\ d & e & f \\ g & h & i \end{bmatrix} \end{pmatrix}=aei+bfg+cdh-ceg-afh-bdi det adgbehcfi =aei+bfg+cdh−ceg−afh−bdi
行列式的性质: det ( A T ) = det ( A ) \det(A^T)=\det(A) det(AT)=det(A), det ( A B ) = det ( A ) det ( B ) \det(AB)=\det(A)\det(B) det(AB)=det(A)det(B), det ( A − 1 ) = 1 det ( A ) \det(A^{-1})=\frac{1}{\det(A)} det(A−1)=det(A)1
**特征值和特征向量:**对于矩阵 A n ∗ n A_{n*n} An∗n,如果存在一个非零向量 x x x,使得 A x = λ x Ax=\lambda x Ax=λx,则实数 λ \lambda λ为 A A A的特征值,每一个满足这个方程的非零向量 x x x为 A A A关于特征值 λ \lambda λ的特征向量。
- 特征多项式: A − λ I A-\lambda I A−λI
- 特征方程: det ( A − λ I ) = 0 \det(A-\lambda I)=0 det(A−λI)=0, A A A的特征值为特征方程的实根
- 利用特征方程,还可得性质 λ 1 λ 2 … λ n = det ( A ) \lambda_1\lambda_2…\lambda_n=\det(A) λ1λ2…λn=det(A), ∑ i = 1 n λ i = t r a c e ( A ) = ∑ i = 1 n A i , i \sum_{i=1}^{n}\lambda_i=trace(A)=\sum_{i=1}^{n}A_{i,i} ∑i=1nλi=trace(A)=∑i=1nAi,i
**可对角化矩阵:**有线性无关的特征向量
X = [ x 1 ∣ x 2 ∣ … ∣ x n ] X=[x_1|x_2|…|x_n] X=[x1∣x2∣…∣xn]
X − 1 A X = [ λ 1 λ 2 … λ n ] = D ⇒ A = X D X − 1 ⇒ A k = X D k X − 1 X^{-1}AX=\begin{bmatrix}\lambda_1 \\ & \lambda_2\\ & & …\\ & & & \lambda_n\\ \end{bmatrix}=D \Rightarrow A=XDX^{-1} \Rightarrow A^k=XD^kX^{-1} X−1AX= λ1λ2…λn =D⇒A=XDX−1⇒Ak=XDkX−1
问: A = [ 2 1 1 2 ] A=\begin{bmatrix}2 & 1 \\ 1 & 2\\ \end{bmatrix} A=[2112]的特征值和特征向量
答:
- 方法一:定义
A x = [ 2 1 1 2 ] [ x 1 x 2 ] = [ 2 x 1 + x 2 x 1 + 2 x 2 ] = λ x = [ λ x 1 λ x 2 ] Ax=\begin{bmatrix}2 & 1 \\ 1 & 2\\ \end{bmatrix}\begin{bmatrix}x_1 \\ x_2\\ \end{bmatrix}=\begin{bmatrix}2x_1+x_2 \\ x_1+2x_2\\ \end{bmatrix}=\lambda x=\begin{bmatrix}\lambda x_1 \\ \lambda x_2\\ \end{bmatrix} Ax=[2112][x1x2]=[2x1+x2x1+2x2]=λx=[λx1λx2]
{ 2 x 1 + x 2 = λ x 1 x 1 + 2 x 2 = λ x 2 ⇒ 3 ( x 1 + x 2 ) = λ ( x 1 + x 2 ) \left \{ \begin{array}{c} 2x_1+x_2=\lambda x_1 \\ x_1+2x_2=\lambda x_2 \end{array} \right. \Rightarrow 3(x_1+x_2)=\lambda(x_1+x_2) {2x1+x2=λx1x1+2x2=λx2⇒3(x1+x2)=λ(x1+x2)
λ = 3 \lambda=3 λ=3,代入方程得 x 1 = x 2 x_1=x_2 x1=x2,归一化特征向量 [ 1 / 2 1 / 2 ] \begin{bmatrix}1/\sqrt2 \\ 1/\sqrt2\\ \end{bmatrix} [1/21/2]
x 1 + x 2 = 0 x_1+x_2=0 x1+x2=0,归一化特征向量 [ 1 / 2 − 1 / 2 ] \begin{bmatrix}1/\sqrt2 \\ -1/\sqrt2\\ \end{bmatrix} [1/2−1/2],代入方程得 λ = 1 \lambda=1 λ=1
- 方法二:特征方程
det ( A − λ I ) = 0 ⇒ ( 2 − λ ) ( 2 − λ ) − 1 = 0 \det(A-\lambda I)=0 \Rightarrow (2-\lambda)(2-\lambda)-1=0 det(A−λI)=0⇒(2−λ)(2−λ)−1=0,解得 λ 1 = 1 , λ 2 = 3 \lambda_1=1,\lambda_2=3 λ1=1,λ2=3,代入 A x = λ x Ax=\lambda x Ax=λx可得特征向量
- 方法三:性质
λ 1 λ 2 … λ n = det ( A ) \lambda_1\lambda_2…\lambda_n=\det(A) λ1λ2…λn=det(A), ∑ i = 1 n λ i = t r a c e ( A ) = ∑ i = 1 n A i , i \sum_{i=1}^{n}\lambda_i=trace(A)=\sum_{i=1}^{n}A_{i,i} ∑i=1nλi=trace(A)=∑i=1nAi,i
{ det ( A ) = 2 ∗ 2 − 1 ∗ 1 = 3 = λ 1 ∗ λ 2 t r a c e ( A ) = 2 ∗ 2 = 4 = λ 1 + λ 2 ⇒ λ 1 = 1 , λ 2 = 3 \left \{ \begin{array}{c} \det(A)=2*2-1*1=3=\lambda_1*\lambda_2 \\ trace(A)=2*2=4=\lambda_1+\lambda_2 \end{array} \right. \Rightarrow \lambda_1=1,\lambda_2=3 {det(A)=2∗2−1∗1=3=λ1∗λ2trace(A)=2∗2=4=λ1+λ2⇒λ1=1,λ2=3
代入 A x = λ x Ax=\lambda x Ax=λx可得特征向量
3.6.4 Positive semidefinite/definite matrix 半正定和正定矩阵
实对称矩阵 A n ∗ n A_{n*n} An∗n为半正定矩阵的充分必要条件:
- 对任意向量 x x x, x T A x ⩾ 0 x^TAx\geqslant0 xTAx⩾0
- A A A的所有特征值非负
- A A A的所有左上(或右下)子矩阵 A K , K = 1 , … , n A_K,K=1,…,n AK,K=1,…,n有非负行列式
实对称矩阵 A n ∗ n A_{n*n} An∗n为正定矩阵的充分必要条件:
- 对任意非零向量 x x x, x T A x ⩾ 0 x^TAx\geqslant0 xTAx⩾0
- A A A的所有特征值为正
- A A A的所有左上(或右下)子矩阵 A K , K = 1 , … , n A_K,K=1,…,n AK,K=1,…,n有正的行列式
问:有3个随机变量 x 、 y 、 z x、y、z x、y、z, x x x与 y y y的相关系数为 0.8 0.8 0.8, x x x与 z z z的相关系数为0.8, y y y与 z z z的相关系数最大值和最小值为多少?
**答:**利用相关性矩阵的半正定性
x 、 y 、 x x、y、x x、y、x的相关性矩阵 P = [ 1 0.8 0.8 0.8 1 ρ 0.8 ρ 1 ] P=\begin{bmatrix}1 & 0.8 & 0.8 \\ 0.8 & 1 & \rho \\ 0.8 & \rho & 1 \end{bmatrix} P= 10.80.80.81ρ0.8ρ1
det ( P ) = 1 × det ( [ 1 ρ ρ 1 ] ) − 0.8 × det ( [ 0.8 0.8 ρ 1 ] ) + 0.8 × det ( [ 0.8 0.8 1 ρ ] ) \det(P)=1\times\det\begin{pmatrix} \begin{bmatrix}1 & \rho \\ \rho & 1\\ \end{bmatrix} \end{pmatrix}-0.8\times\det\begin{pmatrix} \begin{bmatrix}0.8 & 0.8 \\ \rho & 1\\ \end{bmatrix} \end{pmatrix}+0.8\times\det\begin{pmatrix} \begin{bmatrix}0.8 & 0.8 \\ 1 & \rho\\ \end{bmatrix} \end{pmatrix} det(P)=1×det([1ρρ1])−0.8×det([0.8ρ0.81])+0.8×det([0.810.8ρ])
( 1 − ρ 2 ) − 0.8 × ( 0.8 − 0.8 ρ ) + 0.8 × ( 0.8 ρ − 0.8 ) = − 0.28 + 1.28 ρ − ρ 2 ⩾ 0 ⇒ 0.28 ⩽ ρ ⩽ 1 (1-\rho^2)-0.8\times(0.8-0.8\rho)+0.8\times(0.8\rho-0.8)=-0.28+1.28\rho-\rho^2\geqslant0 \Rightarrow 0.28\leqslant\rho\leqslant1 (1−ρ2)−0.8×(0.8−0.8ρ)+0.8×(0.8ρ−0.8)=−0.28+1.28ρ−ρ2⩾0⇒0.28⩽ρ⩽1
3.6.5 LU decomposition and Cholesky decomposition LU分解和Cholesky分解
LU分解: A n ∗ n A_{n*n} An∗n为非奇异矩阵,LU分解将 A A A分解为上三角矩阵和下三角矩阵: A = L U A = LU A=LU
- 求解 A x = b Ax = b Ax=b: L U x = b ⇒ U x = y , L y = b LUx=b \Rightarrow Ux=y,Ly=b LUx=b⇒Ux=y,Ly=b
- 计算 A A A的行列式: det ( A ) = det ( L ) det ( U ) = ∏ i = 1 n L i , i ∏ j = 1 n U j , j \det(A)=\det(L)\det(U)=\prod_{i=1}^{n}L_{i,i}\prod_{j=1}^{n}U_{j,j} det(A)=det(L)det(U)=∏i=1nLi,i∏j=1nUj,j
Cholesky分解: A n ∗ n A_{n*n} An∗n为对称正定矩阵,Cholesky分解将 A A A分解为 A = R T R A = R^TR A=RTR,其中 R R R是对角元素均为正的上三角矩阵,本质上是一个具有 L = U T L = U^T L=UT性质的LU分解。
- Cholesky分解在蒙特卡罗模拟中非常有用,可以生成相关的随机变量
**奇异值分解(SVD):**对于任何 X n ∗ p X_{n*p} Xn∗p,存在分解 X n ∗ p = U n ∗ p D p ∗ p V p ∗ p T X_{n*p}=U_{n*p}D_{p*p}V_{p*p}^T Xn∗p=Un∗pDp∗pVp∗pT,其中 U U U和 V V V分别为 n ∗ p n*p n∗p和 p ∗ p p*p p∗p的正交矩阵,其中 U U U的列张成 X X X的列空间, V V V的列张成 X X X的行空间,D为 p ∗ p p*p p∗p的对角矩阵,称为 X X X的奇异值。
问:如果你有一个标准正态分布的随机数生成器,如何生成两个服从标准正态分布 N ( 0 , 1 ) N(0,1) N(0,1)的随机变量,且协方差为 ρ \rho ρ?
**答:**独立的 N ( 0 , 1 ) N(0,1) N(0,1)随机变量 z 1 , z 2 z_1,z_2 z1,z2 → \rightarrow → 相关性为 ρ \rho ρ的 N ( 0 , 1 ) N(0,1) N(0,1)随机变量 z 1 , z 2 z_1,z_2 z1,z2
x 1 = z 1 x_1=z_1 x1=z1
x 1 = ρ z 1 + 1 − ρ 2 z 2 x_1=\rho z_1+\sqrt{1-\rho^2}z_2 x1=ρz1+1−ρ2z2
v a r ( x 1 ) = v a r ( z 1 ) = 1 , v a r ( x 2 ) = ρ 2 v a r ( z 1 ) + ( 1 − ρ 2 ) v a r ( z 2 ) = 1 var(x_1)=var(z_1)=1,var(x_2)=\rho^2var(z_1)+(1-\rho^2)var(z_2)=1 var(x1)=var(z1)=1,var(x2)=ρ2var(z1)+(1−ρ2)var(z2)=1
c o v ( x 1 , x 2 ) = c o v ( z 1 , ρ z 1 + 1 − ρ 2 z 2 ) = c o v ( z 1 , ρ z 1 ) = ρ cov(x_1,x_2)=cov(z_1,\rho z_1+\sqrt{1-\rho^2}z_2)=cov(z_1,\rho z_1)=\rho cov(x1,x2)=cov(z1,ρz1+1−ρ2z2)=cov(z1,ρz1)=ρ
n n n个独立的 N ( 0 , 1 ) N(0,1) N(0,1)随机变量 z 1 , z 2 , … , z n z_1,z_2,…,z_n z1,z2,…,zn,生成服从n维多元正态分布 X = [ X 1 , X 2 , … , X n ] T ∼ N ( μ , Σ ) X=[X_1,X_2,…,X_n]^T\sim N(\mu,\Sigma) X=[X1,X2,…,Xn]T∼N(μ,Σ)的相关随机变量(均值 μ = [ μ 1 , μ 2 , … , μ n ] T \mu=[\mu_1,\mu_2,…,\mu_n]^T μ=[μ1,μ2,…,μn]T,协方差矩阵 Σ n ∗ n \Sigma_{n*n} Σn∗n)
**Cholesky分解:**将 Σ n ∗ n \Sigma_{n*n} Σn∗n分解为 R T R R^TR RTR, Z = [ z 1 , z 2 , … , z n ] T Z=[z_1,z_2,…,z_n]^T Z=[z1,z2,…,zn]T, X = μ + R T Z X=\mu+R^TZ X=μ+RTZ
**奇异值分解:**对于正定协方差矩阵,有 V = U V = U V=U和 Σ = U D U T \Sigma = UDU^T Σ=UDUT。更进一步, D D D是特征值 λ 1 , λ 2 , … , λ n \lambda_1,\lambda_2,…,\lambda_n λ1,λ2,…,λn组成的对角矩阵, U U U是相应特征向量组成的矩阵。
令 D 1 / 2 D^{1/2} D1/2为对角元素为 λ 1 , λ 2 , … , λ n \sqrt{\lambda_1},\sqrt{\lambda_2},…,\sqrt{\lambda_n} λ1,λ2,…,λn的对焦矩阵,则 D = ( D 1 / 2 ) 2 = ( D 1 / 2 ) ( D 1 / 2 ) T D=(D^{1/2})^2=(D^{1/2})(D^{1/2})^T D=(D1/2)2=(D1/2)(D1/2)T
即 Σ = U D 1 / 2 ( U D 1 / 2 ) T \Sigma = UD^{1/2}(UD^{1/2})^T Σ=UD1/2(UD1/2)T, X = μ + ( U D 1 / 2 ) Z X=\mu+(UD^{1/2})Z X=μ+(UD1/2)Z