《量化绿皮书》Chapter 3 Calculus and Linear Algebra 微积分与线性代数(二)

news2025/2/11 22:02:40

《A Practical Guide To Quantitative Finance Interviews》,被称为量化绿皮书,是经典的量化求职刷题书籍之一,包含以下七章:

Chapter 1 General Principles 通用技巧

Chapter 2 Brain Teasers 脑筋急转弯

Chapter 3 Calculus and Linear Algebra 微积分与线性代数

Chapter 4 Probability Theory 概率论

Chapter 5 Stochastic Process and Stochastic Calculus 随机过程与随机微积分

Chapter 6 Finance 金融

Chapter 7 Algorithms and Numerical Methods 算法与数值方法


目录

文章目录

    • 3.5 Ordinary Differential Equations 常微分方程
      • 3.5.1 Separable differential equations 可分离变量的微分方程
      • 3.5.2 First-order linear differential equations 一阶线性微分方程
      • 3.5.3 Homogeneous linear equations 二阶齐次线性方程
      • 3.5.4 Nonhomogeneous linear equations 二阶非齐次线性方程
    • 3.6 Linear Algebra 线性代数
      • 3.6.1 Vectors 向量
      • 3.6.2 QR decomposition QR分解
      • 3.6.3 Determinant, eigenvalue and eigenvector 行列式,特征值和特征向量
      • 3.6.4 Positive semidefinite/definite matrix 半正定和正定矩阵
      • 3.6.5 LU decomposition and Cholesky decomposition LU分解和Cholesky分解

3.5 Ordinary Differential Equations 常微分方程

3.5.1 Separable differential equations 可分离变量的微分方程

d y d x = g ( x ) h ( y ) \frac{dy}{dx}=g(x)h(y) dxdy=g(x)h(y)

解:分离为 d y h ( y ) = g ( x ) d x \frac{dy}{h(y)}=g(x)dx h(y)dy=g(x)dx,解为 ∫ d y h ( y ) = ∫ g ( x ) d x \int\frac{dy}{h(y)}=\int g(x)dx h(y)dy=g(x)dx

问: y ′ + 6 x y = 0 , y ( 0 ) = 1 y'+6xy=0,y(0)=1 y+6xy=0,y(0)=1

**答:**分离为 d y y = − 6 x d x \frac{dy}{y}=-6xdx ydy=6xdx,解为 ln ⁡ y = − 3 x 2 + c \ln y=-3x^2+c lny=3x2+c

代入 y ( 0 ) = 1 y(0)=1 y(0)=1

∴ y = e − 3 x 2 \therefore y=e^{-3x^2} y=e3x2

问: y ′ = x − y x + y y'=\frac{x-y}{x+y} y=x+yxy

**答:**令 z = x + y z=x+y z=x+y

原方程变为 d ( z − x ) d x = x − ( z − x ) z \frac{d(z-x)}{dx}=\frac{x-(z-x)}{z} dxd(zx)=zx(zx),即 d z d x − 1 = 2 x z − 1 \frac{dz}{dx}-1=\frac{2x}{z}-1 dxdz1=z2x1

分离为 z d z = 2 x d x zdz=2xdx zdz=2xdx,解为 z 2 = 2 x 2 + c z^2=2x^2+c z2=2x2+c

代入 z = x + y z=x+y z=x+y

∴ y 2 + 2 x y − x 2 = c \therefore y^2+2xy-x^2=c y2+2xyx2=c

3.5.2 First-order linear differential equations 一阶线性微分方程

d y d x + P ( x ) y = Q ( x ) \frac{dy}{dx}+P(x)y=Q(x) dxdy+P(x)y=Q(x)

解:找到积分因子 I ( x ) = e ∫ P ( x ) d x I(x)=e^{\int P(x)dx} I(x)=eP(x)dx d I ( x ) d x = I ( x ) P ( x ) \frac{dI(x)}{dx}=I(x)P(x) dxdI(x)=I(x)P(x)),方程两边同乘积分因子:

I ( x ) ( y ′ + P ( x ) y ) = I ( x ) y ′ + I ( x ) P ( x ) y = ( I ( x ) y ) ′ = I ( x ) Q ( x ) I(x)(y'+P(x)y)=I(x)y'+I(x)P(x)y=(I(x)y)'=I(x)Q(x) I(x)(y+P(x)y)=I(x)y+I(x)P(x)y=(I(x)y)=I(x)Q(x)

⇒ I ( x ) y = ∫ I ( x ) Q ( x ) d x ⇒ y = ∫ I ( x ) Q ( x ) d x I ( x ) \Rightarrow I(x)y=\int I(x)Q(x)dx \Rightarrow y=\frac{\int I(x)Q(x)dx}{I(x)} I(x)y=I(x)Q(x)dxy=I(x)I(x)Q(x)dx

即公式为: y = e − ∫ P ( x ) d x ( ∫ e ∫ P ( x ) d x Q ( x ) d x + c ) y=e^{-\int P(x)dx}(\int e^{\int P(x)dx}Q(x)dx+c) y=eP(x)dx(eP(x)dxQ(x)dx+c)

伯努利方程: d y d x + P ( x ) y = Q ( x ) y n \frac{dy}{dx}+P(x)y=Q(x)y^n dxdy+P(x)y=Q(x)yn(可化为一阶线性微分方程)

y − n d y d x + P ( x ) y 1 − n = Q ( x ) y^{-n}\frac{dy}{dx}+P(x)y^{1-n}=Q(x) yndxdy+P(x)y1n=Q(x)

1 1 − n d y 1 − n d x + P ( x ) y 1 − n = Q ( x ) \frac{1}{1-n}\frac{dy^{1-n}}{dx}+P(x)y^{1-n}=Q(x) 1n1dxdy1n+P(x)y1n=Q(x)

y 1 − n = u y^{1-n}=u y1n=u,方程两边同乘 1 − n 1-n 1n

d u d x + ( 1 − n ) P ( x ) u = ( 1 − n ) Q ( x ) \frac{du}{dx}+(1-n)P(x)u=(1-n)Q(x) dxdu+(1n)P(x)u=(1n)Q(x)

d u d x + P ′ ( x ) u = Q ′ ( x ) \frac{du}{dx}+P'(x)u=Q'(x) dxdu+P(x)u=Q(x)

问: y ′ + y x = 1 x 2 , y ( 1 ) = 1 , x > 0 y'+\frac{y}{x}=\frac{1}{x^2},y(1)=1,x>0 y+xy=x21,y(1)=1,x>0

答: I ( x ) = e ∫ P ( x ) d x = e ln ⁡ x = x I(x)=e^{\int P(x)dx}=e^{\ln x}=x I(x)=eP(x)dx=elnx=x

y = ln ⁡ x + c x y=\frac{\ln x+c}{x} y=xlnx+c

代入 y ( 1 ) = 1 y(1)=1 y(1)=1

∴ y = ln ⁡ x + 1 x \therefore y=\frac{\ln x+1}{x} y=xlnx+1

3.5.3 Homogeneous linear equations 二阶齐次线性方程

a d 2 y d x 2 + b d y d x + c y = 0 a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+cy=0 adx2d2y+bdxdy+cy=0

解:特征方程 a r 2 + b r + c = 0 ar^2+br+c=0 ar2+br+c=0

  • 特征方程有两个不同的实数解 r 1 , r 2 r_1,r_2 r1,r2,方程通解 y = c 1 e r 1 x + c 2 e r 2 x y=c_1e^{r_1x}+c_2e^{r_2x} y=c1er1x+c2er2x
  • 特征方程有一个二重解 r 1 = r 2 = r r_1=r_2=r r1=r2=r,方程通解 y = c 1 e r x + c 2 x e r x y=c_1e^{rx}+c_2xe^{rx} y=c1erx+c2xerx
  • 特征方程有一对共轭复解 r = α ± i β r=\alpha \pm i\beta r=α±iβ,方程通解 y = e α x ( c 1 cos ⁡ β x + c 2 sin ⁡ β x ) y=e^{\alpha x}(c_1\cos \beta x+c_2\sin \beta x) y=eαx(c1cosβx+c2sinβx)

问: y ′ ′ + y ′ + y = 0 y''+y'+y=0 y′′+y+y=0

答: r 2 + r + 1 = 0 r^2+r+1=0 r2+r+1=0 r = − 1 / 2 ± 3 / 2 i r=-1/2 \pm \sqrt{3}/2i r=1/2±3 /2i

∴ y = e − 1 / 2 x ( c 1 cos ⁡ ( 3 / 2 x ) + c 2 sin ⁡ ( 3 / 2 x ) ) \therefore y=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x)) y=e1/2x(c1cos(3 /2x)+c2sin(3 /2x))

3.5.4 Nonhomogeneous linear equations 二阶非齐次线性方程

a d 2 y d x 2 + b d y d x + c y = d ( x ) a\frac{d^2y}{dx^2}+b\frac{dy}{dx}+cy=d(x) adx2d2y+bdxdy+cy=d(x)

解:找一个方程的非齐次特解,方程通解 y = y p ( x ) + y g ( x ) y=y_p(x)+y_g(x) y=yp(x)+yg(x),其中 y p ( x ) y_p(x) yp(x)为非齐次特解, y g ( x ) y_g(x) yg(x)为齐次通解

非齐次特解:

P m ( x ) 表示 x 最高次为 m 的多项式, Q m ( x ) 表示系数需要代回原方程确定的 x 最高次为 m 的多项式 P_m(x)表示x最高次为m的多项式,Q_m(x)表示系数需要代回原方程确定的x最高次为m的多项式 Pm(x)表示x最高次为m的多项式,Qm(x)表示系数需要代回原方程确定的x最高次为m的多项式

  • d ( x ) = P m ( x ) d(x)=P_m(x) d(x)=Pm(x)
    • 0 0 0不是方程的特征解,则有特解 y p ( x ) = Q m ( x ) y_p(x)=Q_m(x) yp(x)=Qm(x)
    • 0 0 0是方程的单特征解,则有特解 y p ( x ) = x Q m ( x ) y_p(x)=xQ_m(x) yp(x)=xQm(x)
    • 0 0 0是方程的二重特征解,则有特解 y p ( x ) = x 2 Q m ( x ) y_p(x)=x^2Q_m(x) yp(x)=x2Qm(x)
  • d ( x ) = e α x P m ( x ) d(x)=e^{\alpha x}P_m(x) d(x)=eαxPm(x)
    • α \alpha α不是方程的特征解,则有特解 y p ( x ) = e α x Q m ( x ) y_p(x)=e^{\alpha x}Q_m(x) yp(x)=eαxQm(x)
    • α \alpha α是方程的单特征解,则有特解 y p ( x ) = x e α x Q m ( x ) y_p(x)=xe^{\alpha x}Q_m(x) yp(x)=xeαxQm(x)
    • α \alpha α是方程的二重特征解,则有特解 y p ( x ) = x 2 e α x Q m ( x ) y_p(x)=x^2e^{\alpha x}Q_m(x) yp(x)=x2eαxQm(x)
  • d ( x ) = e α x ( a 1 cos ⁡ β x + a 2 sin ⁡ β x ) d(x)=e^{\alpha x}(a_1\cos \beta x+a_2\sin \beta x) d(x)=eαx(a1cosβx+a2sinβx)
    • α ± i β \alpha \pm i\beta α±iβ不是方程的特征解,则有特解 y p ( x ) = e α x ( A 1 cos ⁡ β x + A 2 sin ⁡ β x ) y_p(x)=e^{\alpha x}(A_1\cos \beta x+A_2\sin \beta x) yp(x)=eαx(A1cosβx+A2sinβx)
    • α ± i β \alpha \pm i\beta α±iβ是方程的特征解,则有特解 y p ( x ) = x e α x ( A 1 cos ⁡ β x + A 2 sin ⁡ β x ) y_p(x)=xe^{\alpha x}(A_1\cos \beta x+A_2\sin \beta x) yp(x)=xeαx(A1cosβx+A2sinβx)

问: y ′ ′ + y ′ + y = 1 y''+y'+y=1 y′′+y+y=1 y ′ ′ + y ′ + y = x y''+y'+y=x y′′+y+y=x

答: y g ( x ) = e − 1 / 2 x ( c 1 cos ⁡ ( 3 / 2 x ) + c 2 sin ⁡ ( 3 / 2 x ) ) y_g(x)=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x)) yg(x)=e1/2x(c1cos(3 /2x)+c2sin(3 /2x))

y ′ ′ + y ′ + y = 1 y''+y'+y=1 y′′+y+y=1

y p ( x ) = 1 y_p(x)=1 yp(x)=1

∴ y = e − 1 / 2 x ( c 1 cos ⁡ ( 3 / 2 x ) + c 2 sin ⁡ ( 3 / 2 x ) ) + 1 \therefore y=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x))+1 y=e1/2x(c1cos(3 /2x)+c2sin(3 /2x))+1

y ′ ′ + y ′ + y = x y''+y'+y=x y′′+y+y=x

y p ( x ) = x − 1 y_p(x)=x-1 yp(x)=x1

∴ y = e − 1 / 2 x ( c 1 cos ⁡ ( 3 / 2 x ) + c 2 sin ⁡ ( 3 / 2 x ) ) + x − 1 \therefore y=e^{-1/2x}(c_1\cos(\sqrt{3}/2x)+c_2\sin(\sqrt{3}/2x))+x-1 y=e1/2x(c1cos(3 /2x)+c2sin(3 /2x))+x1

3.6 Linear Algebra 线性代数

3.6.1 Vectors 向量

内积/点积: ∑ i = 1 n x i y i = x T y \sum_{i=1}^{n}x_iy_i=x^Ty i=1nxiyi=xTy

欧几里得范数(L2范数): ∣ ∣ x ∣ ∣ = ∑ i = 1 n x i 2 ||x||=\sqrt{\sum_{i=1}^{n}x_i^2} ∣∣x∣∣=i=1nxi2 ∣ ∣ x − y ∣ ∣ = ( x − y ) T ( x − y ) ||x-y||=\sqrt{(x-y)^T(x-y)} ∣∣xy∣∣=(xy)T(xy)

两个向量 x x x y y y的夹角 θ \theta θ cos ⁡ θ = x T y ∣ ∣ x ∣ ∣ ∣ ∣ y ∣ ∣ \cos \theta=\frac{x^Ty}{||x||||y||} cosθ=∣∣x∣∣∣∣y∣∣xTy

x T y = 0 x^Ty=0 xTy=0 x x x y y y正交

两个随机变量的相关系数可以看作是它们在欧氏空间中夹角的余弦值 ρ = cos ⁡ θ \rho = \cos\theta ρ=cosθ

问:有3个随机变量 x 、 y 、 z x、y、z xyz x x x y y y的相关系数为 0.8 0.8 0.8 x x x z z z的相关系数为0.8, y y y z z z的相关系数最大值和最小值为多少?

**答:**将随机变量看作向量, x x x y y y的夹角为 θ \theta θ cos ⁡ θ = 0.8 \cos \theta=0.8 cosθ=0.8 x x x z z z的夹角也为 θ \theta θ

  • y y y z z z的相关系数最大,即夹角最小: y y y z z z在同一方向,夹角为0,相关系数为 1 1 1
  • y y y z z z的相关系数最小,即夹角最大: y y y z z z的夹角为 2 θ 2\theta 2θ,相关系数为 ρ = cos ⁡ 2 θ = ( cos ⁡ θ ) 2 − ( sin ⁡ θ ) 2 = 0. 8 2 − 0. 6 2 = 0.28 \rho=\cos2\theta=(\cos\theta)^2-(\sin\theta)^2=0.8^2-0.6^2=0.28 ρ=cos2θ=(cosθ)2(sinθ)2=0.820.62=0.28

3.6.2 QR decomposition QR分解

**QR分解:**对于每一个 n n n阶非奇异矩阵 A n ∗ n A_{n*n} Ann,存在唯一的一对正交矩阵 Q n ∗ n Q_{n*n} Qnn和非奇异上三角矩阵 R n ∗ n R_{n*n} Rnn,使得 A = Q R A = QR A=QR

  • 写出矩阵 A A A的列向量组 ( a 1 , a 2 , … , a n ) (a_1,a_2,…,a_n) (a1,a2,,an)
  • 对列向量组进行施密特正交化得到正交向量组 ( b 1 , b 2 , … , b n ) (b_1,b_2,…,b_n) (b1,b2,,bn),再单位化得到单位正交向量组 ( q 1 , q 2 , … , q n ) (q_1,q_2,…,q_n) (q1,q2,,qn),构成正交矩阵 Q Q Q
    • b 1 = a 1 b_1=a_1 b1=a1
    • b 2 = a 2 − ( a 2 , b 1 ) ( b 1 , b 1 ) b 1 b_2=a_2-\frac{(a_2,b_1)}{(b_1,b_1)}b_1 b2=a2(b1,b1)(a2,b1)b1
    • b 3 = a 3 − ( a 3 , b 1 ) ( b 1 , b 1 ) b 1 − ( a 3 , b 2 ) ( b 2 , b 2 ) b 2 b_3=a_3-\frac{(a_3,b_1)}{(b_1,b_1)}b_1-\frac{(a_3,b_2)}{(b_2,b_2)}b_2 b3=a3(b1,b1)(a3,b1)b1(b2,b2)(a3,b2)b2
    • … …
  • 将矩阵 A A A的列向量组 ( a 1 , a 2 , … , a n ) (a_1,a_2,…,a_n) (a1,a2,,an)表示成正交向量组 ( q 1 , q 2 , … , q n ) (q_1,q_2,…,q_n) (q1,q2,,qn)的线性组合(使用施密特正交化的结果),系数矩阵即为 R R R

**QR分解常用于解决 A A A为非奇异矩阵的线性问题 A x = b Ax=b Ax=b:**因为 Q Q Q为正交矩阵, Q − 1 = Q T Q^{-1}=Q^T Q1=QT,所以 Q R x = b ⇒ R x = Q T b QRx=b \Rightarrow Rx=Q^Tb QRx=bRx=QTb;因为 R R R为上三角矩阵,可以从 x n x_n xn开始(方程简写为 R n , n x n = ( Q T b ) n ) R_{n,n}x_n = (Q^Tb)_n) Rn,nxn=(QTb)n),然后递归地计算所有的 x i x_i xi

问:设计一个算法进行线性最小二乘回归

答: y i = β 0 x i , 0 + β 1 x i , 1 + … + β p − 1 x i , p − 1 + ϵ i , ∀ i = 1 , … , n y_i=\beta_0x_{i,0}+\beta_1x_{i,1}+…+\beta_{p-1}x_{i,p-1}+\epsilon_i,\forall i=1,…,n yi=β0xi,0+β1xi,1++βp1xi,p1+ϵi,i=1,,n,其中 x i , 0 ≡ 0 , ∀ i x_{i,0}\equiv 0,\forall i xi,00,i为截距项, x i , 1 , … , x i , p − 1 x_{i,1},…,x_{i,p-1} xi,1,xi,p1 p − 1 p-1 p1个外生解释变量,共 n n n个样本,找到一组 β = [ β 0 , β 1 , … , β p − 1 ] T \beta=[\beta_0,\beta_1,…,\beta_{p-1}]^T β=[β0,β1,,βp1]T使 ∑ i = 1 n ϵ i 2 \sum_{i=1}^n\epsilon_i^2 i=1nϵi2最小

矩阵形式: Y n ∗ 1 = X n ∗ p β p ∗ 1 + ϵ n ∗ 1 Y_{n*1}=X_{n*p}\beta_{p*1}+\epsilon_{n*1} Yn1=Xnpβp1+ϵn1 min ⁡ β f ( β ) = min ⁡ β ∑ i = 1 n ϵ i 2 = min ⁡ β ( Y − X β ) T ( Y − X β ) \underset{\beta}\min f(\beta)=\underset{\beta}\min \sum_{i=1}^n\epsilon_i^2=\underset{\beta}\min (Y-X\beta)^T(Y-X\beta) βminf(β)=βmini=1nϵi2=βmin(Y)T(Y)

f ′ ( β ) = 2 X T ( Y − X β ^ ) = 0 ⇒ ( X T X ) β ^ = X T Y f'(\beta)=2X^T(Y-X\hat\beta)=0 \Rightarrow (X^TX)\hat\beta=X^TY f(β)=2XT(YXβ^)=0(XTX)β^=XTY

A = ( X T X ) , b = X T Y A=(X^TX),b=X^TY A=(XTX),b=XTY A β ^ = b A\hat\beta=b Aβ^=b,可以使用QR分解解决。

矩阵求导:

∂ a T x ∂ x = ∂ x T a ∂ x = a \frac{\partial a^Tx}{\partial x}=\frac{\partial x^Ta}{\partial x}=a xaTx=xxTa=a ∂ A x ∂ x = A \frac{\partial Ax}{\partial x}=A xAx=A ∂ x T A x ∂ x = ( A T + A ) x \frac{\partial x^TAx}{\partial x}=(A^T+A)x xxTAx=(AT+A)x ∂ 2 x r A x ∂ x ∂ x r = 2 A \frac{\partial^2 x^rAx}{\partial x\partial x^r}=2A xxr2xrAx=2A

∂ ( A x + b ) T C ( D x + e ) ∂ x = A T C ( D x + e ) + D T C T ( A x + b ) \frac{\partial (Ax+b)^TC(Dx+e)}{\partial x}=A^TC(Dx+e)+D^TC^T(Ax+b) x(Ax+b)TC(Dx+e)=ATC(Dx+e)+DTCT(Ax+b)

3.6.3 Determinant, eigenvalue and eigenvector 行列式,特征值和特征向量

**行列式:**矩阵 A n ∗ n A_{n*n} Ann的行列式 det ⁡ ( A ) \det (A) det(A)

  • 对角线法:将前 n − 1 n-1 n1列平移到行列式右侧,作出所有斜对角线,对角线上的元素相乘,左上至右下的为 + + +,右上至左下的为 − -
  • det ⁡ ( [ a b c d ] ) = a d − b c \det\begin{pmatrix} \begin{bmatrix}a & b \\ c & d\\ \end{bmatrix} \end{pmatrix}=ad-bc det([acbd])=adbc det ⁡ ( [ a b c d e f g h i ] ) = a e i + b f g + c d h − c e g − a f h − b d i \det\begin{pmatrix} \begin{bmatrix}a & b & c \\ d & e & f \\ g & h & i \end{bmatrix} \end{pmatrix}=aei+bfg+cdh-ceg-afh-bdi det adgbehcfi =aei+bfg+cdhcegafhbdi

行列式的性质: det ⁡ ( A T ) = det ⁡ ( A ) \det(A^T)=\det(A) det(AT)=det(A) det ⁡ ( A B ) = det ⁡ ( A ) det ⁡ ( B ) \det(AB)=\det(A)\det(B) det(AB)=det(A)det(B) det ⁡ ( A − 1 ) = 1 det ⁡ ( A ) \det(A^{-1})=\frac{1}{\det(A)} det(A1)=det(A)1

**特征值和特征向量:**对于矩阵 A n ∗ n A_{n*n} Ann,如果存在一个非零向量 x x x,使得 A x = λ x Ax=\lambda x Ax=λx,则实数 λ \lambda λ A A A的特征值,每一个满足这个方程的非零向量 x x x A A A关于特征值 λ \lambda λ的特征向量。

  • 特征多项式: A − λ I A-\lambda I AλI
  • 特征方程: det ⁡ ( A − λ I ) = 0 \det(A-\lambda I)=0 det(AλI)=0 A A A的特征值为特征方程的实根
  • 利用特征方程,还可得性质 λ 1 λ 2 … λ n = det ⁡ ( A ) \lambda_1\lambda_2…\lambda_n=\det(A) λ1λ2λn=det(A) ∑ i = 1 n λ i = t r a c e ( A ) = ∑ i = 1 n A i , i \sum_{i=1}^{n}\lambda_i=trace(A)=\sum_{i=1}^{n}A_{i,i} i=1nλi=trace(A)=i=1nAi,i

**可对角化矩阵:**有线性无关的特征向量

X = [ x 1 ∣ x 2 ∣ … ∣ x n ] X=[x_1|x_2|…|x_n] X=[x1x2xn]

X − 1 A X = [ λ 1 λ 2 … λ n ] = D ⇒ A = X D X − 1 ⇒ A k = X D k X − 1 X^{-1}AX=\begin{bmatrix}\lambda_1 \\ & \lambda_2\\ & & …\\ & & & \lambda_n\\ \end{bmatrix}=D \Rightarrow A=XDX^{-1} \Rightarrow A^k=XD^kX^{-1} X1AX= λ1λ2λn =DA=XDX1Ak=XDkX1

问: A = [ 2 1 1 2 ] A=\begin{bmatrix}2 & 1 \\ 1 & 2\\ \end{bmatrix} A=[2112]的特征值和特征向量

答:

  • 方法一:定义

A x = [ 2 1 1 2 ] [ x 1 x 2 ] = [ 2 x 1 + x 2 x 1 + 2 x 2 ] = λ x = [ λ x 1 λ x 2 ] Ax=\begin{bmatrix}2 & 1 \\ 1 & 2\\ \end{bmatrix}\begin{bmatrix}x_1 \\ x_2\\ \end{bmatrix}=\begin{bmatrix}2x_1+x_2 \\ x_1+2x_2\\ \end{bmatrix}=\lambda x=\begin{bmatrix}\lambda x_1 \\ \lambda x_2\\ \end{bmatrix} Ax=[2112][x1x2]=[2x1+x2x1+2x2]=λx=[λx1λx2]

{ 2 x 1 + x 2 = λ x 1 x 1 + 2 x 2 = λ x 2 ⇒ 3 ( x 1 + x 2 ) = λ ( x 1 + x 2 ) \left \{ \begin{array}{c} 2x_1+x_2=\lambda x_1 \\ x_1+2x_2=\lambda x_2 \end{array} \right. \Rightarrow 3(x_1+x_2)=\lambda(x_1+x_2) {2x1+x2=λx1x1+2x2=λx23(x1+x2)=λ(x1+x2)

λ = 3 \lambda=3 λ=3,代入方程得 x 1 = x 2 x_1=x_2 x1=x2,归一化特征向量 [ 1 / 2 1 / 2 ] \begin{bmatrix}1/\sqrt2 \\ 1/\sqrt2\\ \end{bmatrix} [1/2 1/2 ]

x 1 + x 2 = 0 x_1+x_2=0 x1+x2=0,归一化特征向量 [ 1 / 2 − 1 / 2 ] \begin{bmatrix}1/\sqrt2 \\ -1/\sqrt2\\ \end{bmatrix} [1/2 1/2 ],代入方程得 λ = 1 \lambda=1 λ=1

  • 方法二:特征方程

det ⁡ ( A − λ I ) = 0 ⇒ ( 2 − λ ) ( 2 − λ ) − 1 = 0 \det(A-\lambda I)=0 \Rightarrow (2-\lambda)(2-\lambda)-1=0 det(AλI)=0(2λ)(2λ)1=0,解得 λ 1 = 1 , λ 2 = 3 \lambda_1=1,\lambda_2=3 λ1=1,λ2=3,代入 A x = λ x Ax=\lambda x Ax=λx可得特征向量

  • 方法三:性质

λ 1 λ 2 … λ n = det ⁡ ( A ) \lambda_1\lambda_2…\lambda_n=\det(A) λ1λ2λn=det(A) ∑ i = 1 n λ i = t r a c e ( A ) = ∑ i = 1 n A i , i \sum_{i=1}^{n}\lambda_i=trace(A)=\sum_{i=1}^{n}A_{i,i} i=1nλi=trace(A)=i=1nAi,i

{ det ⁡ ( A ) = 2 ∗ 2 − 1 ∗ 1 = 3 = λ 1 ∗ λ 2 t r a c e ( A ) = 2 ∗ 2 = 4 = λ 1 + λ 2 ⇒ λ 1 = 1 , λ 2 = 3 \left \{ \begin{array}{c} \det(A)=2*2-1*1=3=\lambda_1*\lambda_2 \\ trace(A)=2*2=4=\lambda_1+\lambda_2 \end{array} \right. \Rightarrow \lambda_1=1,\lambda_2=3 {det(A)=2211=3=λ1λ2trace(A)=22=4=λ1+λ2λ1=1,λ2=3

代入 A x = λ x Ax=\lambda x Ax=λx可得特征向量

3.6.4 Positive semidefinite/definite matrix 半正定和正定矩阵

实对称矩阵 A n ∗ n A_{n*n} Ann半正定矩阵的充分必要条件:

  • 对任意向量 x x x x T A x ⩾ 0 x^TAx\geqslant0 xTAx0
  • A A A的所有特征值非负
  • A A A的所有左上(或右下)子矩阵 A K , K = 1 , … , n A_K,K=1,…,n AK,K=1,,n有非负行列式

实对称矩阵 A n ∗ n A_{n*n} Ann正定矩阵的充分必要条件:

  • 对任意非零向量 x x x x T A x ⩾ 0 x^TAx\geqslant0 xTAx0
  • A A A的所有特征值为正
  • A A A的所有左上(或右下)子矩阵 A K , K = 1 , … , n A_K,K=1,…,n AK,K=1,,n有正的行列式

问:有3个随机变量 x 、 y 、 z x、y、z xyz x x x y y y的相关系数为 0.8 0.8 0.8 x x x z z z的相关系数为0.8, y y y z z z的相关系数最大值和最小值为多少?

**答:**利用相关性矩阵的半正定性

x 、 y 、 x x、y、x xyx的相关性矩阵 P = [ 1 0.8 0.8 0.8 1 ρ 0.8 ρ 1 ] P=\begin{bmatrix}1 & 0.8 & 0.8 \\ 0.8 & 1 & \rho \\ 0.8 & \rho & 1 \end{bmatrix} P= 10.80.80.81ρ0.8ρ1

det ⁡ ( P ) = 1 × det ⁡ ( [ 1 ρ ρ 1 ] ) − 0.8 × det ⁡ ( [ 0.8 0.8 ρ 1 ] ) + 0.8 × det ⁡ ( [ 0.8 0.8 1 ρ ] ) \det(P)=1\times\det\begin{pmatrix} \begin{bmatrix}1 & \rho \\ \rho & 1\\ \end{bmatrix} \end{pmatrix}-0.8\times\det\begin{pmatrix} \begin{bmatrix}0.8 & 0.8 \\ \rho & 1\\ \end{bmatrix} \end{pmatrix}+0.8\times\det\begin{pmatrix} \begin{bmatrix}0.8 & 0.8 \\ 1 & \rho\\ \end{bmatrix} \end{pmatrix} det(P)=1×det([1ρρ1])0.8×det([0.8ρ0.81])+0.8×det([0.810.8ρ])

( 1 − ρ 2 ) − 0.8 × ( 0.8 − 0.8 ρ ) + 0.8 × ( 0.8 ρ − 0.8 ) = − 0.28 + 1.28 ρ − ρ 2 ⩾ 0 ⇒ 0.28 ⩽ ρ ⩽ 1 (1-\rho^2)-0.8\times(0.8-0.8\rho)+0.8\times(0.8\rho-0.8)=-0.28+1.28\rho-\rho^2\geqslant0 \Rightarrow 0.28\leqslant\rho\leqslant1 (1ρ2)0.8×(0.80.8ρ)+0.8×(0.8ρ0.8)=0.28+1.28ρρ200.28ρ1

3.6.5 LU decomposition and Cholesky decomposition LU分解和Cholesky分解

LU分解: A n ∗ n A_{n*n} Ann为非奇异矩阵,LU分解将 A A A分解为上三角矩阵和下三角矩阵: A = L U A = LU A=LU

  • 求解 A x = b Ax = b Ax=b L U x = b ⇒ U x = y , L y = b LUx=b \Rightarrow Ux=y,Ly=b LUx=bUx=y,Ly=b
  • 计算 A A A的行列式: det ⁡ ( A ) = det ⁡ ( L ) det ⁡ ( U ) = ∏ i = 1 n L i , i ∏ j = 1 n U j , j \det(A)=\det(L)\det(U)=\prod_{i=1}^{n}L_{i,i}\prod_{j=1}^{n}U_{j,j} det(A)=det(L)det(U)=i=1nLi,ij=1nUj,j

Cholesky分解: A n ∗ n A_{n*n} Ann为对称正定矩阵,Cholesky分解将 A A A分解为 A = R T R A = R^TR A=RTR,其中 R R R是对角元素均为正的上三角矩阵,本质上是一个具有 L = U T L = U^T L=UT性质的LU分解。

  • Cholesky分解在蒙特卡罗模拟中非常有用,可以生成相关的随机变量

**奇异值分解(SVD):**对于任何 X n ∗ p X_{n*p} Xnp,存在分解 X n ∗ p = U n ∗ p D p ∗ p V p ∗ p T X_{n*p}=U_{n*p}D_{p*p}V_{p*p}^T Xnp=UnpDppVppT,其中 U U U V V V分别为 n ∗ p n*p np p ∗ p p*p pp的正交矩阵,其中 U U U的列张成 X X X的列空间, V V V的列张成 X X X的行空间,D为 p ∗ p p*p pp的对角矩阵,称为 X X X的奇异值。

问:如果你有一个标准正态分布的随机数生成器,如何生成两个服从标准正态分布 N ( 0 , 1 ) N(0,1) N(0,1)的随机变量,且协方差为 ρ \rho ρ?

**答:**独立的 N ( 0 , 1 ) N(0,1) N(0,1)随机变量 z 1 , z 2 z_1,z_2 z1,z2 → \rightarrow 相关性为 ρ \rho ρ N ( 0 , 1 ) N(0,1) N(0,1)随机变量 z 1 , z 2 z_1,z_2 z1,z2

x 1 = z 1 x_1=z_1 x1=z1

x 1 = ρ z 1 + 1 − ρ 2 z 2 x_1=\rho z_1+\sqrt{1-\rho^2}z_2 x1=ρz1+1ρ2 z2

v a r ( x 1 ) = v a r ( z 1 ) = 1 , v a r ( x 2 ) = ρ 2 v a r ( z 1 ) + ( 1 − ρ 2 ) v a r ( z 2 ) = 1 var(x_1)=var(z_1)=1,var(x_2)=\rho^2var(z_1)+(1-\rho^2)var(z_2)=1 var(x1)=var(z1)=1,var(x2)=ρ2var(z1)+(1ρ2)var(z2)=1

c o v ( x 1 , x 2 ) = c o v ( z 1 , ρ z 1 + 1 − ρ 2 z 2 ) = c o v ( z 1 , ρ z 1 ) = ρ cov(x_1,x_2)=cov(z_1,\rho z_1+\sqrt{1-\rho^2}z_2)=cov(z_1,\rho z_1)=\rho cov(x1,x2)=cov(z1,ρz1+1ρ2 z2)=cov(z1,ρz1)=ρ

n n n个独立的 N ( 0 , 1 ) N(0,1) N(0,1)随机变量 z 1 , z 2 , … , z n z_1,z_2,…,z_n z1,z2,,zn,生成服从n维多元正态分布 X = [ X 1 , X 2 , … , X n ] T ∼ N ( μ , Σ ) X=[X_1,X_2,…,X_n]^T\sim N(\mu,\Sigma) X=[X1,X2,,Xn]TN(μ,Σ)的相关随机变量(均值 μ = [ μ 1 , μ 2 , … , μ n ] T \mu=[\mu_1,\mu_2,…,\mu_n]^T μ=[μ1,μ2,,μn]T,协方差矩阵 Σ n ∗ n \Sigma_{n*n} Σnn

**Cholesky分解:**将 Σ n ∗ n \Sigma_{n*n} Σnn分解为 R T R R^TR RTR Z = [ z 1 , z 2 , … , z n ] T Z=[z_1,z_2,…,z_n]^T Z=[z1,z2,,zn]T X = μ + R T Z X=\mu+R^TZ X=μ+RTZ

**奇异值分解:**对于正定协方差矩阵,有 V = U V = U V=U Σ = U D U T \Sigma = UDU^T Σ=UDUT。更进一步, D D D是特征值 λ 1 , λ 2 , … , λ n \lambda_1,\lambda_2,…,\lambda_n λ1,λ2,,λn组成的对角矩阵, U U U是相应特征向量组成的矩阵。

D 1 / 2 D^{1/2} D1/2为对角元素为 λ 1 , λ 2 , … , λ n \sqrt{\lambda_1},\sqrt{\lambda_2},…,\sqrt{\lambda_n} λ1 ,λ2 ,,λn 的对焦矩阵,则 D = ( D 1 / 2 ) 2 = ( D 1 / 2 ) ( D 1 / 2 ) T D=(D^{1/2})^2=(D^{1/2})(D^{1/2})^T D=(D1/2)2=(D1/2)(D1/2)T

Σ = U D 1 / 2 ( U D 1 / 2 ) T \Sigma = UD^{1/2}(UD^{1/2})^T Σ=UD1/2(UD1/2)T X = μ + ( U D 1 / 2 ) Z X=\mu+(UD^{1/2})Z X=μ+(UD1/2)Z

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2296525.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

网络安全溯源 思路 网络安全原理

网络安全背景 网络就是实现不同主机之间的通讯。网络出现之初利用TCP/IP协议簇的相关协议概念,已经满足了互连两台主机之间可以进行通讯的目的,虽然看似简简单单几句话,就描述了网络概念与网络出现的目的,但是为了真正实现两台主机…

BS架构(笔记整理)

楔子.基本概念 1.在网络架构中: 服务器通常是集中式计算资源,负责处理和存储数据;客户机是请求这些服务的终端设备,可能是个人电脑或移动设备;浏览器则是客户机上用来与服务器交互的工具,负责展示网页内容…

06排序 + 查找(D2_查找(D2_刷题练习))

目录 1. 二分查找-I 1.1 题目描述 1.2 解题思路 方法:二分法(推荐使用) 2. 二维数组中的查找 2.1 题目描述 2.2 解题思路 方法一:二分查找(推荐使用) 3. 寻找峰值 3.1 题目描述 3.2 解题思路 方…

C++ 设计模式 - 访问者模式

一:概述 访问者模式将作用于对象层次结构的操作封装为一个对象,并使其能够在不修改对象层次结构的情况下定义新的操作。 《设计模式:可复用面向对象软件的基础》一书中的访问者模式因两个原因而具有传奇色彩:一是因为它的复杂性&a…

海云安开发者智能助手(D10)全面接入DeepSeek,赋能开发者安全高效编码新范式

海云安正式宣布完成与DeepSeek(深度求索)的深度技术融合,旗下核心产品D10开发者智能助手全面接入DeepSeek R1模型。此次合作标志着海云安在"AI驱动开发安全"领域实现重要突破。数据显示,通过DeepSeek R1模型的优化与蒸馏…

分布式id探索

一、为什么要使用分布式id? 随着数据量增加,数据需要进行水平拆分,但表自增id无法满足唯一性; 二、分布式id的特点 1唯一性 2 趋势递增、单调递增(数据库中存放的数据结构数据从小到大有序排列)&#xff0…

【Linux系统】—— 简易进度条的实现

【Linux系统】—— 简易进度条的实现 1 回车和换行2 缓冲区3 进度条的准备代码4 第一版进度条5 第二版进度条 1 回车和换行 先问大家一个问题:回车换行是什么,或者说回车和换行是同一个概念吗?   可能大家对回车换行有一定的误解&#xff0…

一文学会:用DeepSeek R1/V3 + AnythingLLM + Ollama 打造本地化部署的个人/企业知识库,无须担心数据上传云端的泄露问题

文章目录 前言一、AnythingLLM 简介&基础应用1.主要特性2.下载与安装3.配置 LLM 提供商4.AnythingLLM 工作区&对话 二、AnythingLLM 进阶应用:知识增强使用三、AnythingLLM 的 API 访问四、小结1.聊天模式2.本地存储&向量数据库 前言 如果你不知道Olla…

开源身份和访问管理方案之keycloak(一)快速入门

文章目录 什么是IAM什么是keycloakKeycloak 的功能 核心概念client管理 OpenID Connect 客户端 Client Scoperealm roleAssigning role mappings分配角色映射Using default roles使用默认角色Role scope mappings角色范围映射 UsersGroupssessionsEventsKeycloak Policy创建策略…

C++STL(六)——list模拟

目录 本次所需实现的三个类一、结点类的模拟实现构造函数 二、迭代器类的模拟实现为什么有迭代器类迭代器类的模板参数说明构造函数运算符的重载- -运算符的重载和!运算符的重载*运算符的重载->运算符的重载引入模板第二个和第三个参数 三、list的模拟实现3.1 默认成员函数构…

HTML5--网页前端编程(下)

HTML5–网页前端编程(下) 9.常用标签下 (1)表格标签 用来展示数据,显示数据,规整条理,可读性好 基本语法 <table><tr> <td>单元格内的文字</td> <td>单元格内的文字</td>… </tr> <tr> <td>单元格内的文字&l…

Git 分布式版本控制工具使用教程

1.关于Git 1.1 什么是Git Git是一款免费、开源的分布式版本控制工具&#xff0c;由Linux创始人Linus Torvalds于2005年开发。它被设计用来处理从很小到非常大的项目&#xff0c;速度和效率都非常高。Git允许多个开发者几乎同时处理同一个项目而不会互相干扰&#xff0c;并且在…

linux部署ollama+deepseek+dify

Ollama 下载源码 curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz sudo tar -C /usr -xzf ollama-linux-amd64.tgz启动 export OLLAMA_HOST0.0.0.0:11434 ollama serve访问ip:11434看到即成功 Ollama is running 手动安装deepseek…

torch_bmm验算及代码测试

文章目录 1. torch_bmm2. pytorch源码 1. torch_bmm torch.bmm的作用是基于batch_size的矩阵乘法,torch.bmm的作用是对应batch位置的矩阵相乘&#xff0c;比如&#xff0c; mat1的第1个位置和mat2的第1个位置进行矩阵相乘得到mat3的第1个位置mat1的第2个位置和mat2的第2个位置…

CTFHub-RCE系列wp

目录标题 引言什么是RCE漏洞 eval执行文件包含文件包含php://input读取源代码远程包含 命令注入无过滤过滤cat过滤空格过滤目录分隔符过滤运算符综合过滤练习 引言 题目共有如下类型 什么是RCE漏洞 RCE漏洞&#xff0c;全称是Remote Code Execution漏洞&#xff0c;翻译成中文…

从大规模恶意攻击 DeepSeek 事件看 AI 创新隐忧:安全可观测体系建设刻不容缓

作者&#xff1a;羿莉&#xff08;萧羿&#xff09; 全球出圈的中国大模型 DeepSeek 作为一款革命性的大型语言模型&#xff0c;以其卓越的自然语言处理能力和创新性成本控制引领行业前沿。该模型不仅在性能上媲美 OpenAI-o1&#xff0c;而且在推理模型的成本优化上实现了突破…

【学习笔记】企业数字化转型顶层设计与企业架构TOGAF9.2-第0章 导论

数据要素资产化迈入关键发展期 围绕发挥数据要素乘数作用&#xff0c;研究实施“数据要素x”行动:从供需两端发力&#xff0c;在智能制造、商贸流通、交通物流、金融服务、医疗健康等若干重点领域&#xff0c;加强场景需求牵引&#xff0c;打通流通障碍、提升供给质量&#xf…

SpringCloud - Sentinel服务保护

前言 该博客为Sentinel学习笔记&#xff0c;主要目的是为了帮助后期快速复习使用 学习视频&#xff1a;7小快速通关SpringCloud 辅助文档&#xff1a;SpringCloud快速通关 源码地址&#xff1a;cloud-demo 一、简介 官网&#xff1a;https://sentinelguard.io/zh-cn/index.h…

单片机上SPI和IIC的区别

SPI&#xff08;Serial Peripheral Interface&#xff09;和IC&#xff08;Inter-Integrated Circuit&#xff09;是两种常用的嵌入式外设通信协议&#xff0c;它们各有优缺点&#xff0c;适用于不同的场景。以下是它们的详细对比&#xff1a; — 1. 基本概念 SPI&#xff0…

03-DevOps-安装并初始化Gitlab

Gitlab可以理解为是自己搭建的GitHub&#xff0c;也就是自己的代码仓库。 开启macvlan 在192.168.1.10服务器上&#xff0c;构建Macvlan网络&#xff0c;这种网络模式可以为每个容器独立分配ip。 docker network create -d macvlan \--subnet192.168.1.0/24 \--ip-range192.16…