线性代数|机器学习-P16矩阵A的导数

news2024/12/24 9:55:49

1. 概述

这节课的主题是定义矩阵A是关于时间t的 A ( t ) A(t) A(t),在已知 d A ( t ) d t \frac{\mathrm{d}A(t)}{\mathrm{d}t} dtdA(t)的情况下,求解 d A − 1 ( t ) d t , d λ ( t ) d t , d σ ( t ) d t \frac{\mathrm{d}A^{-1}(t)}{\mathrm{d}t},\frac{\mathrm{d}\lambda(t)}{\mathrm{d}t},\frac{\mathrm{d}\sigma(t)}{\mathrm{d}t} dtdA1(t),dtdλ(t),dtdσ(t)
d A ( t ) d t → d A − 1 ( t ) d t , d λ ( t ) d t , d σ ( t ) d t \begin{equation} \frac{\mathrm{d}A(t)}{\mathrm{d}t}\rightarrow \frac{\mathrm{d}A^{-1}(t)}{\mathrm{d}t},\frac{\mathrm{d}\lambda(t)}{\mathrm{d}t},\frac{\mathrm{d}\sigma(t)}{\mathrm{d}t} \end{equation} dtdA(t)dtdA1(t),dtdλ(t),dtdσ(t)

2. 求 d A − 1 ( t ) d t \frac{\mathrm{d}A^{-1}(t)}{\mathrm{d}t} dtdA1(t)

关于矩阵 A − 1 , B − 1 A^{-1},B^{-1} A1,B1,可以得到如下公式:
B − 1 − A − 1 = B − 1 ( A − B ) A − 1 \begin{equation} B^{-1}-A^{-1}=B^{-1}(A-B)A^{-1} \end{equation} B1A1=B1(AB)A1

  • 我们定义 B = A + Δ A B=A+\Delta A B=A+ΔA,则上述公式变换如下:
    Δ A − 1 = ( A + Δ A ) − 1 ( − Δ A ) A − 1 \begin{equation} \Delta A^{-1}=(A+\Delta A)^{-1}(-\Delta A)A^{-1} \end{equation} ΔA1=(A+ΔA)1(ΔA)A1
  • Δ A → 0 \Delta A \rightarrow 0 ΔA0时, ( A + Δ A ) − 1 = A − 1 (A+\Delta A)^{-1}=A^{-1} (A+ΔA)1=A1,两边同时除以 Δ t \Delta t Δt,则公式整理可得:
    Δ A − 1 Δ t = − A − 1 ( Δ A ) Δ t A − 1 \begin{equation} \frac{\Delta A^{-1}}{\Delta t}=-A^{-1}\frac{(\Delta A)}{\Delta t}A^{-1} \end{equation} ΔtΔA1=A1Δt(ΔA)A1
  • 则可得如下:
    d A − 1 d t = − A − 1 d A d t A − 1 \begin{equation} \frac{\mathrm d A^{-1}}{\mathrm d t}=-A^{-1}\frac{\mathrm d A}{\mathrm d t}A^{-1} \end{equation} dtdA1=A1dtdAA1

3. 求 d λ ( t ) d t \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t} dtdλ(t)

3.1 A 和 A T A^T AT有相同的特征值

求解特征值方程如下,将等式转置可得:
∣ A − λ I ∣ = 0 → ∣ A T − λ I T ∣ = ∣ A T − λ I ∣ = ∣ A − λ I ∣ \begin{equation} |A-\lambda I|=0\rightarrow |A^T-\lambda I^T|=|A^T-\lambda I|=|A-\lambda I| \end{equation} AλI=0ATλIT=ATλI=AλI
所以可得A与 A T A^T AT有相同的特征值,我们定义矩阵A的特征值为 λ \lambda λ时的特征向量为x, A x = λ x Ax=\lambda x Ax=λx,矩阵 A T A^T AT的特征值为 μ \mu μ时的特征向量为y , A T y = μ y A^Ty=\mu y ATy=μy
A x = λ x , A T y = μ y → y T A = μ y T \begin{equation} Ax=\lambda x,A^Ty=\mu y\rightarrow y^TA=\mu y^T \end{equation} Ax=λx,ATy=μyyTA=μyT

  • 等式乘以 y T y^T yT可得:
    y T A x = λ y T x → μ y T x = λ y T x → ( μ − λ ) y T x = 0 \begin{equation} y^TAx=\lambda y^Tx\rightarrow\mu y^Tx=\lambda y^Tx\rightarrow (\mu-\lambda)y^Tx=0 \end{equation} yTAx=λyTxμyTx=λyTx(μλ)yTx=0
  • 为了保证上式对于任意 μ − λ \mu-\lambda μλ成立,只能得到如下
    μ ≠ λ → y T x = 0 \begin{equation} \mu\neq \lambda\rightarrow y^Tx=0 \end{equation} μ=λyTx=0
  • 那当 μ = λ \mu=\lambda μ=λ时, y T x = ? ? ? y^Tx=??? yTx=???呢?

3.2 特征向量单位化

我们知道,对于矩阵A来说,我们能够得到如下公式
A [ x 1 x 2 ⋯ x n ] = [ x 1 x 2 ⋯ x n ] [ λ 1 λ 2 ⋱ λ n ] → A = X Λ X − 1 \begin{equation} A\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}=\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}\begin{bmatrix}\lambda_1\\\\&\lambda_2\\\\&&\ddots\\\\&&&\lambda_n\end{bmatrix}\rightarrow A=X\Lambda X^{-1} \end{equation} A[x1x2xn]=[x1x2xn] λ1λ2λn A=XΛX1

  • 那么我们可得 A 2 A^2 A2为:
    A 2 = X Λ X − 1 X Λ X − 1 \begin{equation} A^2=X\Lambda X^{-1}X\Lambda X^{-1} \end{equation} A2=XΛX1XΛX1
  • 如果X列向量不单位化,假设 x i T x i = c i x_i^Tx_i=c_i xiTxi=ci,那么可得:
    X T X = [ x 1 T x 2 T ⋮ x n T ] [ x 1 x 2 ⋯ x n ] = [ c 1 c 2 ⋱ c n ] \begin{equation} X^TX=\begin{bmatrix}x_1^T\\\\x_2^T\\\\\vdots\\\\x_n^T\end{bmatrix}\begin{bmatrix}x_1&x_2&\cdots&x_n\end{bmatrix}=\begin{bmatrix}c_1\\\\&c_2\\\\&&\ddots\\\\&&&c_n\end{bmatrix} \end{equation} XTX= x1Tx2TxnT [x1x2xn]= c1c2cn
  • 那么这样在求 A 2 A^2 A2时,就无法得到如下:
    A 2 ≠ X Λ 2 X − 1 \begin{equation} A^2\neq X\Lambda^2 X^{-1} \end{equation} A2=XΛ2X1
  • 所以为了能够方便计算,我们一般会单位化向量 x i x_i xi,得到如下:
    X T X = I , X − 1 = X T , x T x = 1 , A = X Λ X T , A x = λ x \begin{equation} X^TX=I,X^{-1}=X^T,x^Tx=1,A=X\Lambda X^T,Ax=\lambda x \end{equation} XTX=I,X1=XT,xTx=1,A=XΛXT,Ax=λx
  • 同理可得关于 A T A^T AT表示如下:
    y T A = λ y T , A = Y Λ Y T \begin{equation} y^TA=\lambda y^T,A=Y\Lambda Y^T \end{equation} yTA=λyT,A=YΛYT
  • 那么 A 2 A^2 A2 可得如下:
    A 2 = X Λ X T Y Λ Y T \begin{equation} A^2=X\Lambda X^TY\Lambda Y^T \end{equation} A2=XΛXTYΛYT
  • 为了要得到 A 2 = X Λ 2 Y T A^2=X\Lambda^2 Y^T A2=XΛ2YT,我们希望得到 X T Y = I X^TY=I XTY=I
    X T Y = Y T X = I \begin{equation} X^TY=Y^TX=I \end{equation} XTY=YTX=I
  • 可得如下:
    μ = λ → y T x = 1 , μ ≠ λ → y T x = 0 \begin{equation} \mu=\lambda\rightarrow y^Tx=1,\mu\ne\lambda\rightarrow y^Tx=0 \end{equation} μ=λyTx=1,μ=λyTx=0

3.3 求 λ ( t ) \lambda(t) λ(t)

关于矩阵A可得如下:
A ( t ) x ( t ) = λ ( t ) x ( t ) , y T ( t ) A ( t ) = λ ( t ) y T ( t ) , y T ( t ) x ( t ) = 1 \begin{equation} A(t)x(t)=\lambda(t)x(t),y^T(t)A(t)=\lambda(t)y^T(t),y^T(t)x(t)=1 \end{equation} A(t)x(t)=λ(t)x(t),yT(t)A(t)=λ(t)yT(t),yT(t)x(t)=1

  • 等式两边乘以 y T ( t ) y^T(t) yT(t)可得:
    y T ( t ) A ( t ) x ( t ) = λ ( t ) y T ( t ) x ( t ) = λ ( t ) \begin{equation} y^T(t)A(t)x(t)=\lambda(t)y^T(t)x(t)=\lambda(t) \end{equation} yT(t)A(t)x(t)=λ(t)yT(t)x(t)=λ(t)
  • 整理可得如下:
    λ ( t ) = y T ( t ) A ( t ) x ( t ) \begin{equation} \lambda(t)=y^T(t)A(t)x(t) \end{equation} λ(t)=yT(t)A(t)x(t)
  • 两边关于t求导可得:
    d λ ( t ) d t = d y T ( t ) d t A ( t ) x ( t ) + y T ( t ) d A ( t ) d t x ( t ) + y T ( t ) A ( t ) d x ( t ) d t \begin{equation} \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t}=\frac{\mathrm{d}y^T(t)}{\mathrm{d}t}A(t)x(t)+y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t)+y^T(t)A(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t} \end{equation} dtdλ(t)=dtdyT(t)A(t)x(t)+yT(t)dtdA(t)x(t)+yT(t)A(t)dtdx(t)
  • 由公式可得 A ( t ) x ( t ) = λ ( t ) x ( t ) , y T ( t ) A ( t ) = λ ( t ) y T ( t ) A(t)x(t)=\lambda(t)x(t),y^T(t)A(t)=\lambda(t)y^T(t) A(t)x(t)=λ(t)x(t),yT(t)A(t)=λ(t)yT(t)整理后可得:
    d λ ( t ) d t = d y T ( t ) d t λ ( t ) x ( t ) + y T ( t ) d A ( t ) d t x ( t ) + λ ( t ) y T ( t ) d x ( t ) d t \begin{equation} \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t}=\frac{\mathrm{d}y^T(t)}{\mathrm{d}t}\lambda(t)x(t)+y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t)+\lambda(t)y^T(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t} \end{equation} dtdλ(t)=dtdyT(t)λ(t)x(t)+yT(t)dtdA(t)x(t)+λ(t)yT(t)dtdx(t)
  • 第1,3项合并整理可得:
    d λ ( t ) d t = λ ( t ) [ d y T ( t ) d t x ( t ) + y T ( t ) d x ( t ) d t ] + y T ( t ) d A ( t ) d t x ( t ) \begin{equation} \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t}=\lambda(t)[\frac{\mathrm{d}y^T(t)}{\mathrm{d}t}x(t)+y^T(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t}]+y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t) \end{equation} dtdλ(t)=λ(t)[dtdyT(t)x(t)+yT(t)dtdx(t)]+yT(t)dtdA(t)x(t)
  • 我们知道 y T ( t ) x ( t ) = 1 y^T(t)x(t)=1 yT(t)x(t)=1,两边求导可得:
    d y T ( t ) d t x ( t ) + y T ( t ) d x ( t ) d t = 0 \begin{equation} \frac{\mathrm{d}y^T(t)}{\mathrm{d}t}x(t)+y^T(t)\frac{\mathrm{d}x(t)}{\mathrm{d}t}=0 \end{equation} dtdyT(t)x(t)+yT(t)dtdx(t)=0
  • 代入后可得:
    d λ ( t ) d t = y T ( t ) d A ( t ) d t x ( t ) \begin{equation} \frac{\mathrm{d}\lambda(t)}{\mathrm{d}t}=y^T(t)\frac{\mathrm{d}A(t)}{\mathrm{d}t}x(t) \end{equation} dtdλ(t)=yT(t)dtdA(t)x(t)

4. 交替特征值

4.1 证明

假设我们有一个对称矩阵S,还有一个在矩阵S的基础上加秩为1的矩阵 S 1 S_1 S1,我们定义矩阵 S 1 S_1 S1的特征值为 λ \lambda λ,矩阵S的特征值为 γ \gamma γ,定义 q 2 q_2 q2为矩阵S第二个特征值 γ 2 \gamma_2 γ2对应的特征向量,c为任意实数,表示如下:
S x = γ x , S 1 x = λ x , S 1 = S + c q 2 q 2 T \begin{equation} Sx=\gamma x,S_1x=\lambda x,S_1=S+cq_2q_2^T \end{equation} Sx=γx,S1x=λx,S1=S+cq2q2T

  • 等式两边乘以 q 1 q_1 q1可得:
    S 1 q 1 = S q 1 + c q 2 q 2 T q 1 → S 1 q 1 = γ 1 q 1 → γ 1 = λ 1 \begin{equation} S_1q_1=Sq_1+cq_2q_2^Tq_1\rightarrow S_1q_1=\gamma_1q_1\rightarrow \gamma_1=\lambda_1 \end{equation} S1q1=Sq1+cq2q2Tq1S1q1=γ1q1γ1=λ1
    S 1 q 2 = S q 2 + c q 2 q 2 T q 2 → S 1 q 2 = ( γ 2 + c ) q 1 → γ 2 + c = λ 2 \begin{equation} S_1q_2=Sq_2+cq_2q_2^Tq_2\rightarrow S_1q_2=(\gamma_2+c)q_1\rightarrow \gamma_2+c=\lambda_2 \end{equation} S1q2=Sq2+cq2q2Tq2S1q2=(γ2+c)q1γ2+c=λ2
  • 于是我们得到如下特征值关系:
    在这里插入图片描述
  • 小结:可以看出,矩阵S在增加秩为1的矩阵后成为 S 1 S_1 S1, S 1 S_1 S1和S特征值交替插入。

4.2 迭代交替特征值应用

对于一个矩阵S来说,我们可以分解如下:
S n = S n − 1 + u i u i T \begin{equation} S_{n}=S_{n-1}+u_iu_i^T \end{equation} Sn=Sn1+uiuiT
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1868753.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

手持小风扇哪个牌子比较好?五大手持小风扇品牌推荐

随着夏季的到来,气温日益升高。除了空调,各式各样的小风扇成为当下年轻人的热门宠儿。但是市面上的种类比较多,很多人都不知道该怎么选择,因为我也是买过很多产品了,收获了一些经验,接下来就把我觉得比较好…

大模型们拿着锤子找钉钉

今年的大模型赛道,看不见硝烟,却是一个白热化的战场。 这背后是对更大场景、更大规模用户入口和先发优势的争夺。在AGI尚未到来的当下,行业有一个共识:真实场景中的大规模应用,是大模型价值验证和通往AGI的必由之路。…

WPS-Word文档表格分页

一、问题描述 这种情况不好描述 就是像这种表格内容,但是会有离奇的分页的情况。这种情况以前的错误解决办法就是不断地调整表格的内容以及间隔显得很乱,于是今天去查了解决办法,现在学会了记录一下避免以后忘记了。 二、解决办法 首先记…

一键系统重装教程:电脑重装系统,5个方法轻松恢复电脑

在日常使用电脑的过程中,难免会遇到系统故障、运行缓慢或者病毒感染等问题,重装系统成为解决这些问题的有效途径。然而,对于许多小伙伴来说,电脑重装系统似乎是一项复杂且耗时的任务。其实,只要掌握了正确的方法&#…

什么是港股通?港股通碎股如何进行交易佣金最低万0.8?

港股通是一种投资渠道,它允许符合条件的内地投资者通过内地的证券账户,间接地买卖在香港联合交易所上市的股票。这一机制是沪港通和深港通计划的一部分,旨在促进内地与香港资本市场的互联互通。 ### 港股通的特点包括: - 交易范…

AI大模型会有意识的出千吗?

1. 引言 1.1 研究背景,AI系统中的规范游戏问题 在人工智能(AI)系统的发展过程中,规范游戏(specification gaming)一直是一个令研究者们头疼的问题。规范游戏指的是AI系统学习到一些意想不到的行为,这些行为虽然能够获得高奖励,但…

上班族真的有必要买智能猫砂盆吗?解放双手刻不容缓!

养猫家庭真是出不了一点远门,但凡外出的时间久了,家里的猫屎就堆积成山,不及时铲掉的话,回来一进门就能在猫砂盆中挖出满满当当的“宝藏”,仔细一闻还能闻到空气中散发的阵阵“清香”。忍无可忍的我最后借助科技的力量…

浅谈逻辑控制器之随机控制器

浅谈逻辑控制器之随机控制器 随机控制器(Random Controller)是众多逻辑控制器中的一种,它为测试脚本引入了随机性,提高了模拟真实用户行为的灵活性。 随机控制器的功能 随机控制器的作用在于从其直接子元素(通常是采样器)中随机…

“ONLYOFFICE 8.1版本评测:功能更强大,用户体验更佳”

最新版本的在线编辑器已经发布 ONLYOFFICE在线编辑器的最新版本8.1已经发布,整个套件带来了30多个新功能和432个bug修复。这个强大的文档编辑器支持处理文本文档、电子表格、演示文稿、可填写的表单和PDF,并允许多人在线协作,同时支持AI集成…

火山引擎ByteHouse:新一代云数仓必不可少的五大核心能力

从数据库领域的发展历程来看,分析型数据库已有 40 多年的发展历史,与数据库基本同时代。从OLTP 和 OLAP 的分支来看,分析型数据库支持了海量数据规模下的聚合性分析。尤其是随着移动互联网甚至 AI 等领域的发展,用户画像行为分析的…

C#校园在线投票系统-计算机毕业设计源码10577

摘 要 随着互联网大趋势的到来,社会的方方面面,各行各业都在考虑利用互联网作为媒介将自己的信息更及时有效地推广出去,而其中最好的方式就是建立网络管理系统,并对其进行信息管理。由于现在网络的发达,校园投票通过网…

AI产品经理如何快速接手一个新产品?

我们到一家新的公司,往往都有现成的产品需要你熟悉,这个对你来说就是一个新产品。 又或者说,公司要搭建一个新的项目,让你负责,需要你从0开始去接手,最终去上线,去推广,去盈利&…

项目实训-vue(八)

项目实训-vue(八) 文章目录 项目实训-vue(八)1.概述2.医院动态图像轮播3.页面背景板4.总结 1.概述 除了系统首页的轮播图展示之外,还需要在医院的首页展示医院动态部分的信息,展示医院动态是为了确保患者、…

pdf压缩,pdf压缩在线,pdf压缩在线网页版

当我们遇到PDF文件过大,需要压缩其容量大小时,通常是为了更方便地传输、存储或分享这些文件。PDF文件的大小可能因其包含的图像、字体等元素的数量和质量而有所不同。下面,我们将详细介绍压缩PDF容量大小的方法,帮助您轻松实现文件…

MySQL详细介绍:开源关系数据库管理系统的魅力

学习总结 1、掌握 JAVA入门到进阶知识(持续写作中……) 2、学会Oracle数据库入门到入土用法(创作中……) 3、手把手教你开发炫酷的vbs脚本制作(完善中……) 4、牛逼哄哄的 IDEA编程利器技巧(编写中……) 5、面经吐血整理的 面试技…

注册中心不知选哪个?Zookeeper、Eureka、Nacos、Consul和Etcd 5种全方位剖析对比

本文给大家讲解 5 种常用的注册中心,对比其流程和原理,无论是面试还是技术选型,都非常有帮助。 对于注册中心,在写这篇文章前,我其实只对 ETCD 有比较深入的了解,但是对于 Zookeeper 和其他的注册中心了解甚…

opencascade AIS_InteractiveContext源码学习6 management of active Selection Modes

AIS_InteractiveContext 前言 交互上下文(Interactive Context)允许您在一个或多个视图器中管理交互对象的图形行为和选择。类方法使这一操作非常透明。需要记住的是,对于已经被交互上下文识别的交互对象,必须使用上下文方法进行…

docker-本地部署-后端

前置条件 后端文件 这边是一个简单项目的后端文件目录 docker服务 镜像文件打包 #命令行 docker build -t author/chatgpt-ai-app:1.0 -f ./Dockerfile .红框是docker所在文件夹 author:docker用户名chatgpt-ai-app:打包的镜像文件名字:1.0 &#…

【Sklearn驯化-聚类指标】搞懂机器学习中聚类算法评估指标,轮廓系数、戴维森堡丁指数

【Sklearn驯化-聚类指标】搞懂机器学习中聚类算法评估指标,轮廓系数、戴维森堡丁指数 本次修炼方法请往下查看 🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合,智慧小天地! &#…

Redis 7.x 系列【10】数据类型之有序集合(ZSet)

有道无术,术尚可求,有术无道,止于术。 本系列Redis 版本 7.2.5 源码地址:https://gitee.com/pearl-organization/study-redis-demo 文章目录 1. 概述2. 常用命令2.1 ZADD2.2 ZCARD2.3 ZSCORE2.4 ZRANGE2.5 ZREVRANGE2.6 ZRANK2.7…