【线性代数】正定矩阵,二次型函数

news2024/12/25 9:23:17

本文主要介绍正定矩阵,二次型函数,及其相关的解析证明过程和各个过程的可视化几何解释(深蓝色字体)。

非常喜欢清华大学张颢老师说过的一段话:如果你不能用可视化的方式看到事情的结果,那么你就很难对这个事情有认知,认知就是直觉,解析的东西可以让你理解,但未必能让你形成直觉,因为他太反直觉了。

正定矩阵

定义

给定一个大小为 n×n 的实对称矩阵 A ,若对于任意长度为 n 的非零向量 X,有X^{T}AX>0 恒成立,则矩阵 A是一个正定矩阵。

推荐文章:如何理解正定矩阵和半正定矩阵 - marsggbo - 博客园 (cnblogs.com)

正定矩阵有什么用

给定一个多元二次函数:f(x)=(x_{1}-x_{2})^{2}+2x_{1}+x_{2}+3

写成矩阵的形式:f(x)=\begin{bmatrix} x_{1} & x_{2} \end{bmatrix}\begin{bmatrix} 1 &-1 \\-1 &1 \end{bmatrix}\begin{bmatrix} x_{1}\\ x^{_{2}} \end{bmatrix}+\begin{bmatrix} 2 &1 \end{bmatrix}\begin{bmatrix} x_{1}\\ x_{2} \end{bmatrix}+3

一个二次函数的一般形式是:f(x)=\frac{1}{2}x^{T}Ax+b^{T}x+c

它的一阶导\forall f(x)=Ax+b  二阶导\forall ^{2}f(x)=A,它的二阶导就是这个二次型的矩阵A。

可视化:如果A是正定的,那么f(x)就是一个严格的凸函数(如图1),那么f(x)的极小值就是最小值,就是全局的最小值。此时最小化f(x)就等价于解一个线性方程组minimize.f(x)\ll =\gg Ax+b=0。在优化算法和机器学习中是一个非常重要的性质,可以避免我们得到的驻点但不是全局最小值的情况,如果A不是正定的,那么f(x)就不是严格的凸函数(如图2、图3)。最小化f(x)时就会很麻烦。

图1
图2
图3

正定矩阵的判定

一、验证定义

x^{T}Ax>0,\forall x\epsilon R^{n},x\neq 0 

此方法在运算过程中可能会涉及到配方换元等,不方便,几乎不采用此方法。

可视化:从定义可知,任意一个向量x经A的变换后,再与x做点积,结果大于0,说明x经过A的变换后它与原x的夹角是小于90°的。这也正好正定矩阵对应名字中“正”的粗略含义,并没有翻折等负的操作。

二、验证特征值都大于0

对于对称矩阵,特征值都大于0与矩阵正定是等价的。证明如下:

(1)A正定,验证特征值都大于0:

取x为特征向量,则x^{T}Ax=x^{T}(\lambda x)=\lambda x^{T}x>0,其中x^{T}x=x_{1}^{2}+...+x_{n}^{2}>0,所以\lambda>0

(2)特征值都大于0,验证A正定:

因为A是实对称阵,给A做一个正交相似对角化x^{T}Ax=x^{T}Q^{T}\Lambda Qx=(Qx)^{T}\Lambda (Qx)>0,其中Qx\neq 0\Lambda =diag(\lambda _{1},...,\lambda _{n}),\lambda都大于0.

要计算所以特征值比较麻烦,此方法用的少。

可视化:先说明对特征值的理解,正的特征值是这个变换在特征向量方向上的拉伸,并没有翻转。而对称矩阵的特征向量是正交的,在没有翻转的情况下,变换前后的向量不可能夹角大于90°,所以矩阵特征值都大于0时,矩阵就是正定的。

三、验证各阶主子式的行列式都大于0

各阶主子式的行列式都大于0与矩阵正定是等价的。证明如下:

(1)A正定,验证各阶主子式的行列式都大于0

(2)各阶主子式都大于0,验证A正定

可视化:行列式的几何意义是变换前后高维“体积”缩放的倍数,而特征值的几何意义是变换前后在某个方向缩放的倍数,故矩阵的行列式等于矩阵所以特征值的乘积,矩阵的行列式为正,说明矩阵特征值全为正或有偶数个负,但如果矩阵的各阶主子式都大于0,那么矩阵的特征值就全为正的。理由:n维矩阵的n-1阶主子式的特征值为(n-1)个,这(n-1)个特征值为原n维矩阵的n个特征值中的(n-1)个向(n-1)维做投影,其正负属性不变,所以当如果矩阵的各阶主子式都大于0,那么矩阵的特征值就全为正的,矩阵正定。

二次型函数

圆锥曲线判别式

对于二次型函数f(x,y)=ax^{2}+2bxy+cy^{2}=\begin{bmatrix} x & y \end{bmatrix}\begin{bmatrix} a &b \\ b &c \end{bmatrix}\begin{bmatrix} x\\ y \end{bmatrix}

a>0时,ac-b^{2}>0,则矩阵为正定矩阵,二次型函数为正定函数(如图4)

a>0时,ac-b^{2}<0,则矩阵为不定矩阵,二次型函数为不定函数(如图5)

a<0时,ac-b^{2}<0,则矩阵为不定矩阵,二次型函数为不定函数(如图6)

a<0时,ac-b^{2}>0,则矩阵为负定矩阵,二次型函数为负定函数(如图7)

ac-b^{2}=0,则矩阵为半正定矩阵,二次型函数为半正定定函数(如图8)

图4
图5
图6
图7
图8

图4:f(x,y)=2x^{2}+2xy+4y^{2},       \begin{bmatrix} a & b\\ b & c \end{bmatrix}=\begin{bmatrix} 2 &1 \\ 1 &4 \end{bmatrix}          ,正定,矩阵特征值都为正

图5:f(x,y)=2x^{2}+8xy+4y^{2},       \begin{bmatrix} a & b\\ b & c \end{bmatrix}=\begin{bmatrix} 2 &4 \\ 4&4 \end{bmatrix}          ,不定,矩阵特征值一正一负

图6:f(x,y)=-2x^{2}-8xy+4y^{2},   \begin{bmatrix} a & b\\ b & c \end{bmatrix}=\begin{bmatrix} -2 &-4 \\ -4 &4 \end{bmatrix}   ,不定,矩阵特征值一正一负

图7:f(x,y)=-2x^{2}+2xy-4y^{2} ,   \begin{bmatrix} a & b\\ b & c \end{bmatrix}=\begin{bmatrix} -2 &1 \\ 1 &-4 \end{bmatrix}   ,负定,矩阵特征值都为负

图8:f(x,y)=2x^{2}+4xy+2y^{2}    ,   \begin{bmatrix} a & b\\ b & c \end{bmatrix}=\begin{bmatrix} 2 &2 \\ 2 &2 \end{bmatrix}          ,半正定,矩阵特征值含0

合同变换,正交变换

对于二次型函数f(x,y)=2x^{2}+2bxy+4y^{2}=\begin{bmatrix} x & y \end{bmatrix}\begin{bmatrix} 2 &b \\ b &4 \end{bmatrix}\begin{bmatrix} x\\ y \end{bmatrix} 中的矩阵\begin{bmatrix} 2 &b \\ b & 4 \end{bmatrix}

(1)当b=0时,矩阵变为对角矩阵\begin{bmatrix} 2 &0 \\0 & 4 \end{bmatrix} ,特征向量为(1,0)和(0,1),特征值为2和4。画出图形为:

(2)当b\neq 0时,特征向量为(\frac{b}{1-\sqrt{b^{2}+4}},1)(\frac{b}{1+\sqrt{b^{2}+4}},1),特征值为3-\sqrt{b^{2}+4}3+\sqrt{b^{2}+4}

逐渐增大或减小b(保持在矩阵为正定矩阵的情况下),画出特征向量所在的直线和二次型函数图形:

b=-2
b=-1

b=1
b=2

可知矩阵特征向量的方向即为二次型函数旋转到的方向。正定矩阵为对称矩阵,对其进行谱分解A=Q^{T}\Lambda QQ为特征向量构成的矩阵,\Lambda为特征值组成的对角矩阵。则可知二次型函数都是将标准二次型函数旋转-缩放-再旋转变换得来的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2114258.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

select、poll、epoll的区别

select、poll、epoll均为linux中的多路复用技术。3种技术出现的顺序是select、poll、epoll&#xff0c;3个版本反应了多路复用技术的迭代过程。我们现在开发网络应用时&#xff0c; 一般都会使用多路复用&#xff0c;很少有用一个线程来监听一个fd的&#xff0c;其中epoll又是最…

鸿蒙开发5.0【Picker的受限权限适配方案】

Picker由系统独立进程实现&#xff0c;应用可以通过拉起Picker组件&#xff0c;用户在Picker上选择对应的资源&#xff08;如图片、文档等&#xff09;&#xff0c;应用可以获取Picker返回的结果。 类型受限权限使用的picker音频ohos.permission.READ_AUDIO&#xff0c;ohos.p…

【无人机设计与控制】 四轴飞行器的位移控制

摘要 本文介绍了一种四轴飞行器的位移控制方法&#xff0c;并通过Simulink模型进行仿真和验证。该方法通过PID控制器对飞行器的位移进行精确调节&#xff0c;以实现飞行器在三维空间中的稳定定位和路径跟踪。通过参数调节&#xff0c;能够适应不同的飞行任务需求&#xff0c;确…

UnLua环境搭建

一、环境搭建 1、下载UnLua工程&#xff1a;https://github.com/Tencent/UnLua 2、复制Plugins/UnLua目录下的插件到自己的项目中 3、重新生成自己的VS工程 4、打开VS工程的项目名.Build.cs文件&#xff0c;引用UnLua插件,重新编译工程 PublicDependencyModuleNames.AddRan…

【Nacos】Nacos快速上手使用(注册中心)【详解】

文章目录 1.基本介绍2. 使用Nacos服务注册中心2.1创建Nacos提供者集群 8001&#xff0c;80022.2创建Nacos消费者集群 8887 1.基本介绍 Nacos(Dynamic Naming and Configuration Service)是服务中心的另外一种实现。从注册中心的功能实现角度&#xff0c;与Eureka等价&#xff…

HumanNeRF:Free-viewpoint Rendering of Moving People from Monocular Video 翻译

HumanNeRF&#xff1a;单目视频中运动人物的自由视点绘制 引言。我们介绍了一种自由视点渲染方法- HumanNeRF -它适用于一个给定的单眼视频ofa人类执行复杂的身体运动&#xff0c;例如&#xff0c;从YouTube的视频。我们的方法可以在任何帧暂停视频&#xff0c;并从任意新的摄…

Python批量读取身份证信息录入系统和重命名

前言 大家好&#xff0c; 如果你对自动化处理身份证图片感兴趣&#xff0c;可以尝试以下操作&#xff1a;从身份证图片中快速提取信息&#xff0c;填入表格并提交到网页系统。如果你无法完成这个任务&#xff0c;我们将在“Python自动化办公2.0”课程中详细讲解实现整个过程。…

教师节送什么礼物给老师好 送礼送什么显高档又实用

教师节送什么礼物给老师好 送礼送什么显高档又实用 教师节即将到来&#xff0c;许多学生和家长都在思考如何表达对老师的感激之情。选择一份合适的礼物不仅能够表达心意&#xff0c;还能让老师感受到学生的关心和尊重。那么&#xff0c;送什么礼物给老师既显高档又实用呢&#…

字节跳动笔试题:自动校对程序:解决王大锤的拼写错误

字节跳动面试题:自动校对程序:解决王大锤的拼写错误 引言问题描述数据范围输入输出描述算法与数据结构伪代码C 代码实现代码解释测试用例边界情况复杂度分析结论后记引言 王大锤,一个出版社的编辑,每天面对海量的英文稿件,不胜其烦。然而,凭借他蓝翔技校挖掘机和程序设计…

[情商-13]:语言的艺术:何为真实和真相,所谓真相,就是别人想让你知道的真相!洞察谎言与真相!

目录 前言&#xff1a; 一、说话的真实程度分级 二、说谎动机分级&#xff1a;善意谎言、中性谎言、恶意谎言 三、小心&#xff1a;所谓真相&#xff1a;只说对自己有利的真相 四、小心&#xff1a;所谓真相&#xff1a;就是别人想让你知道的真相 五、小心&#xff1a;所…

Redis 事务:支持回滚吗?深入解析

今天我们要来探讨一个关于 Redis 事务的重要问题&#xff1a;Redis 事务支持回滚吗&#xff1f;这个问题在 Redis 的使用中经常被提及&#xff0c;对于正确理解和使用 Redis 事务至关重要。那么&#xff0c;让我们一起深入解析这个问题吧&#xff01; 一、Redis 事务简介 在了…

Linux命令分享 三 (ubuntu 16.04)

1、‘>’ >>输出重定向 用法&#xff1a;命令 参数 > 文件 ls > a.txt ‘>’ 将一个命令的结果不输出到屏幕上&#xff0c;输出到文件中&#xff0c;如果文件不存在就创建文件&#xff0c;如果存在就覆盖文件。 ls >> a.txt ‘>>’ 如果文件不存…

数据结构与算法02 - 复杂度

1、空间复杂度 空间复杂度指的是临时占用存储空间大小的量度&#xff1b;空间复杂度计算的是变量的个数&#xff0c;也采用大O渐进表示法&#xff1b;由于函数在运行的时候所需要的栈空间&#xff08;存储参数、局部变量、一些寄存器信息等&#xff09;在编译器已经确定好了&a…

BERN2(生物医学领域)命名实体识别与命名规范化工具

BERN2: an advanced neural biomedical named entity recognition and normalization tool 《Bioinformatics》2022 1 摘要 NER和NEN&#xff1a;在生物医学自然语言处理中&#xff0c;NER和NEN是关键任务&#xff0c;它们使得从生物医学文献中自动提取实体&#xff08;如疾病…

modelsim仿真流程

modelsim仿真流程 1、建立工程 project new "../prj" test.mpf2、添加rtl文件 project addfile "../test.v" verilog3、建立仿真库 vlib work4、编译rtl到仿真库中 vlog -sv -sv09compat defineT133 incdir"../rtl" test.v -work work5、加载…

【Python】6.基础语法(6)文件

文章目录 1. 文件是什么2. 文件路径3. 文件操作3.1 打开文件3.2 关闭文件3.3 写文件3.4 读文件 4. 关于中文的处理5. 使用上下文管理器 1. 文件是什么 变量是把数据保存到内存中。如果程序重启/主机重启, 内存中的数据就会丢失。 要想能让数据被持久化存储, 就可以把数据存储…

openGauss 之索引回表

一. 前言 ​ 在openGauss中如果表有索引信息&#xff0c;查询的谓词条件中又包含索引列&#xff0c;openGauss支持通过索引信息快速拿到需要访问元组的位置信息&#xff0c;然后直接到该位置上取出元组数据&#xff0c;称之为回表查询。如下所示&#xff0c;利用索引索引…

JS中this指向问题

首先&#xff0c;this的绑定和定义的位置无关&#xff0c;它的指向只和调用方式有关&#xff0c;this只有在运行时才知道指向谁。 一&#xff0c;默认绑定 默认绑定&#xff0c;也可以说是独立函数调用&#xff0c;这时this指向window。 function foo() {console.log(this) …

DataGrip数据迁移

第一步 第二步 第三步 第四步 选择你刚刚到处的文件即可

海信发布以旧换新举措,补贴力度、补贴链路、服务体验全面升级

9月7日&#xff0c;由中国家用电器商业协会主办的“海信全国十城联动以旧换新”发布会在北京举行。 据「TMT星球」了解&#xff0c;活动以“品质换新就选海信”为主题&#xff0c;旨在贯彻政府加大消费品以旧换新的战略部署&#xff0c;为我国家电行业绿色化、智能化、高端化高…