线性判别分析 (LDA)中目标函数两个相似公式 分子 之间的转换过程

news2024/9/27 5:58:53

本文是对以下文章的分子部分更加详细的说明
线性判别分析 (LDA)中目标函数两个相似公式之间的转换过程


二次型是指一个关于向量的二次函数,通常表示为 Q ( x ) = x T A x Q(x) = x^T A x Q(x)=xTAx,其中 x x x 是一个列向量, A A A 是一个对称矩阵。二次型在数学中用于描述涉及向量和矩阵的二次关系。


我们更详细地解释如何将标量平方 ( w T ( μ 0 − μ 1 ) ) 2 \left( w^T (\mu_0 - \mu_1) \right)^2 (wT(μ0μ1))2 表示为二次型 w T ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T w w^T (\mu_0 - \mu_1)(\mu_0 - \mu_1)^T w wT(μ0μ1)(μ0μ1)Tw

详细步骤:

  1. 标量平方的展开:

    首先,注意到 ( w T ( μ 0 − μ 1 ) ) \left( w^T (\mu_0 - \mu_1) \right) (wT(μ0μ1)) 是一个标量。因此,其平方可以表示为:
    ( w T ( μ 0 − μ 1 ) ) 2 = ( w T ( μ 0 − μ 1 ) ) ( w T ( μ 0 − μ 1 ) ) \left( w^T (\mu_0 - \mu_1) \right)^2 = \left( w^T (\mu_0 - \mu_1) \right) \left( w^T (\mu_0 - \mu_1) \right) (wT(μ0μ1))2=(wT(μ0μ1))(wT(μ0μ1))

  2. 利用标量乘积的性质:

    标量的乘积可以重新排列,因为标量相乘满足交换律:
    ( w T ( μ 0 − μ 1 ) ) ( w T ( μ 0 − μ 1 ) ) = ( w T ( μ 0 − μ 1 ) ) ( ( μ 0 − μ 1 ) T w ) \left( w^T (\mu_0 - \mu_1) \right) \left( w^T (\mu_0 - \mu_1) \right) = \left( w^T (\mu_0 - \mu_1) \right) \left( (\mu_0 - \mu_1)^T w \right) (wT(μ0μ1))(wT(μ0μ1))=(wT(μ0μ1))((μ0μ1)Tw)

    这里,我们利用了以下事实:

    • ( w T ( μ 0 − μ 1 ) ) \left( w^T (\mu_0 - \mu_1) \right) (wT(μ0μ1)) 是标量。
    • ( ( μ 0 − μ 1 ) T w ) \left( (\mu_0 - \mu_1)^T w \right) ((μ0μ1)Tw) 也是标量,且等于 ( w T ( μ 0 − μ 1 ) ) \left( w^T (\mu_0 - \mu_1) \right) (wT(μ0μ1))
  3. 重新排列表达式:

    现在,我们可以将标量乘积写成矩阵和向量的乘积形式:
    ( w T ( μ 0 − μ 1 ) ) ( ( μ 0 − μ 1 ) T w ) = w T ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T w \left( w^T (\mu_0 - \mu_1) \right) \left( (\mu_0 - \mu_1)^T w \right) = w^T (\mu_0 - \mu_1)(\mu_0 - \mu_1)^T w (wT(μ0μ1))((μ0μ1)Tw)=wT(μ0μ1)(μ0μ1)Tw

    这一步中,我们将两个标量乘积重新排列为矩阵乘积:

    • 首先, w T ( μ 0 − μ 1 ) w^T (\mu_0 - \mu_1) wT(μ0μ1) 是一个 1 × 1 1 \times 1 1×1 的标量。
    • 然后, ( μ 0 − μ 1 ) T w (\mu_0 - \mu_1)^T w (μ0μ1)Tw 也是一个标量。
    • 将这两个标量相乘,可以视为矩阵乘法中的括号重新组合。
  4. 理解矩阵乘法的维度匹配:

    为了确保上述等式成立,我们需要检查矩阵维度:

    • ( μ 0 − μ 1 ) (\mu_0 - \mu_1) (μ0μ1) 是一个 n × 1 n \times 1 n×1 的列向量。

    • ( μ 0 − μ 1 ) T (\mu_0 - \mu_1)^T (μ0μ1)T 是一个 1 × n 1 \times n 1×n 的行向量。

    • 因此, ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T (\mu_0 - \mu_1)(\mu_0 - \mu_1)^T (μ0μ1)(μ0μ1)T 是一个 n × n n \times n n×n 的矩阵。

    • w w w 是一个 n × 1 n \times 1 n×1 的列向量。

    • w T w^T wT 是一个 1 × n 1 \times n 1×n 的行向量。

    • 因此, w T ( μ 0 − μ 1 ) w^T (\mu_0 - \mu_1) wT(μ0μ1) 是一个标量( 1 × 1 1 \times 1 1×1)。

    • 同样地, ( μ 0 − μ 1 ) T w (\mu_0 - \mu_1)^T w (μ0μ1)Tw 也是一个标量。

    • 最终, w T ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T w w^T (\mu_0 - \mu_1)(\mu_0 - \mu_1)^T w wT(μ0μ1)(μ0μ1)Tw 是一个标量,计算过程为:
      w T [ ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T ] w w^T [(\mu_0 - \mu_1)(\mu_0 - \mu_1)^T] w wT[(μ0μ1)(μ0μ1)T]w

      这里,内部的 ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T (\mu_0 - \mu_1)(\mu_0 - \mu_1)^T (μ0μ1)(μ0μ1)T 是矩阵,外部的 w T w^T wT w w w 分别是行向量和列向量。

  5. 总结:

    通过上述步骤,我们成功地将标量平方表示为涉及矩阵和向量的二次型:
    ( w T ( μ 0 − μ 1 ) ) 2 = w T ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T w \left( w^T (\mu_0 - \mu_1) \right)^2 = w^T (\mu_0 - \mu_1)(\mu_0 - \mu_1)^T w (wT(μ0μ1))2=wT(μ0μ1)(μ0μ1)Tw

    这就是将标量平方转换为二次型的详细过程。


结论:

  • 二次型是指形如 Q ( x ) = x T A x Q(x) = x^T A x Q(x)=xTAx 的函数,其中 A A A 是对称矩阵, x x x 是向量。

  • 我们将标量平方 ( w T ( μ 0 − μ 1 ) ) 2 \left( w^T (\mu_0 - \mu_1) \right)^2 (wT(μ0μ1))2 转换为二次型的步骤是:

    1. 将标量平方展开为自身的乘积。
    2. 利用标量乘积的交换性质,重新排列为矩阵和向量的乘积。
    3. 将表达式写成 w T ( μ 0 − μ 1 ) ( μ 0 − μ 1 ) T w w^T (\mu_0 - \mu_1)(\mu_0 - \mu_1)^T w wT(μ0μ1)(μ0μ1)Tw 的形式。

通过这些步骤,我们成功地将原始的标量平方表达式表示为二次型形式,使得两个公式的分子部分等价。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2165859.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【AI】深度学习的数学--核心公式

1 梯度下降 f ( x Δ x , y Δ y ) ≃ f ( x , y ) ∂ f ( x , y ) ∂ x Δ x ∂ f ( x , y ) ∂ y Δ y f(x\Delta x,y\Delta y) \simeq f(x,y)\frac{\partial f(x,y)}{\partial x}\Delta x\frac{\partial f(x,y)}{\partial y}\Delta y f(xΔx,yΔy)≃f(x,y)∂x∂f(x,y)​…

聚观早报 | 豆包视频生成大模型发布;华为纯血鸿蒙将开启公测

聚观早报每日整理最值得关注的行业重点事件,帮助大家及时了解最新行业动态,每日读报,就读聚观365资讯简报。 整理丨Cutie 9月25日消息 豆包视频生成大模型发布 华为纯血鸿蒙将开启公测 高德地图将发放百亿补贴 12306上线“车内换座”新…

RK3568笔记六十三:基于LVGL的Linux相机

若该文为原创文章,转载请注明原文出处。 记录移植韦老师的基于LVGL的Linux相机项目,主要是想学习如何在LVGL下显示摄像头数据。 此项目是基于老师的源码框架移植的,地址是lv_100ask_linux_camera: 基于LVGL的Linux相机 (gitee.com) 个人使用的是RK3568,正点原子板子,所以…

CTF-PWN方向自学习笔记

基础知识 栈的结构 熟悉如下寄存器 db 定义的是1Byte的变量 也就是8位 define byte dd 定义的通常是4字节的变量 也就是32位 Define Double Word dw 定义一个16位 也就是2字节的变量 Define Word dq 定义一个8字节 也就是64位的变量 多少位的机器就表示一个字是多少位 x86…

GO网页自动回复机器人源码

源码名称:网页自动回复机器人源码 源码介绍:一款网页自动回复机器人源码,是一款集自动回复、默认消息设置、自定义 API 接口调用于一体的智能网页机器人。它采用高效稳定的 Golang 作为后端开发语言,运行时内存占用极小&#xff…

RNN模型学习

RNN模型 循环神经网络(Recurrent Neural Network, RNN)是一种用于处理序列数据的神经网络。**RNN具有内部状态(或称为记忆),这允许它在处理序列中的每个元素时考虑之前的信息。**这种特性使得RNN非常适合于自然语言处…

【CSS】鼠标 、轮廓线 、 滤镜 、 堆叠层级

cursor 鼠标outline 轮廓线filter 滤镜z-index 堆叠层级 cursor 鼠标 值说明值说明crosshair十字准线s-resize向下改变大小pointer \ hand手形e-resize向右改变大小wait表或沙漏w-resize向左改变大小help问号或气球ne-resize向上右改变大小no-drop无法释放nw-resize向上左改变…

ISA Server配置https踩坑全过程

首先普通的http配置请参考 【ISA Server 2006发布Web网站】 https://www.bilibili.com/video/BV1qc411v75w/?share_sourcecopy_web&vd_sourcef35b2f2d0d34140bcba81b8b6f8c1b69 本文只一笔带过,讲一下https部分。 正解 由于我维护的是windows server 2003的…

付费进群V5版本首发源码

付费进群V5版本首发 最新分站大屏 更新三个模板 仿官方模板等等 最新防注入技术 源码下载:https://download.csdn.net/download/m0_66047725/89797314 更多资源下载:关注我。

Postgresql怎么查询数据库中所有的表,odoo17数据库最依赖表整理

今天遇到了一个需求,需要梳理odoo中数据库表的分类,所以想要知道怎么查询当前数据库中所有的表,特此记录. 一个简单的SQL语句: select * from pg_tables;得到的结果如下: 显然这个有点杂乱,我们换一个SQL语句: select tablename from pg_tables where schemanamepublic不过…

LiveQing视频点播流媒体RTMP推流服务功能-支持电子放大拉框放大直播视频拉框放大录像视频流拉框放大电子放大

LiveQing视频点播流媒体RTMP推流服务功能-支持电子放大拉框放大直播视频拉框放大录像视频流拉框放大电子放大 1、鉴权直播2、视频点播3、RTMP推流视频直播和点播流媒体服务 1、鉴权直播 鉴权直播-》播放 ,左键单击可以拉取矩形框,放大选中的范围&#x…

(四)悟说几个特殊矩阵及矩阵函数

上一期介绍了矩阵的出现源于解线性方程组。但是,矩阵出现之后,就犹如打开了潘多拉的盒子,会产生许多魔法。 1 旋转矩阵 我们知道用矩阵左乘某个向量,相当于对该向量做线性变换。那么是否有一种矩阵,能让向量旋转&…

前端项目代理到本地调试

我们在项目开发中,有时mock数据不能满足我们的需求,可以考虑把线上地址运行在本地代码上进行开发调试,也就是所谓的代理 这里推荐使用的工具是 whistle SwitchyOmega 1. 首先在chrome浏览器中安装插件SwitchyOmega 下载地址 CrxDL - 下载…

Git - 初识版本库

版本库也叫仓库,英文名 repository。 ‍ 创建版本库 之前我们说了版本库的概念: 存储版本的地方(存放各个版本之间差异的地方),通常称为版本库。通常版本库是以文件(夹)的形式存放在磁盘上&a…

【数据结构初阶】排序算法(上)插入排序与选择排序

文章目录 1.排序概念及运用1. 1 概念1. 2 运用1.3 常见排序算法 2. 插入排序2. 1 直接插入排序2. 2 希尔排序2. 2. 1 希尔排序的时间复杂度 3. 选择排序3. 1 直接选择排序3. 2 堆排序3. 3 Top-K问题 1.排序概念及运用 1. 1 概念 排序:所谓排序,就是使一…

小米2025届软件开发工程师(C/C++/Java)(编程题AK)

选择题好像也是25来个 编程题 T1 题目描述 小明喜欢解决各种数学难题。一天,他遇到了一道有趣的题目:他需要帮助他的朋友们完成一个排序任务。小明得到两个长度为 n 的数组a[]和b[]。他可以在两个数组对应位置进行交换,即选定一个位置 i &#xff0c…

PCL 求八叉树的体素中心

目录 一、概述 1.1原理 1.2实现步骤 1.3应用场景 二、代码实现 2.1关键函数 2.1.1 八叉树构建 2.1.2 获取体素中心 2.2完整代码 三、实现效果 PCL点云算法汇总及实战案例汇总的目录地址链接: PCL点云算法与项目实战案例汇总(长期更新&#xf…

注意力机制篇 | YOLOv8改进之在C2f模块引入EffectiveSE注意力模块 | 基于SE注意力

前言:Hello大家好,我是小哥谈。EffectiveSE(Effective Squeeze-Excitation) 是一种改进的通道注意力模块,其目的是在保持模型性能的同时减少计算复杂性和信息丢失。它基于原始的 Squeeze-Excitation (SE) 模块,但通过一些关键的改进来提高效率。🌈 目录 🚀1.基…

前端——flex布局

flex布局——弹性布局 传统布局: 浮动 定位 行内块等 1. flex布局 方法简单 不需要计算 能自动分配父级里面的子元素排版 对齐方式等等 >flex布局 可以适应不同屏幕布局 2. flex布局使用 - 给父级盒子 display: flex 开启弹性盒模型 - 子元素就会默…

栈的基本概念和及具体实现

今天给大家介绍一下栈的基本概念及实现!话不多说,立即开始! 1.栈的概念: 一种特殊的线性表,其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈 顶,另一端称为栈底。栈中的…