高斯判别分析(GDA)公式推导

news2024/11/20 12:24:17

在这里插入图片描述

解:将概率分布代入对数似然函数,

l ( ψ , μ 0 , μ 1 , ∑ ) = ∑ i = 1 m l o g p X ∣ Y ( x ( i ) ∣ y ( i ) ; μ 0 , μ 1 , ∑ ) + ∑ i = 1 m l o g p Y ( y ( i ) ; ψ ) l(\psi,\mu_0,\mu_1,\sum)=\sum^m_{i=1}{log{p_{X|Y}(x^{(i)}|y^{(i)};\mu_0,\mu_1,\sum)}}+\sum^m_{i=1}log{p_Y}(y^{(i)};\psi) l(ψ,μ0,μ1,)=i=1mlogpXY(x(i)y(i);μ0,μ1,)+i=1mlogpY(y(i);ψ)

= ∑ i = 1 m ( 1 − y ( i ) ) l o g 1 ( 2 π ) n / 2 ∣ ∑ ∣ 1 / 2 e x p ( 1 2 ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) ) =\sum^m_{i=1}(1-y^{(i)}){log \frac{1}{(2\pi)^{n/2}|\sum|^{1/2}}exp(\frac{1}{2}(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0))} =i=1m(1y(i))log(2π)n/21/21exp(21(x(i)μ0)T1(x(i)μ0))

+ ∑ i = 1 m y ( i ) l o g 1 ( 2 π ) n / 2 ∣ ∑ ∣ 1 / 2 e x p ( 1 2 ( x ( i ) − μ 1 ) T ∑ − 1 ( x ( i ) − μ 1 ) ) +\sum^m_{i=1}y^{(i)}{log \frac{1}{(2\pi)^{n/2}|\sum|^{1/2}}exp(\frac{1}{2}(x^{(i)}-\mu_1)^T\sum^{-1}(x^{(i)}-\mu_1))} +i=1my(i)log(2π)n/21/21exp(21(x(i)μ1)T1(x(i)μ1))

+ ∑ i = 1 m l o g ψ y ( i ) ( 1 − ψ ) 1 − y ( i ) +\sum^m_{i=1}{log\psi^{y^{(i)}}(1-\psi)^{1-y^{(i)}}} +i=1mlogψy(i)(1ψ)1y(i)

求取 l ( ψ , μ 0 , μ 1 , ∑ ) l(\psi,\mu_0,\mu_1,\sum) l(ψ,μ0,μ1,)的最大值,令

∂ ∂ ψ l ( ψ , μ 0 , μ 1 , ∑ ) = 0 \frac{\partial}{\partial\psi}l(\psi,\mu_0,\mu_1,\sum)=0 ψl(ψ,μ0,μ1,)=0 (1)

∇ μ 0 l ( ψ , μ 0 , μ 1 , ∑ ) = 0 \nabla_{\mu_0}l(\psi,\mu_0,\mu_1,\sum)=0 μ0l(ψ,μ0,μ1,)=0 (2)

∇ μ 1 l ( ψ , μ 0 , μ 1 , ∑ ) = 0 \nabla_{\mu_1}l(\psi,\mu_0,\mu_1,\sum)=0 μ1l(ψ,μ0,μ1,)=0 (3)

∇ ∑ l ( ψ , μ 0 , μ 1 , ∑ ) = 0 \nabla_{\sum}l(\psi,\mu_0,\mu_1,\sum)=0 l(ψ,μ0,μ1,)=0 (4)

对于(1)式:

∂ ∂ ψ ∑ i = 1 m y ( i ) l o g ψ + ( 1 − y ( i ) ) l o g ( 1 − ψ ) = 0 \frac{\partial}{\partial\psi}{\sum^m_{i=1}y^{(i)}log\psi+(1-y^{(i)})log(1-\psi)}=0 ψi=1my(i)logψ+(1y(i))log(1ψ)=0

∑ i = 1 m y ( i ) ψ + 1 − y ( i ) 1 − ψ = 0 {\sum^m_{i=1}\frac{y^{(i)}}{\psi}+\frac{1-y^{(i)}}{1-\psi}}=0 i=1mψy(i)+1ψ1y(i)=0

∑ i = 1 m y ( i ) ( 1 − ψ ) + ( 1 − y ( i ) ) ψ = 0 {\sum^m_{i=1}y^{(i)}{(1-\psi)}+(1-y^{(i)}){\psi}}=0 i=1my(i)(1ψ)+(1y(i))ψ=0

∑ i = 1 m y ( i ) = m ψ {\sum^m_{i=1}y^{(i)}}=m\psi i=1my(i)=mψ

ψ = ∑ i = 1 m 1 { y ( i ) = 1 } m \psi=\frac{\sum^m_{i=1}1\{y^{(i)}=1\}}{m} ψ=mi=1m1{y(i)=1}

对于(2)式:

∇ μ 0 ∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) = 0 \nabla_{\mu_0}\sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0)=0 μ0i=1m(1y(i))(x(i)μ0)T1(x(i)μ0)=0

∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) = 0 \sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0)=0 i=1m(1y(i))(x(i)μ0)T1(x(i)μ0)=0

∑ i = 1 m ( 1 − y ( i ) ) [ ∑ − 1 ( x ( i ) − μ 0 ) d ( x ( i ) − μ 0 ) T + ( x ( i ) − μ 0 ) T ∑ − 1 d ( x ( i ) − μ 0 ) ] = 0 \sum^m_{i=1}(1-y^{(i)})[\sum^{-1}(x^{(i)}-\mu_0)d(x^{(i)}-\mu_0)^T+(x^{(i)}-\mu_0)^T\sum^{-1}d(x^{(i)}-\mu_0)]=0 i=1m(1y(i))[1(x(i)μ0)d(x(i)μ0)T+(x(i)μ0)T1d(x(i)μ0)]=0

∑ i = 1 m ( 1 − y ( i ) ) ∑ − 1 ( x ( i ) − μ 0 ) = 0 \sum^m_{i=1}(1-y^{(i)})\sum^{-1}(x^{(i)}-\mu_0)=0 i=1m(1y(i))1(x(i)μ0)=0

∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) = 0 \sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)=0 i=1m(1y(i))(x(i)μ0)=0

∑ i = 1 m ( 1 − y ( i ) ) x ( i ) = ∑ i = 1 m ( 1 − y ( i ) ) μ 0 \sum^m_{i=1}(1-y^{(i)})x^{(i)}=\sum^m_{i=1}(1-y^{(i)})\mu_0 i=1m(1y(i))x(i)=i=1m(1y(i))μ0

μ 0 = ∑ i = 1 m 1 { y ( i ) = 0 } x ( i ) / ∑ i = 1 m 1 { y ( i ) = 0 } \mu_0=\sum^m_{i=1}1\{y^{(i)}=0\}x^{(i)}/\sum^m_{i=1}1\{y^{(i)}=0\} μ0=i=1m1{y(i)=0}x(i)/i=1m1{y(i)=0}

对于(3)式,类同(2)式:

μ 0 = ∑ i = 1 m 1 { y ( i ) = 1 } x ( i ) / ∑ i = 1 m 1 { y ( i ) = 1 } \mu_0=\sum^m_{i=1}1\{y^{(i)}=1\}x^{(i)}/\sum^m_{i=1}1\{y^{(i)}=1\} μ0=i=1m1{y(i)=1}x(i)/i=1m1{y(i)=1}

对于(4)式:

∇ ∑ ( − m 2 l o g ∣ ∑ ∣ ) − 1 2 ∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) − 1 2 ∑ i = 1 m y ( i ) ( x ( i ) − μ 1 ) T ∑ − 1 ( x ( i ) − μ 1 ) = 0 \nabla_{\sum}(-\frac{m}{2}log|\sum|)-\frac{1}{2}\sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0)-\frac{1}{2}\sum^m_{i=1}y^{(i)}(x^{(i)}-\mu_1)^T\sum^{-1}(x^{(i)}-\mu_1)=0 (2mlog)21i=1m(1y(i))(x(i)μ0)T1(x(i)μ0)21i=1my(i)(x(i)μ1)T1(x(i)μ1)=0

∇ ∑ ( m l o g ∣ ∑ ∣ ) + ∇ ∑ ∑ i = 1 m ( 1 − y ( i ) ) ( x ( i ) − μ 0 ) T ∑ − 1 ( x ( i ) − μ 0 ) + ∇ ∑ ∑ i = 1 m y ( i ) ( x ( i ) − μ 1 ) T ∑ − 1 ( x ( i ) − μ 1 ) = 0 \nabla_{\sum}(mlog|\sum|)+\nabla_{\sum}\sum^m_{i=1}(1-y^{(i)})(x^{(i)}-\mu_0)^T\sum^{-1}(x^{(i)}-\mu_0)+\nabla_{\sum}\sum^m_{i=1}y^{(i)}(x^{(i)}-\mu_1)^T\sum^{-1}(x^{(i)}-\mu_1)=0 (mlog)+i=1m(1y(i))(x(i)μ0)T1(x(i)μ0)+i=1my(i)(x(i)μ1)T1(x(i)μ1)=0

已知协方差矩阵 S i = 1 m ∑ i = 1 m ( x ( i ) − μ i ) ( x ( i ) − μ i ) T S_i=\frac{1}{m}\sum^m_{i=1}(x^{(i)}-\mu_i)(x^{(i)}-\mu_i)^T Si=m1i=1m(x(i)μi)(x(i)μi)T,将通过 S i S_i Si简化表达上式

∇ ∑ ∑ i = 1 m ( x ( i ) − μ i ) T ∑ − 1 ( x ( i ) − μ i ) \nabla_{\sum}\sum^m_{i=1}(x^{(i)}-\mu_i)^T\sum^{-1}(x^{(i)}-\mu_i) i=1m(x(i)μi)T1(x(i)μi)

= ∇ ∑ t r ( ∑ i = 1 m ( x ( i ) − μ i ) T ∑ − 1 ( x ( i ) − μ i ) ) =\nabla_{\sum}tr(\sum^m_{i=1}(x^{(i)}-\mu_i)^T\sum^{-1}(x^{(i)}-\mu_i)) =tr(i=1m(x(i)μi)T1(x(i)μi))

= ∇ ∑ t r ( ∑ i = 1 m ( x ( i ) − μ i ) ( x ( i ) − μ i ) T ∑ − 1 ) =\nabla_{\sum}tr(\sum^m_{i=1}(x^{(i)}-\mu_i)(x^{(i)}-\mu_i)^T\sum^{-1}) =tr(i=1m(x(i)μi)(x(i)μi)T1)

= ∇ ∑ t r ( m i S i ∑ − 1 ) =\nabla_{\sum}tr(m_iS_i\sum^{-1}) =tr(miSi1)

其中 m i = ∑ k = 1 m 1 { y ( k ) = i } m_i=\sum^m_{k=1}1\{y^{(k)}=i\} mi=k=1m1{y(k)=i}

∇ ∑ t r ( m i S i ∑ − 1 ) = − m i S i T ∑ − 2 \nabla_{\sum}tr(m_iS_i\sum^{-1})=-m_iS_i^T\sum^{-2} tr(miSi1)=miSiT2

∇ ∑ ( m l o g ∣ ∑ ∣ ) = m 1 ∣ ∑ ∣ ∣ ∑ ∣ ∑ − 1 = m ∑ − 1 \nabla_{\sum}(mlog|\sum|)=m\frac{1}{|\sum|}|\sum|\sum^{-1}=m\sum^{-1} (mlog)=m11=m1

因此,(4)式可简化为

m ∑ − 1 − ∑ i 2 m i S i T ∑ − 2 = 0 m\sum^{-1}-\sum_i^{2}m_iS_i^T\sum^{-2}=0 m1i2miSiT2=0

∑ = 1 m ∑ i 2 m i S i T \sum=\frac{1}{m}\sum_i^{2}m_iS_i^T =m1i2miSiT

∑ = 1 m ∑ i = 1 m ( x ( i ) − μ y ( i ) ) T ( x ( i ) − μ y ( i ) ) \sum=\frac{1}{m}\sum_{i=1}^{m}(x^{(i)}-\mu_{y^{(i)}})^T(x^{(i)}-\mu_{y^{(i)}}) =m1i=1m(x(i)μy(i))T(x(i)μy(i))

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/10789.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

mbedtls 自带SSL demo调试

概述: 运行mbedtls自带 ssl demo的记录; 操作过程: 编译Demo,请看我专栏中的相关文章 先运行服务端程序,运行ssl_server.exe,运行结果如下: mbedtls-3.2.1\mbedtls-3.2.1\programs\ssl> .…

通用后台管理系统前端界面

1、项目搭建 局部安装vue-cli 4.5.15 和创建项目 1.1 局部安装vue-cli 工具,方便不同版本进行切换 ###安装指定版本的vue脚手架工具 或者是已安装了,该命令则为使用4.5.15版本的vue/cli npm i -D vue/cli4.5.15 ###查看当前vue脚手架工具版本…

第七节.常用Linux命令—查找文件,软硬链接,软件安装,系统信息

第七节.常用Linux命令—查找文件,软硬链接,软件安装,系统信息 1.查找文件: 序号命令作用01find [路径] -name “.py”查找指定路径下扩展名是.py的文件,包括子目录 功能:通常用来在特定目录下搜索符合条件…

SpringMVC之全局异常管理

在开发过程中一个项目可以要抛出很多很多的异常,这对于用户来说非常地不方便,而且非常地不安全,特别容易导致用户信息地泄露。在SpringMVC中有一种全局异常管理方法,这种方法收集项目中存在所有地异常,以保证项目正常地…

windows 定制 terminal 上手实践

文章目录1. 前言2. 安装 Windows Terminal3. 安装 nerd-fonts4. Microsoft store 安装 powershell5. 改变终端背景颜色6. 安装 scoop7. 安装 git8. 安装 Neovim9. 设置别名10. 安装 oh My Posh11. 自定义 prompt(path)12. 安装 nodejs13. 安装 Terminal …

数据库高级 I

数据库高级 I 双向链表 什么是双向链表 双向链表是一种数据结构,由若干个节点构成,其中每个节点均由三部分构成,分别是前驱节点,元素,后继节点.双向链表中的节点在内存中是游离状态存在的.双向链表的应用:LinkedList 双向链表中的元素部分保存的都是对象,实际上保存的是元素对…

Tomcat 源码解析一请求处理的整体过程-黄泉天怒(下)

上一篇博客 Tomcat 源码解析一请求处理的整体过程-黄泉天怒(上) NonLoginAuthenticator NonLoginAuthenticator并没有实现invoke()方法,而是由父类AuthenticatorBase实现了invoke()方法,AuthenticatorBase类关系如下。   先弄清楚NonLoginAuthentica…

07.URL调度器工作原理

1.工作原理 django通过urlconf来映射视图函数,只区分路径,不区分http方法 Django确定要使用的根URLconf模块,一般实在settings中的ROOT_URLCONF设置的值,但是如果传入HttpRequest对象具有一个urlconf属性(由中间件设置…

直播预告|OceanBase 社区版 4.0 全解析

小就是大,OceanBase 社区版 4.0 | 单机到分布式一体化与最佳实践 随着云原生时代的到来,越来越多的业务系统会采用云原生架构。云原生数据库通过资源解耦和资源池化等技术支撑了不同业务领域的场景需求。 2022 年 11 月 3 日,OceanBase 社区版…

Linux结构目录说明以及相关作用【重点】

目录目录结构目录结构介绍:/bin [重点] (/usr/bin 、 /usr/local/bin)/home/root/sbin/lib/lost found/etc/usr/boot/dev/media/mnt/opt/usr/local/var目录结构 1:图解目录结构 2:用命令行看目录结构(里面自己装了一些东西&…

1024程序员节过后,我才知道JVM有多重要

为什么要学习JVM? 和大部分程序员一样,我最初接触 Java 虚拟机只是因为面试官会问Java虚拟机的相关问题,所以不得不看,而且刷了很多面试题;那段时间刷面试题刷的心烦甚至会觉得,我面试的岗位平时也用不上Java虚拟机&…

奉加微蓝牙芯片PHY6222,支持mesh,SRAM、可选128K-8M

奉加微蓝牙芯片PHY6222,支持mesh,SRAM、可选128K-8M ​SIG mesh和ZigBee两种2.4G的无线mesh,有Nordic的NRF52840;泰凌微的TLSR825X、TLSR9X;还有奉加微的PHY62xx系列是一款支持BLE 5.2功能和IEEE 802.15.4(…

【数据结构基础】时间复杂度和空间复杂度

🙈个人主页:阿伟t 👉系列专栏:【C语言–大佬之路】 🎈今日心语:你所看到的惊艳,都曾被平庸所历练。 数据结构指的是“一组数据的存储结构”,算法指的是“操作数据的一组方法”。 数…

Spring Boot快速入门

目录 1、Spring Boot概述 1.1、什么是Spring Boot 1.2、Spring Boot的特点 2、Spring Boot快速入门 2.1、起步依赖 2.2、创建启动类 2.3、测试启动类 2.4、自定义banner 2.5、自动配置原理 2.6、启动类注解 3、Spring Boot整合SpringMVC 3.1、Controller类 3.2、…

效率为王,居家办公必备的5款小工具

疫情反反复复,好多小伙伴依然处在居家办公的境地中,所以像小编一样早早的干完活躺床上是非常有必要的。 1.极速复制粘贴工具——TeraCopy TeraCopy是一款老牌免费的 Windows 文件复制/移动辅助加速工具软件,复制文件时若是遇上数据有问题也…

《FFmpeg Basics》中文版-03-比特率/帧率/文件大小

正文 比特率和帧速率是视频的基本特征,它们的正确设置对整体视频质量非常重要。 如果我们知道所有包含的媒体流的比特率和持续时间,我们可以计算输出文件的最终大小。 由于在使用FFmpeg工具时对帧速率和比特率的理解很重要,因此包含每个术语…

文件存储解决方案-云存储阿里 OSS

文件存储解决方案-云存储阿里 OSS 1.文件存储(上传)解决方案讨论 1.图解 文件存储解决方案-云存储阿里 OSS 解读上图 普通上传并不是分布式,也不是集群,可用性不高普通上传的分布式情况,使用了集群,但是…

数据结构每日亿题(七)

文章目录一题目二.思路2.1链表2.2数组三.代码一题目 原题传送门:力扣 题目: 题目的意思是让你写一个数据结构,这个结构的特点和队列一样先进先出,然后完成:判断是否为空,判断是否为满,添加一个…

实验29:循迹传感器实验

今天讲一个基本实验 循迹实验 循迹传感器的原理是: CTRT5000传感器的红外发射管不断发射红外光。由于黑色吸收光线,当红外发射管照射黑色表面时,反射光较少,接收管接收的红外线较少。这表明黑色吸收光线的强度大,那么比较器输出高电平,指示灯熄灭。同样,当它在白色表面…

MCE虚拟筛选化合物库

Discovery Diversity Sets 新颖的化合物库! 药物筛选是发现药物先导物的重要途径,好的化合物库则是药物筛选的必备武器。MCE 拥有丰富的数据库资源,助力您的药物筛选研究!药物筛选研究与化合物新颖性密切相关。Discovery Divers…