多维高斯分布(多元正态分布)的概率密度函数和最大似然估计

news2024/11/24 20:51:07

多元高斯分布的概率密度函数

f μ , Σ ( x ) = 1 ( 2 π ) D / 2 1 ∣ Σ ∣ 1 / 2 e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } f_{\mu, \Sigma}(x)=\frac{1}{(2 \pi)^{D/2}} \frac{1}{|\Sigma|^{1/2}} exp\{-\frac{1}{2}(x-\mu)^T \Sigma ^{-1}(x-\mu)\} fμ,Σ(x)=(2π)D/21∣Σ1/21exp{21(xμ)TΣ1(xμ)}

这是多维高斯分布(多元正态分布)的概率密度函数。让我逐步解释这个公式的各个部分:

  • f μ , Σ ( x ) f_{\mu, \Sigma}(x) fμ,Σ(x) 是表示多维高斯分布的概率密度函数,其中 x x x 是一个 D 维向量( x ∈ R D x \in \mathbb{R}^D xRD)。
  • D D D 是数据的维度,表示向量 x x x 包含了 D 个随机变量。
  • μ \mu μ(mu)是一个 D 维向量,表示多维高斯分布的均值向量。
  • Σ \Sigma Σ(Sigma)是一个 DxD 的协方差矩阵,表示不同维度之间的协方差关系。
  • ( x − μ ) T (x-\mu)^T (xμ)T 表示向量 ( x − μ ) (x-\mu) (xμ) 的转置(transpose)。
  • ∣ Σ ∣ |\Sigma| ∣Σ∣ 表示协方差矩阵 Σ \Sigma Σ 的行列式(determinant)。
  • Σ − 1 \Sigma^{-1} Σ1 表示协方差矩阵 Σ \Sigma Σ 的逆矩阵(inverse)。

公式的含义:

这个公式描述了 D 维多维高斯分布的概率密度。它告诉我们在给定均值 μ \mu μ 和协方差矩阵 Σ \Sigma Σ 的情况下,随机变量 x x x 出现在空间中的概率密度。

  • 1 ( 2 π ) D / 2 \frac{1}{(2 \pi)^{D/2}} (2π)D/21 是一个标准化系数,用于确保概率密度的积分等于 1,使其成为一个合法的概率分布。
  • 1 ∣ Σ ∣ 1 / 2 \frac{1}{|\Sigma|^{1/2}} ∣Σ1/21 是协方差矩阵的行列式的平方根的倒数,也是标准化系数的一部分,用于调整概率密度的幅度。
  • e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } exp\{-\frac{1}{2}(x-\mu)^T \Sigma ^{-1}(x-\mu)\} exp{21(xμ)TΣ1(xμ)} 是指数部分,它包含了 x x x 与均值 μ \mu μ 的差异与协方差矩阵 Σ \Sigma Σ 的逆之间的关系。这一部分体现了多维高斯分布的形状和方差。它与 D 维空间中的点 x x x 到均值 μ \mu μ 的距离以及协方差矩阵的逆有关。

多维高斯分布的概率密度函数用于描述多维数据的分布,通常在统计、模式识别、机器学习等领域中广泛应用。不同的协方差矩阵 Σ \Sigma Σ 和均值向量 μ \mu μ 可以产生不同形状的多维高斯分布,从而用于建模不同类型的数据分布。

多元高斯分布的最大似然估计

L ( μ , Σ ) = f μ , Σ ( x 1 ) f μ , Σ ( x 2 ) f μ , Σ ( x 3 ) . . . . . . f μ , Σ ( x 7 9 ) L(\mu,\Sigma)=f_{\mu,\Sigma}(x^1) f_{\mu,\Sigma}(x^2) f_{\mu,\Sigma}(x^3)......f_{\mu,\Sigma}(x^79) L(μ,Σ)=fμ,Σ(x1)fμ,Σ(x2)fμ,Σ(x3)......fμ,Σ(x79)
μ ∗ , Σ ∗ = a r g max ⁡ μ , Σ L ( μ , Σ ) \mu^*,\Sigma^*=arg \max\limits_{\mu,\Sigma}L(\mu,\Sigma) μ,Σ=argμ,ΣmaxL(μ,Σ)

这个问题是要通过最大似然估计(MLE)来估计多元高斯分布的参数 μ ∗ \mu^* μ Σ ∗ \Sigma^* Σ,以使给定数据集的似然 L ( μ , Σ ) L(\mu, \Sigma) L(μ,Σ) 最大化。

在这个上下文中, L ( μ , Σ ) L(\mu, \Sigma) L(μ,Σ) 表示似然函数,它是一个关于参数 μ \mu μ Σ \Sigma Σ 的函数,用于描述观测数据 x 1 , x 2 , x 3 , . . . , x 79 x^1, x^2, x^3, ..., x^{79} x1,x2,x3,...,x79 在给定参数下的概率。似然函数通常假设数据是根据多元高斯分布生成的,公式如下:

L ( μ , Σ ) = f μ , Σ ( x 1 ) ⋅ f μ , Σ ( x 2 ) ⋅ f μ , Σ ( x 3 ) ⋅ . . . ⋅ f μ , Σ ( x 79 ) L(\mu, \Sigma) = f_{\mu, \Sigma}(x^1) \cdot f_{\mu, \Sigma}(x^2) \cdot f_{\mu, \Sigma}(x^3) \cdot ... \cdot f_{\mu, \Sigma}(x^{79}) L(μ,Σ)=fμ,Σ(x1)fμ,Σ(x2)fμ,Σ(x3)...fμ,Σ(x79)

其中, f μ , Σ ( x ) f_{\mu, \Sigma}(x) fμ,Σ(x) 是多元高斯分布的概率密度函数,参数为 μ \mu μ Σ \Sigma Σ。这个似然函数表示了给定参数下观测数据集中每个数据点的出现概率,然后将它们的概率连乘得到整个数据集的似然。

你的目标是找到最大化似然函数的参数 μ ∗ \mu^* μ Σ ∗ \Sigma^* Σ,即:

μ ∗ , Σ ∗ = arg ⁡ max ⁡ μ , Σ L ( μ , Σ ) \mu^*, \Sigma^* = \arg\max_{\mu, \Sigma} L(\mu, \Sigma) μ,Σ=argμ,ΣmaxL(μ,Σ)

这通常涉及到通过数值方法(如梯度上升法或牛顿法)来找到似然函数的极大值点,从而找到最可能的参数值 μ ∗ \mu^* μ Σ ∗ \Sigma^* Σ,以使数据集的生成概率最大化。这是多元高斯分布的最大似然估计过程。
在这里插入图片描述

假设概率P(x|C_1)的分布服从 f μ , Σ ( x ) = 1 ( 2 π ) D / 2 1 ∣ Σ ∣ 1 / 2 e x p { − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) } f_{\mu, \Sigma}(x)=\frac{1}{(2 \pi)^{D/2}} \frac{1}{|\Sigma|^{1/2}} exp\{-\frac{1}{2}(x-\mu)^T \Sigma ^{-1}(x-\mu)\} fμ,Σ(x)=(2π)D/21∣Σ1/21exp{21(xμ)TΣ1(xμ)},如何计算概率P

其中
μ = [ 75.0 71.3 ] \mu=\begin{bmatrix} 75.0\\ 71.3\\ \end{bmatrix} μ=[75.071.3]

Σ = [ 874 327 327 929 ] \Sigma=\begin{bmatrix} 874&327\\ 327&929\\ \end{bmatrix} Σ=[874327327929]

根据提供的信息,我们知道概率密度函数 P ( x ∣ C 1 ) P(x|C_1) P(xC1) 符合多元高斯分布,其中参数如下:

均值向量 μ \mu μ
μ = [ 75.0 71.3 ] \mu=\begin{bmatrix} 75.0\\ 71.3\\ \end{bmatrix} μ=[75.071.3]

协方差矩阵 Σ \Sigma Σ
Σ = [ 874 327 327 929 ] \Sigma=\begin{bmatrix} 874&327\\ 327&929\\ \end{bmatrix} Σ=[874327327929]

现在,如果你想计算在给定条件 C 1 C_1 C1 下,随机变量 x x x 落在某个区域 [ a , b ] [a, b] [a,b] 内的概率,你可以使用概率密度函数来计算。具体来说,你可以计算 P ( x ∣ C 1 ) P(x|C_1) P(xC1) 的积分,从 a a a b b b,如下:

P ( a ≤ x ≤ b ∣ C 1 ) = ∫ a b 1 ( 2 π ) D / 2 ∣ Σ ∣ 1 / 2 exp ⁡ ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) d x P(a \leq x \leq b | C_1) = \int_{a}^{b} \frac{1}{(2 \pi)^{D/2} |\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right) dx P(axbC1)=ab(2π)D/2∣Σ1/21exp(21(xμ)TΣ1(xμ))dx

在这个公式中,你可以将 a a a b b b 设置为你感兴趣的区间的上下限。通过计算上述积分,你可以获得随机变量 x x x 落在该区间内的条件概率。

这是一个连续分布的概率计算示例,根据具体的区间和需要计算的概率,你可以替换 a a a b b b 来计算不同区域内的条件概率。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1091790.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

车载电子电器架构 —— 车载芯片技术简介

我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 屏蔽力是信息过载时代一个人的特殊竞争力,任何消耗你的人和事,多看一眼都是你的不…

芯片制造:一颗芯片到底是如何诞生的(下)

目录 背景 芯片制造:晶圆厂的王国 上游:晶圆材料准备 中游:晶圆加工过程 下游:封装与测试 产业链分工视角:设计、制造、封装、测试的分工合作 小结 背景 上一讲,我带你从市场需求分析开始&#xff0…

嵌入式开发学习之STM32F407串口(USART)收发数据(三)

嵌入式开发学习之STM32F407串口(USART)收发数据(三) 开发涉及工具一、选定所使用的串口二、配置串口1.配置串口的I/O2.配置串口参数属性3.配置串口中断4.串口中断在哪里处理5.串口如何发送字符串 三、封装串口配置库文件1.创建头文…

洛谷【入门6】函数与结构体-P5735 【深基7.例1】距离函数

## 题目描述 给出平面坐标上不在一条直线上三个点坐标 (x1​,y1​),(x2​,y2​),(x3​,y3​),坐标值是实数,且绝对值不超过 100.00,求围成的三角形周长。保留两位小数。 对于平面上的两个点 (x1​,y1​),(x2​,y2​),则这两个点…

【C++】哈希对unordered_map和unodered_set的封装

🚀write in front🚀 📜所属专栏: C学习 🛰️博客主页:睿睿的博客主页 🛰️代码仓库:🎉VS2022_C语言仓库 🎡您的点赞、关注、收藏、评论,是对我最大…

第9期ThreadX视频教程:自制个微秒分辨率任务调度实现方案(2023-10-11)

视频教程汇总帖:【学以致用,授人以渔】2023视频教程汇总,DSP第12期,ThreadX第9期,BSP驱动第26期,USB实战第5期,GUI实战第3期(2023-10-11) - STM32F429 - 硬汉嵌入式论坛 …

“之江创客”聚焦农村电商创新发展 扎实助推共同富裕

10月10日下午,由商务部中国国际电子商务中心指导,浙江省商务厅等十个部门主办,浙江省电子商务促进中心联合丽水市商务局承办的“之江创客”2023全球电子商务创业创新大赛农村电商赛区决赛暨颁奖典礼在丽水圆满落幕。浙江省商务厅党组成员、副…

Folium笔记: Popup

1 介绍 在 folium 中,Popup 是一个用于在地图上显示附加信息的对象。当在地图上点击一个标记(例如,一个点或者一个形状)时,Popup 会显示出来。Popup 可以包含纯文本,但也可以包含HTML代码 2 主要参数 htm…

安捷伦E9326A/E9327A射频传感器

出售Agilent安捷伦E9326A/E9327A射频传感器 E9326A 是 Agilent 使用的 18 GHz 0.1 瓦射频传感器。电子测试设备传感器测量波形的功率,例如多音和调制射频 (RF) 波形。传感器使用二极管检测器收集高度精确的调制测量值。 1.5 MHz 视频带宽,非常适合蓝牙?…

Python算法练习 10.14

leetcode 2095 删除链表的中间节点 给你一个链表的头节点 head 。删除 链表的 中间节点 ,并返回修改后的链表的头节点 head 。 长度为 n 链表的中间节点是从头数起第 ⌊n / 2⌋ 个节点(下标从 0 开始),其中 ⌊x⌋ 表示小于或等于…

androidx和v4包资源冲突解决方法

一、资源包会报如下错误: 错误类似 (androidx.core:core:1.10.0) 和 (com.android.support:support-compat:24.2.0) 表示资源重复,不知调用androidx包下面的,还是v4包下面的 Duplicate class android.support.v4.app.INotificationSideCha…

恒温区检测热电偶

声明 本文是学习GB-T 4000-2017 焦炭反应性及反应后强度试验方法. 而整理的学习笔记,分享出来希望更多人受益,如果存在侵权请及时联系我们 7— 进气口; 8— 测温热电偶。 图 A.1 单点测温加热炉体结构示意图 A.3 温度控制装置 控制精度:(11003)℃。…

RK3568 DRM显示框架

一.简介 显示子系统是 Rockchip 平台显示输出相关软硬件系统的统称,它包括 VOP(比较老的平台叫 LCDC,比如 RK3188、RK3066)和 RGB、BT1120、BT656、I8080(MCU 显示接口),LVDS、MIPI DSI、EDP、…

PyTorch模型INT8量化基础

PyTorch模型INT8量化基础 最基础的Tensor量化校准两种不同的量化方案每张量和每通道量化方案量化后端引擎配置QConfigTensor量化Post Training Static Quantization (训练后静态量化)fuse_model:融合网络中的一些层 设置qCONFIGprepare: 定标 :scale 和 zero_point喂…

ASEMI整流桥KBL410需要散热片吗?

编辑-Z 在决定电子设备或半导体组件的配置时,了解每个部件的性能和需求至关重要。那么,对于KBL410这款整流桥,它是否需要散热片呢?在本文中,我们将详细解析KBL410的工作原理,以及是否需要散热片。 首先&am…

数字电路中触发器/锁存器的简单理解,与电路结构

1,为什么有触发器? 数字逻辑电路系统包含组合逻辑和时序逻辑。组合逻辑用来实现与状态无关的门电路,比如算法的实现函数,无反馈,无记忆;时序逻辑则主要用来同步电路的各个状态,有反馈,有记忆&a…

Java多线程间的通信:生产者消费者问题

逻辑分析 代码实现 package ThreadCommunction;import sun.security.krb5.internal.crypto.Des;import java.util.Date;//目标:了解线程通信 public class ThreadTest {public static void main(String[] args) {//需求:3个生产者线程,负责产…

STM32F4X OLED使用

STM32F4X OLED使用 OLED简介OLED使用OLED驱动芯片SSD1309引脚SSD1309通信协议4线SPI模式3线SPI模式I2C模式OLED地址确认 8080接口OLED 8080写模式OLED 8080读模式 6800接口 SSD1309显示原理SSD1309显存大小SSD1309显存分布SSD1039数据显示MCU操作SSD1309显存方法 OLED取模字符取…

C++类总结

参考: C中的private, public, protected_c private-CSDN博客https://www.cnblogs.com/corineru/p/11001242.html C 中 Private、Public 和 Protected 的区别 Private Public Protected 声明为private类成员只能由基类内部的函数访问。 可以从任何地方访问声明…

Linux系统编程详解

Linux 多线程编程 什么是线程? 与线程类似,线程是允许应用程序并发执行多个任务的一种机制 线程是轻量级的进程(LWP:Light Weight Process),在 Linux 环境下线程的本 质仍是进程。 一个进程可以包含多个线…