sheng的学习笔记-AI-概率图,隐马尔可夫HMM,马尔可夫随机场MRF,条件随机场CRF

news2024/9/19 23:58:33

 ai目录:sheng的学习笔记-AI目录-CSDN博客 

贝叶斯分类: https://blog.csdn.net/coldstarry/article/details/138861587

基础知识

概率图模型

概率图模型(probabilistic graphical model)是一类用图来表达变量相关关系的概率模型

它以图为表示工具,最常见的是用一个结点表示一个或一组随机变量,结点之间的边表示变量间的概率相关关系,即“变量关系图”​。

根据边的性质不同,概率图模型可大致分为两类:

  • 第一类是使用有向无环图表示变量间的依赖关系,称为有向图模型或贝叶斯网(Bayesian network);
  • 第二类是使用无向图表示变量间的相关关系,称为无向图模型或马尔可夫网(Markov network)。

有向图和无向图模型

  • 无向图模型的因子是势函数,需要全局归一化。

    优点是:势函数设计不受概率分布的约束,设计灵活。(势函数下面有介绍)

  • 有向图模型的因子是概率分布,不需要全局归一化。

    优点是:训练相对高效。

生成式模型和判别式模型

生成式模型

生成式模型是直接对联合分布进行建模,涉及到多个随机变量的概率分布,即当考虑两个或更多个随机变量时,它们的联合概率分布。这种建模方法扩展了单个随机变量的概率分布概念,允许同时处理多个变量的情况,关注于如何处理和利用多个变量之间的关系,以便更好地理解和预测数据。例如在处理多维数据时,通过分析多个变量的联合分布,可以更好地理解数据的内在结构和关系。这种建模方法不仅适用于传统的数据驱动的AI应用,也适用于处理多模态数据和多任务学习等复杂场景。 

图建模数据的联合概率分布p(x, y)。判别模型基于概率理论,已知输入变量x,通过构建条件概率分布P(y|x)来预测y

个人理解:多个变量,人不知道这些变量之间的映射关系,通过概率建模,知道一些节点就知道他们临近节点的数据

判别式模型

判别式模型则是对条件分布进行建模, 注于如何在给定输入的情况下预测输出,即直接对条件概率分布p(y|x;θ)进行建模。试图对多个变量在给定观测值后的条件概率进行建模。这种建模方法被称为判别建模。

若令x={x1,x2,...,xn}为观测序列,y={y1,y2,...,yn}为与之相应的标记序列,则条件随机场的目标是构建条件概率模型P(y|x)

个人理解:根据已知数据:x,y,构建 x=>y 的函数,在计算的过程中会计算因为x导致对y的影响

隐马尔可夫模型(HMM)

基本概念

隐马尔可夫模型(Hidden Markov Model,简称HMM)是结构最简单的动态贝叶斯网(dynamic Bayesian network),这是一种著名的有向图模型,主要用于时序数据建模,在语音识别、自然语言处理等领域有广泛应用

如图14.1所示,隐马尔可夫模型中的变量可分为两组。

  • 第一组是状态变量{y1,y2,...,yn},其中yi∈Y表示第i时刻的系统状态。通常假定状态变量是隐藏的、不可被观测的,因此状态变量亦称隐变量(hidden variable)。
  • 第二组是观测变量{x1,x2,...,xn},其中xi∈X表示第i时刻的观测值。

在隐马尔可夫模型中,系统通常在多个状态{s1,s2,...,sN}之间转换,因此状态变量yi的取值范围Y(称为状态空间)通常是有N个可能取值的离散空间。观测变量xi可以是离散型也可以是连续型,为便于讨论,我们仅考虑离散型观测变量,并假定其取值范围x为{o1,o2,...,oM}。

流程

HMM模型的发力点主要体现在下述三个问题上 

例如许多任务需根据以往的观测序列{x1,x2,...,xn-1}来推测当前时刻最有可能的观测值xn,这显然可转化为求取概率P(x|λ),即上述第一个问题;在语音识别等任务中,观测值为语音信号,隐藏状态为文字,目标就是根据观测信号来推断最有可能的状态序列(即对应的文字)​,即上述第二个问题;在大多数现实应用中,人工指定模型参数已变得越来越不可行,如何根据训练样本学得最优的模型参数,恰是上述第三个问题。

值得庆幸的是,基于式(14.1)的条件独立性,隐马尔可夫模型的这三个问题均能被高效求解。

算法

HMM学习问题指的是:给定观测值序列,如何调整模型的参数使得该序列出现的概率最大。这便转化成了机器学习问题,即从给定的观测值序列中学习出一个HMM模型,该问题正是EM算法的经典案例之一。其思想也十分简单:对于给定的观测值序列,如果我们能够按照该序列潜在的规律来调整模型的三个参数,则可以使得该序列出现的可能性最大。假设状态值序列也已知,则很容易计算出与该序列最契合的模型参数:

但一般状态值序列都是不可观测的,且即使给定观测值序列与模型参数,状态序列仍然遭遇组合爆炸。因此上面这种简单的统计方法就行不通了,若将状态值序列看作为隐变量,这时便可以考虑使用EM算法来对该问题进行求解:

【1】首先对HMM模型的三个参数进行随机初始化;【2】根据模型的参数与观测值序列,计算t时刻状态为i且t+1时刻状态为j的概率以及t时刻状态为i的概率。

iwYn6H.png

iwYdns.png

【3】接着便可以对模型的三个参数进行重新估计:

iwYY9S.png

【4】重复步骤2-3,直至三个参数值收敛,便得到了最终的HMM模型。

马尔可夫随机场(MRF)

基础概念

马尔可夫随机场(Markov Random Field:MRF)是一种典型的马尔可夫网,即使用无向边来表达变量间的依赖关系,是一种著名的无向图模型

马尔可夫随机场的一个应用是图像降噪,图像分割等场景

马尔可夫随机场或马尔可夫网络可以认为是马尔可夫链在多维度上的推广。在马尔可夫链中,状态只依赖于时间上的前一个状态,而在马尔可夫随机场中,每个状态都依赖于它在多个方向上的邻态。马尔可夫随机场可以被可视化为随机变量的场或图,其中每个随机变量的分布取决于与其相连的相邻变量。更具体地说,图中任意随机变量的联合分布可以计算为图中所有包含该随机变量的团(Clique)的“团势(clique potentials)势”的乘积。将问题建模为马尔可夫随机场是有用的,因为这意味着可以用这种方式计算图中每个顶点的联合分布。


在马尔可夫随机场中,对于关系图中的一个子集,若任意两结点间都有边连接,则称该子集为一个团;若再加一个结点便不能形成团,则称该子集为极大团。MRF使用势函数来定义多个变量的概率分布函数,其中每个(极大)团对应一个势函数,一般团中的变量关系也体现在它所对应的极大团中,因此常常基于极大团来定义变量的联合概率分布函数。

在图14.2中,{x1,x2},{x1,x3},{x2,x4},{x2,x5},{x2,x6},{x3,x5},{x5,x6}和{x2,x5,x6}都是团,并且除了{x2,x5},{x2,x6}和{x6,x6}之外都是极大团;但是,因为x2和x3之间缺乏连接,{x1,x2,x3}并不构成团。显然,每个结点至少出现在一个极大团中。

 具体而言,若所有变量构成的极大团的集合为C,则MRF的联合概率函数可以定义为:

例如图14.2中x={x1,x2,...,x6},联合概率分布Px定义为

MRF与贝叶斯

现实任务中,可能只知道两个变量之间存在相关关系,但是并不知道具体怎样相关,也就无法得到变量之间的依赖关系。

  • 贝叶斯网络需要知道变量之间的依赖关系,从而对依赖关系(即条件概率)建模。

  • 马尔科夫随机场并不需要知道变量之间的依赖关系。它通过变量之间的联合概率分布来直接描述变量之间的关系。

马尔可夫随机场可以应用于图像问题中。

  • 每个像素都表示成一个节点,相邻像素之间相互影响。
  • 像素之间并不存在因果关系,它们之间的作用是对称的。因此使用无向图概率模型,而不是有向图概率模型。

马尔科夫性

MRF的三个性质

  • 全局马尔可夫性:给定两个变量子集的分离集,则这两个变量子集条件独立。
  • 局部马尔可夫性:给定某变量的邻接变量,则该变量与其它变量条件独立。
  • 成对马尔可夫性:给定所有其他变量,两个非邻接变量条件独立。

全局马尔可夫性的一个证明:

将上图简化为如下所示:

势函数

图像降噪应用

马尔可夫随机场的一个应用是图像降噪。

如下图所示,左侧图片为原始图像,右侧图片为添加了一定噪音(假设噪音比例不超过 10%) 的噪音图像。现在给定噪音图像,需要得到原始图像。

这两类团就是模型中的最大团。

条件随机场(CRF)

什么是条件随机场

条件随机场(Conditional Random Field,简称CRF)是一种判别式无向图模型,可看作给定观测值的马尔可夫随机场,

 

举例

自然语言处理的词性标注任务中,观测数据为语句(即单词序列)​,标记为相应的词性序列,具有线性序列结构,如图14.5(a)所示;在语法分析任务中,输出标记则是语法树,具有树形结构,如图14.5(b)所示。

 理论上来说,图G可具有任意结构,只要能表示标记变量之间的条件独立性关系即可。但在现实应用中,尤其是对标记序列建模时,最常用的仍是图14.6所示的链式结构,即“链式条件随机场”(chain-structured CRF)。下面我们主要讨论这种条件随机场。

公式

与马尔可夫随机场定义联合概率的方式类似,条件随机场使用势函数和图结构上的团来定义条件概率P(y|x)。

采用指数势函数,并引入特征函数feature function,定义条件概率:

其中tj(yi+1,yi,x,i)是定义在观测序列的两个相邻标记位置上的转移特征函数(transition feature function),用于刻画相邻标记变量之间的相关关系以及观测序列对它们的影响,

sk(yi,x,i)是定义在观测序列的标记位置i上的状态特征函数(status feature function),用于刻画观测序列对标记变量的影响,

λj和μk为参数,Z为规范化因子,用于确保式(14.11)是正确定义的概率。

特征函数

要使用条件随机场,还需定义合适的特征函数。

特征函数通常是实值函数,以刻画数据的一些很可能成立或期望成立的经验特性。以图14.5(a)的词性标注任务为例,若采用转移特征函数

则表示观测值xi为单词“knock”时,它所对应的标记很可能为[V]​。

HMM,MRF,CRF对比

隐马尔可夫模型和马尔可夫随机场都是生成式模型(联合概率),而条件随机场则是判别式模型(条件概率)

条件随机场和马尔可夫随机场均使用团上的势函数定义概率,两者在形式上没有显著区别;

个人理解:

隐马尔可夫是有向无环图,此时节点之间是有方向的A->B,就是A会影响B,但B不会影响A,联合分布P(Y,R,O),其中Y代表隐藏状态,R代表其他可能相关的变量,而O代表观测值,其中O作为可能的临近节点来计算结果,虽然考虑了可观测值,但可观测值作为节点参与计算

条件随机场是无向图,节点互相之间会影响,没有方向的概念,A会影响B,B也会影响A。分布P(Y,R∣O),即给定观测值的情况下,隐藏状态和其他变量的条件分布,在O已经发生的前提下,计算结果值

所以隐马尔可夫和条件随机场,虽然都涉及到了可观测值,但原理不一样

参考文章:

15 概率图模型 - 15.1 隐马尔可夫模型(HMM) - 《周志华《机器学习》学习笔记》 - 书栈网 · BookStack

15 概率图模型 - 15.2 马尔可夫随机场(MRF) - 《周志华《机器学习》学习笔记》 - 书栈网 · BookStack

16.概率图与条件随机场 - 三、马尔可夫随机场 - 《AI算法工程师手册》 - 书栈网 · BookStack

15.隐马尔可夫模型 - 一、隐马尔可夫模型HMM - 《AI算法工程师手册》 - 书栈网 · BookStack

16.概率图与条件随机场 - 四、条件随机场 CRF - 《AI算法工程师手册》 - 书栈网 · BookStack

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2114684.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

mac|安装nginx

使用homebrew安装nginx brew install nginx 注意: 一般来说nginx会被默认安装在/usr/local/cellar,打开【访达】,前往【电脑】 由于/usr是隐藏文件,无法直接查看。通过 shiftommand. 即可查看 可以看到我的不在这里(我也不知道…

【ruoyi框架】开箱即用的管理系统框架

目录 1.简介 2.快速开始 2.1.仓库 2.2.环境初始化 3.使用介绍 3.1.权限与组件 3.2.开发与测试 1.简介 管理系统是当前软件市场上最常见的软件,管理系统在功能和界面上都有大量通用的点。 功能上通用的点包括但不限于: 角色、权限管理菜单管理鉴…

智能制造中,叉车防撞报警系统的数字化管理

由于叉车的价格便宜,装载能力强等特点,在工厂得到了广泛地使用,极大提升了仓库物料的流转效率。但叉车在使用当中,也存在一些风险,甚至带来一些事故。另外一个方面,如何对仓库进行有效地数字化管理&#xf…

智能电源控制箱

在数字化浪潮的推动下,智能化管理已成为各行各业转型升级的重要方向。作为这一趋势下的佼佼者,《智能电源控制箱》凭借其卓越的性能和便捷的操作,正逐步成为网络通信、监控安防等领域不可或缺的关键设备。本文将详细介绍这款集智能网络传输、…

[论文笔记]QLoRA: Efficient Finetuning of Quantized LLMs

引言 今天带来LoRA的量化版论文笔记——QLoRA: Efficient Finetuning of Quantized LLMs 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 我们提出了QLoRA,一种高效的微调方法,它在减少内存使用…

[论文笔记] t-SNE数据可视化

pip install matplotlib scikit-learn sentence-transformers数据分类别可视化 t-SNE算法将高维数据映射到2D空间后的坐标。 t-SNE是一种用于数据降维和可视化的技术,它的作用是将原本在高维空间中的复杂数据压缩到低维空间,同时尽可能保留数据点之间的距离关系。 举例: h…

Pr:首选项 - 颜色

Pr菜单:编辑/首选项 Edit/Preferences Premiere Pro 首选项中的“颜色” Color选项卡可以设置与显示颜色相关的选项。 若启用“显示色彩管理”,可以保证在不同显示设备上保持颜色一致性,它只影响显示效果,不会更改剪辑本身的颜色数…

C语言之预处理详情

目录 前言1.预定义符号2.#define定义常量3.#define定义宏4.带有副作用的宏参数5.宏替换的规则6.宏和函数的对比7.#和##运算符7.1 #运算符7.2 ##运算符 8.命名约定9.undef10.命令行指令11.条件编译12.头文件的包含12.1 头文件包含方式12.1.1 本地头文件包含12.1.2 库文件包含 12…

还不懂BIO,NIO,AIO吗

BIO(Blocking I/O)、NIO(Non-blocking I/O)和 AIO(Asynchronous I/O)是 Java 中三种不同的 I/O 模型,主要用于处理输入 / 输出操作。 一、BIO(Blocking I/O) 定义与工作原…

主窗口的设计与开发(二)

主窗口的设计与开发(二) 前言 在上一集当中,我们完成了主窗口的初始化,主窗口包括了左中右三个区域。我们还完成了对左窗口的初始化,左窗口包括了用户头像、会话标签页按钮、好友标签页按钮以及好友申请标签页按钮。对…

JavaFX基本控件-TextField

JavaFX基本控件-TextField 常用属性textpromptTextpaddingalignmentwidthheighttooltipbordereditabledisablevisible 格式化整形格式化 实现方式Java实现fxml实现 常用属性 text 设置文本内容 textField.setText("测试数据");promptText 设置文本字段的提示文本&am…

django ubuntu 踩坑集锦

目录 1 ubantu mysql查看表结构2 导入同级目录文件出现未解析引用错误3 第三方包——tinymce富文本编辑器4 verbose_name,verbose_name_plural5 搜索路径的添加6 auto_now_add 和 auto_now7 auth_user的表结构8 在 Django 中定义 ForeignKey 字段时,必须指定 on_del…

共享内存喜欢沙县小吃

旭日新摊子好耶! 系统从0开始搭建过通信方案,本地通信方案的代码:System V IPC 里面有共享内存、消息队列、信号量 共享内存 原理 两个进程有自己的内存区域划分,共享内存被创建出的时候是归属操作系统的,还是通过…

STM32G474内部温度传感器的使用

目录 概述 1 认识STM32G474内部温度传感器 1.1 温度传感器概述 1.2 温度传感器实现原理 1.3 读取温度方法 1.4 ADC模块上温度sensor的位置框图 2 STM32Cube创建项目 2.1 配置参数 2.2 STM32Cube生成的软件架构 3 温度数据算法实现 3.1 算法介绍 3.2 源代码 概述…

【H2O2|全栈】关于HTML(1)认识HTML

HTML相关知识 目录 前言 准备工作 WEB前端是什么? HTML是什么? 如何运行HTML文件? 标签 概念 分类 双标签和单标签 行内标签和块标签 HTML文档结构 预告和回顾 UI设计相关 Markdown | Md文档相关 项目合作管理相关 后话 前…

顶踩Emlog插件源码

源码介绍 顶踩Emlog插件源码 前些天看到小刀娱乐网的文章页面有了一些变化,那就是增加了一个有价值/无价值的顶踩按钮。 样式也是非常的好看 再加上两个表情包是非常的有趣。 写到了Emlog系统,效果如上图。 如何使用: 需要在echo_log.…

Python 算法交易实验88 QTV200日常推进-关于继续前进的思考

说明 念念不忘,必有回响 最初的时候,完全不了解架构方面的东西。后来决定要搞好这一块的时候,也就是不断的琢磨,到现在4年的时间,改变已经非常大了。现在习以为常的,都是当初梦寐以求的,而且在可见的未来 &…

论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes

论文精读-Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes 优势 1、构建了一个用于监督原始视频去噪的基准数据集。为了多次捕捉瞬间,我们手动为对象s创建运动。在高ISO模式下捕获每一时刻的噪声帧,并通过对多个噪声帧进行…

龙芯+FreeRTOS+LVGL实战笔记(新)——05部署主按钮

本专栏是笔者另一个专栏《龙芯+RT-Thread+LVGL实战笔记》的姊妹篇,主要的区别在于实时操作系统的不同,章节的安排和任务的推进保持一致,并对源码做了改进和优化,各位可以先到本人主页下去浏览另一专栏的博客列表(目前已撰写36篇,图1所示),再决定是否订阅。此外,也可以…

行空板上YOLO和Mediapipe图片物体检测的测试

Introduction 经过前面三篇教程帖子(yolov8n在行空板上的运行(中文),yolov10n在行空板上的运行(中文),Mediapipe在行空板上的运行(中文))的介绍,…