233搞懂HMM(隐马尔可夫)

news2024/11/23 15:33:32

文章目录

  • 2条性质
  • 3个参数
  • 3个问题
    • 维特比算法
  • 参考资料

有向图模型,主要用于时序数据建模,在语音识别,自然语言处理等领域,以及在知识图谱命名实体识别中的序列标注,有广泛应用。

HMM模型由两部分组成, 观测变量x状态变量y。其中状态变量又称为隐变量,常常被作为序列标注结果

2条性质

马尔可夫链性质:

  1. t时刻的状态变量y只由t-1时刻的状态决定,而与t-2及之前的无关
  2. t时刻的观测变量仅由t时刻的状态变量决定

3个参数

  1. 状态转移概率矩阵:
    NxN的矩阵,矩阵里的每个值记录从当前状态转移到其它状态的概率
  2. 输出观测概率矩阵:
    NxM的矩阵,M为观测值结果的个数
    矩阵记录从当前状态到每一个观测值的概率
  3. 初始状态概率
    在t=1初始时刻,各状态出现的概率。

给定隐马尔可夫模型 λ \mathbf{\lambda} λ,生成观测序列的过程:

  1. 设置t=1,根据初始状态概率参数,选择初始状态
  2. 根据输出观测概率矩阵,得出当前状态变量的观测变量
  3. 根据状态转移概率矩阵,得出当前状态变量的下一个状态变量
  4. 重复2-3过程,直到结束

3个问题

  1. 概率计算问题。给定模型 λ = ( A , B , π ) \lambda=\left(A,B,\pi\right) λ=(A,B,π)和观测序列 O = o 1 , o 2 , … , o T O=o_1,o_2,…,o_T Oo1o2,,oT,计算在模型 λ \lambda λ下观测序列 O O O出现的概率 P ( O | λ ) P\left(O\middle|\lambda\right) P(Oλ)。前向-后向算法是通过递推地计算前向-后向概率可以高效地进行隐马尔可夫模型的概率计算。

  2. 学习问题。已知观测序列 O = o 1 , o 2 , … , o T O=o_1,o_2,…,o_T Oo1o2,,oT,估计模型 λ = ( A , B , π ) \lambda=\left(A,B,\pi\right) λ=(A,B,π)参数,使得在该模型下观测序列概率 P ( O | λ ) P\left(O\middle|\lambda\right) P(Oλ)最大。即用极大似然估计的方法估计参数。EM算法可以高效地对隐马尔可夫模型进行训练。它是一种非监督学习算法。

  3. 预测问题。已知模型 λ = ( A , B , π ) \lambda=\left(A,B,\pi\right) λ=(A,B,π)和观测序列 O = o 1 , o 2 , … , o T O=o_1,o_2,…,o_T Oo1o2,,oT,求对给定观测序列条件概率 P ( I | O ) P\left(I\middle| O\right) P(IO)最大的状态序列 I = i 1 , i 2 , … , i T I=i_1,i_2,…,i_T Ii1i2,,iT维特比算法应用动态规划高效地求解最优路径,即概率最大的状态序列。

维特比算法

输入:HMM模型参数,观测序列
输出:状态序列
算法流程:
时刻由观测序列长度决定
δ \delta δ用于记录每一时刻各状态的概率
ψ \psi ψ用于记录前一个时刻的状态,便于回溯

  1. 初始化, δ \delta δ ψ \psi ψ ψ \psi ψ置为0
  2. 递归(动态规则,状态转移矩阵),
    现有t-1时刻,各状态出现的概率。
    根据状态转移矩阵,分别计算其转移到各个状态的概率,取最大值乘以输出观测概率
  3. 取累乘概率的最大值,并进行回溯,得到状态序列
class HiddenMarkov:
    def __self__(self):
        self.alphas = None
        self.forward_P = None
        self.betas = None
        self.backward_P = None
        
    def viterbi(self, Q, V, A, B, O, PI):
        # 状态集合的大小
        N = len(Q)
        # 观测序列的大小
        M = len(O)
        
        deltas = np.zeros((N, M))
        psi = np.zeros((N, M))
        I = np.zeros((1, M))
        
        # 遍历预测序列,即遍历全部时刻
        for t in range(M):
            # 得到这个观测序列值在观测集合里的索引 
            idxO= V.index(O[t])
            
            # 每一个时刻遍历所有状态
            for i in range(N):
                if t == 0:
                    deltas[i][t] = PI[0][i] * B[i][idxO]
                    psi[i][t] = 0
                else:
                    # t-1时刻所有的状态 与 转移到第i个状态的概率 对应相乘取最大值
                    # 再与输出预测相乘
                    deltas[i][t] = np.max(
                       np.multiply([delta[t-1] for delta in deltas], [a[i] for a in A])) * B[i][idxO]
                    
                    psi[i][t] = np.argmax(
                       np.multiply([delta[t-1] for delta in deltas], [a[i] for a in A]))
        # 得到最后一时刻的最大概率的下标
        I[0][M-1] = np.argmax([delta[M-1] for delta in deltas])
        # 由后向前递归得到其它结点
        for t in range(M - 2, -1, -1):
            I[0][t] = psi[int(I[0][t+1])][t+1]
        
        # 输出最优路径
        print('最优路径是:', "->".join([str(int(i + 1)) for i in I[0]]))
Q = [1, 2, 3]  # 状态序列
V = ['红', '白']
A = [[0.5, 0.2, 0.3], [0.3, 0.5, 0.2], [0.2, 0.3, 0.5]] # 状态转移
B = [[0.5, 0.5], [0.4, 0.6], [0.7, 0.3]]  # 输出观测
O = ['红', '白', '红']  # 观测序列
PI = [[0.2, 0.4, 0.4]]  # 初始概率分布

HMM = HiddenMarkov()
HMM.viterbi(Q, V, A, B, O, PI)

参考资料

  1. 《机器学习》周志华
  2. 《统计学习方法》李航
  3. 统计学习方法代码实现

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/59108.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

spring boot 应用mybatis

Mybatis入门: Mybatis入门_做测试的喵酱的博客-CSDN博客 目录 一、spring boot 应用mybatis 核心 二、举例: 2.1 背景 2.2 项目结构: 2.3 依赖包 pom 2.4 项目配置文件application.yml 2.5 实例层entity 2.6 mybatis的mapper层 2.7 spring boot…

Android—过渡按钮的简单实现

Android—过渡按钮的简单实现前言准备工作登录页面(activity_main.xml)登录成功页面(activity_new.xml)主要代码给登录按钮设置监听事件(MainActivity.xml)点击登录按钮出现加载动画(TransitionButton.java)当isSuccessful判断为true时(MainActivity.xml)加载动画结束时切入跳转…

C语言笔记-16-Linux基础-文件元数据

C语言笔记-16-Linux基础-文件元数据 文章目录C语言笔记-16-Linux基础-文件元数据前言一、概述二、ln 硬连接三、软连接四、stat 获取元数据总结前言 自学笔记,没有历史知识铺垫(省略百度部分)C语言笔记-16-Linux基础-文件元数据 一、概述 文…

Kaggle泰坦尼克号-决策树Top 3%-0基础代码详解

Titanic Disaster Kaggle,里的经典入门题目,因为在学决策树所以找了一个实例学习了一下,完全萌新零基础,所以基本每一句都做了注释。 原文链接:Titanic: Simple Decision Tree model score(Top 3%) | Kaggle 目录 1.…

SolidWorks如何绘制环形波纹垫片

环形波纹垫片主要用于螺纹式固定件或者防滑螺纹固定中,那这个环形垫片一般怎么用SolidWorks制作呢?首先我们观察到这样的垫片是上下此起彼伏的波纹状,厚度一般1MM左右,制作起来还是有点小难度,但是通过仔细观察,我们可以看到它的大概走向,如图 也就是特征就是这边凹下去…

获取Android签名MD5的方式

形而上者谓之道,形而下者谓之器 我们在申请百度云/腾讯云等第三方的各种服务时,经常会遇到需要提供包名和签名MD5的情况。这里特地总结一下: 1. 获取MD5的一般方式 1.1 有签名文件(.keystore)的情况下: keytool -list -v -keystore XXX.key…

【沐风老师】3DMAX一键生成圣诞树建模插件使用教程

圣诞节快到了,给大家分享一款3DMax一键生成圣诞树模型插件: 3DMAX一键生成圣诞树建模插件,可以生成定制和随机两种3D圣诞树模型,并自动赋予材质和贴图。 【安装方法】 方法一:解压后直接拖动插件脚本文件到3dMax窗口…

使用springboot实现jsonp|jsonp的实现|JSONP的实现使用springboot

1、服务端&#xff1a; 1.1、项目目录&#xff1a; 1.2、pom文件&#xff1a; <?xml version"1.0" encoding"UTF-8"?><project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instan…

从一到无穷大 #3 对象存储.浅谈

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。 本作品 (李兆龙 博文, 由 李兆龙 创作)&#xff0c;由 李兆龙 确认&#xff0c;转载请注明版权。 文章目录引言Windows Azure StorageNosql&#xff1a;TiKV为例总结引言 天才的开源精神对于普…

67-94-hive-函数-开窗函数-常用函数-udf自定义函数

67-hive-函数&#xff1a; UDF:一进一出&#xff0c;普通函数 UDAF:多进一出&#xff0c;聚合函数 UDTF&#xff1a;一进多出&#xff0c;炸裂函数 一、多指的是输入数据的行数。一行变多行&#xff0c;多行变一行。 函数 #查看系统自带的函数 hive> show functions; …

Docker以标准方式安装部署Redis

Docker安装redis的命令很简单&#xff0c;但是很多都是半成品的命令&#xff0c;说白了&#xff0c;就是自己玩玩&#xff0c;一个demo级别的redis而已。 本篇文章以最全的命令方式安装部署Redis。 注意&#xff1a; 本篇只是单机版的&#xff0c;只是公司测试环境使用&…

解决npm的 EACCES: permission denied 问题

居上位而不骄&#xff0c;在下者而不忧。 平时项目开发使用npm都顺风顺水的&#xff0c;but今天新建项目时&#xff0c;就出现了权限错误&#xff0c;具体如下&#xff1a; 但是通过下面的提示就可以轻松解决。 sudo chown -R 502:20 “/Users/cheng.wang/.npm” 官网相关议题…

Redis源码篇(7)——哨兵模式

哨兵模式 哨兵模式即在主从复制的基础上增加哨兵监控以控制主从切换实现高可用的一种模式。 本篇主要介绍sentinel系统初始化&#xff0c;心跳检测&#xff0c;故障转移的过程 初始化 从最开始的 redis-server xxx.conf --sentinel 、 redis-sentinel xxx.conf 命令看起。当一…

CUDA 编程简介

参考资料&#xff1a; NVIDIA CUDA Programming Guide, NVIDIA. (https://docs.nvidia.com/cuda/cuda-c-programming-guide/)国科大《并行与分布式计算》课程、NVIDIA 在线实验平台 文章目录GPU & CUDAG80 Graphics ModeG80 CUDA ModeCUDA Programming ModelCUDA Extends …

重定向转发,接收请求参数及数据回显-P11,12

重定向和转发&#xff1a; 我们的实现本身就是转发 。 想删掉视图解析器的话&#xff0c;就需要在return把路径写全 重定向就改为redirect&#xff1a;而且重定向不走视图解析器&#xff0c;因为是新的请求&#xff0c;新的URL。 接收请求参数&#xff1a; 第一种是默认的方式…

【FreeRTOS(十二)】事件标志组

文章目录事件标志组创建事件标志组 xEventGroupCreate将指定的事件位清零 xEventGroupClearBits将指定的事件位置 1 xEventGroupSetBits获取事件标志组值 xEventGroupGetBits等待指定的事件位 xEventGroupWaitBits代码示例事件标志组 事件标志位 事件位用来表明某个事件是否发…

嵌入式Linux 开发经验:编写用户态应用程序打开 misc 设备

参考文章 VSCode SSH 连接远程ubuntu Linux 主机 ubuntu 20.04 qemu linux6.0.1 开发环境搭建 ubuntu 20.04 qemu linux6.0.1 制作ext4根文件系统 嵌入式Linux 开发经验&#xff1a;platform_driver_register 的使用方法 嵌入式Linux 开发经验&#xff1a;注册一个 misc 设…

创新案例|实现YouTube超速增长的3大敏捷组织运营机制(上)

从2008年到2014年YouTube进入超速增长模式。时任核心技术负责人的 Shishir Mehrotra回顾了当时公司面临的挑战&#xff0c;以及带领YouTube团队如何建立一套敏捷运营机制的先进实践&#xff0c;以保持战略对齐并运营复杂的业务。这直接推进公司每周高效的工作节奏&#xff0c;以…

【Pytorch】模型的可复现性

背景 在做研究的时候&#xff0c;通常我们希望同样的样本&#xff0c;同样的代码能够得到同样的实验效果&#xff0c;但由于代码中存在一些随机性&#xff0c;导致虽然是同样的样本和程序&#xff0c;但是得到的结果不一致。在pytorch的官方文档中为此提供了一些建议&#xff…

复现 MMDetection

文章目录MMDetection 复现一、环境配置服务器信息安装CUDA下载并安装CUDA配置环境变量多个Cuda版本切换 (可选)安装CUDNN安装Anaconda搭建虚拟环境新建虚拟环境安装pytorchPycharm 远程连接代码同步配置服务器解释器二、训练和推理自制COCO格式数据集训练修改数据集相关参数修改…