机器学习 - 概率图模型 之 概率图模型概述

本阶段将开启 概率图模型系列 的旅程。

1、概率图模型学习的意义

从自然语言处理 NLP 的角度看：

• 在自然语言处理 NLP 中，序列标注任务（如：分词、NER、词性识别）常用的算法是概率图模型中的：
  • HMM（隐马尔可夫模型）
  • Linear-chain CRF（线性链条件随机场）
• 即使是深度学习，在序列标注方面，也会使用 Bert + CRF （Bert：比较好的深度学习神经网络），其中，Bert 是对 CRF 的增强。
  • 也就是说，到了深度学习的时代，依旧少不了概率图模型的身影。

2、有向图和无向图

• 概率图模型最为"精彩"的部分就是：能够用简洁清晰的图，表达概率生成的关系

3、生成式模型与判别式模型

感受两者的区别：

• 生成式模型（generative model）

  • 内容：对联合分布 $p(x,y)$ 进行建模，有隐变量时求 $p(x,y,z)$

    • 模型做预测时，很多时候需要在已知 𝑋 特征的情况下，判断标签 𝑌 是什么（或出现的概率有多大），我们会把出现概率最大的类别当成我们预测的类别。

  • 包括：

    • 高斯混合模型（GMM：求不同类别所对应的高斯分布）
    • 以及 朴素贝叶斯（NB）、隐马尔可夫模型（HMM）等

• 判别式模型（discriminative model）

  • 内容：直接对条件概率分布 $p(y|x)$ 进行建模，有隐变量时求 $p(y,z|x)$

    • 判别式模型对应的算法都有判别式。我们根据计算出的模型，代入判别式中，去算最后所对应的结果是什么。

  • 包括：

    • 逻辑回归（LR）、决策树（DT）、神经网络（NN）、支持向量机（SVM）
    • 以及 最大熵模型（Maximum Entropy）、最大熵马尔可夫模型（MEMM）、条件随机场（CRF）等

小贴士

• 关于生成式模型与判别式模型的对比，推荐阅读文章：谈谈判别式模型与生成式模型（通过表格总结了它们的特点）

相关算法分类：

---

—— 说明：本文写于 2023.1.3-1.4