前言
因为考了一次试,所以没讲太多新东西,唯一的问题是有的知识刚讲完就考了,导致我爆了......
正文
主要讲的就是一个贝叶斯分类模型,这是属于生成式的分类器了
Bayesian decision theory
我的理解是贝叶斯公式则是利用条件概率和全概率公式计算后验概率,就这么简单
但是虽然在训练模型时，理论上来说先验概率是模型的一部分，用于计算后验概率。但是在实际应用中，如果没有特定的先验知识，有时候也会使用均匀先验，即假设每个类别的先验概率相等。这意味着对于每个
都相等。
Naïve Bayes Classifier
朴素贝叶斯模型是一种基于贝叶斯定理和特征条件独立假设的分类方法。它以训练数据集为基础，通过学习得到不同特征条件下各类别的概率分布，进而对新的实例进行分类。
朴素贝叶斯（Naive Bayes）和贝叶斯分类器（Bayesian Classifier）都是基于贝叶斯定理的概率分类方法，但它们在假设和模型复杂度上有所不同。在贝叶斯分类中，朴素贝叶斯模型通常涉及到计算后验概率，其中分母是用于归一化的。在实际计算中，我们通常只关注后验概率的相对大小，因此并不需要计算完整的分母。这种做法被称为"朴素"，因为它简化了计算，假设特征之间是独立的，从而避免了计算联合概率分布的复杂性。
原理
朴素贝叶斯模型的原理基于贝叶斯定理，即在已知一些条件下，事件发生的概率。具体来说，对于给定的训练数据集，模型会学习以下内容：
- 先验概率 P(类别)：每个类别在训练集中的相对频率。
- 似然概率 P(特征∣类别)：在某个类别给定的情况下，特征出现的概率。由于朴素贝叶斯假设特征之间相互独立，因此可以分别计算每个特征在给定类别下的概率。
- 后验概率 P(类别∣特征)：在观察到特征的情况下，类别发生的概率。这是我们要计算的最终概率，用于分类。
使用
使用朴素贝叶斯模型进行分类的步骤如下：
- 训练阶段：根据训练数据集计算先验概率和似然概率。
- 分类阶段：对于新的实例，计算其在每个类别下的后验概率，选择具有最高后验概率的类别作为预测结果。
训练
训练朴素贝叶斯模型涉及以下步骤：
-
计算先验概率 P(类别)=类别的数量/总实例数量
-
计算似然概率 P(特征∣类别)： 对于每个特征，计算在给定类别下的概率。如果特征是连续的，通常会假设它服从高斯分布，然后计算该分布的参数（均值和方差）。如果特征是离散的，计算特征值在给定类别下的相对频率。
-
避免零概率问题：在计算似然概率时，如果某个特征值在训练集中没有出现在某个类别中，其概率会计算为0，这会导致后验概率也为0。为了解决这个问题，可以采用平滑技术，如拉普拉斯平滑（加1平滑），在计算概率时给每个计数加1。
-
模型存储：将计算得到的先验概率和似然概率存储起来，用于后续的分类。
分类
对于新的实例，分类步骤如下：
-
计算每个类别的后验概率：
P(类别∣特征)∝P(特征∣类别)×P(类别)
-
归一化后验概率：将计算得到的概率进行归一化，使它们的总和为1。
-
选择最高后验概率的类别：选择具有最高后验概率的类别作为预测结果。
Bayesian Network
贝叶斯网络（Bayesian Network），也称为信念网络（Belief Network）或决策网络（Decision Network），是一种概率图模型，它表示一组变量及其条件依赖性通过有向无环图（Directed Acyclic Graph，DAG）。在贝叶斯网络中，节点代表随机变量，而边代表变量之间的直接依赖关系。网络的结构反映了变量之间的条件独立性关系。
贝叶斯网络的核心是贝叶斯定理，它允许我们通过已知的概率来更新我们对某个事件发生的信念。在贝叶斯网络中，每个节点都有一个与之关联的概率分布，这个分布编码了该变量在其父节点（即直接指向该节点的节点）取特定值的情况下的概率。
贝叶斯网络的特点：
-
表示条件独立性：贝叶斯网络提供了一种直观的方式来表示变量之间的条件独立性。如果两个节点之间没有直接的边，那么它们在给定它们的共同祖先的情况下是条件独立的。
-
因果关系：网络中的箭头表示因果关系或信息流的方向。例如，如果节点A指向节点B，那么节点A的值会影响节点B的值，但节点B的值不会影响节点A。
-
概率分布的分解：联合概率分布可以通过网络结构分解为局部条件概率的乘积。每个节点只需要与其直接相连的节点（父节点、子节点）的概率信息。
-
推理：贝叶斯网络可以用于概率推理。给定一部分变量的值，我们可以计算网络中其他变量的概率分布。这种推理可以是因果推理（从原因到结果）或逆向推理（从结果到可能的原因）。
-
学习：贝叶斯网络可以通过数据学习得到。结构学习涉及到确定网络中节点的连接方式，而参数学习则是估计每个节点的条件概率分布。
