分类错误率

最小错误率贝叶斯决策

样本$x$的错误率： 任一决策都可能会有错误。
$$P(\text{error}|\mathbf{x})=\{\begin{array}{ll}P(w_2|\mathbf{x}),& \text{if we decide }\mathbf{x}\text{ as }{w}_1\\ P(w_1|\mathbf{x}),& \text{if we decide }\mathbf{x}\text{ as }{w}_2\end{array}$$
$P(w_2|x)$即：当我们将样本$x$判定为第一类$w_1$时，这个判定失误的概率为$P(w_2|x)$；（因为样本以该概率属于第二类）

样本$x$的最小错误率：
$$P(\text{error}|\mathbf{x})=\min (P({\omega }_1|\mathbf{x}),P({\omega }_2|\mathbf{x}))$$
贝叶斯决策的错误率：贝叶斯决策的错误率定义为所有服从独立同分布的样本上的错误率的期望：
$$P(\text{error})=\int P(\text{error}|\mathbf{x})p(\mathbf{x})dx$$

例：错误率(1D)

关于错误率，以一维为例说明： 考虑一个有关一维样本的两类分类问题。假设决策边界$t$将$x$轴分成两个区域$R_1$和$R_2$。$R_1$为$(-\infty ,t)$，$R_2$为$(t,\infty )$。

错误情形：样本在$R_1$中，但属于第二类的概率是存在的，即$P(w_2|\mathbf{x})$；样本在$R_2$中，但属于第一类的概率也是存在的，即$P(w_1|\mathbf{x})$；这两种情形就是决策一个给定样本$x$可能出现错误的概率。

考虑样本自身的分布后的平均错误率计算如下：
$$\begin{array}{rl}P(\text{error})& ={\int }_{-\infty }^{t}P(w_2|\mathbf{x})p(\mathbf{x})d\mathbf{x}+{\int }_t^{\infty }P(w_1|x)p(\mathbf{x})d\mathbf{x}\\ & ={\int }_{-\infty }^{t}P(\mathbf{x}|w_2)P(w_2)d\mathbf{x}+{\int }_t^{\infty }\\ & =P(\mathbf{x}\in R_1,w_2)+P(\mathbf{x}\in R_2,w_1)\end{array}$$

两类情形

平均错分概率：
$$\begin{gathered} P(\text{error})=P(\mathbf{x}\in R_2,w_1)+P(\mathbf{x}\in R_1,w_2) \\ ={\int }_{R_2}p(\mathbf{x}|w_1)P(w_1)d\mathbf{x}+{\int }_{R_1}p(\mathbf{x}|w_2)P(w_2)d\mathbf{x} \\ =P(\mathbf{x}\in R_2|w_1)P(w_1)+P(\mathbf{x}\in R_1|w_2)P(w_2) \end{gathered}$$

例子

平均错分概率：
$$P(\text{error})={\int }_{R_2}p(\mathbf{x}|w_1)P(w_1)d\mathbf{x}+{\int }_{R_1}p(\mathbf{x}|w_2)P(w_2)d\mathbf{x}$$

多类情形

平均错分概率：
$$P(\text{error})=\sum _{i=1}^c\sum _{j\ne i}P(x\in R_j,w_i)$$
平均分类精度：
$$\begin{array}{rl}P(\text{correct})& =\sum _{i=1}^{c}P(\mathbf{x}\in R_i,w_i)\\ & =\sum _{i=1}^{c}P(\mathbf{x}\in R_i|w_i)P(w_i)\\ & ={\int }_{R_i}p(\mathbf{x}|w_i)P(w_i)d\mathbf{x}\end{array}$$

离散变量bayes决策

概率分布函数: $P(\mathbf{x}|w_i)=P({\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_d|w_i)$

独立二值特征 (Binary features)

特征独立假设（Naïve Bayes）:
$$P(\mathbf{x}|{\omega }_j)=P(x_1,x_2,\dots ,x_d|{\omega }_j)=\prod _{j=1}^{d}P(x_j|{\omega }_j)$$

每维特征服从伯努利分布（0/1分布）

在类别 $w_1$ 下，第 $i$ 个特征 $x_i$ 取值为 1 的概率	在类别 $w_2$ 下，第 $i$ 个特征 $x_i$ 取值为 1 的概率
$p_i = P(X_{i}=1	w_1),\quad i = 1,\ldots,d$
$P(\mathbf{x}	w_1)=\prod_{i = 1}{d}p_i{x_i}(1 - p_i)^{1 - x_i}$

似然比:
$$\frac{P(\mathbf{x}|{\omega }_1)}{P(\mathbf{x}|{\omega }_2)}=\prod _{i=1}^d{\left(\frac{p_i}{q_i}\right)}^{x_i}{\left(\frac{1-p_i}{1-q_i}\right)}^{1-x_i}$$
判别函数(QDF):
$$\begin{array}{rl}g(\mathbf{x})& =g_1(\mathbf{x})-g_2(\mathbf{x})=\ln P(\mathbf{x}|w_1)P(w_1)-\ln P(\mathbf{x}|w_2)P(w_2)\\ & =\sum _{i=1}^d\left[x_i\ln \frac{p_i}{q_i}+(1-x_i)\ln \frac{1-p_i}{1-q_i}\right]+\ln \frac{P(w_1)}{P(w_2)}\\ & =\sum _{i=1}^d\ln \frac{p_i}{q_i}\frac{1-q_i}{1-p_i}{\mathbf{x}}_i+\sum _{i=1}^d\ln \frac{1-p_i}{1-q_i}+\ln \frac{P(w_1)}{P(w_2)}\\ & =\sum _{i=1}^d{w}_i{x}_i+w_0\\ & \{\begin{array}{ll}{w}_i& =\ln \frac{p_i(1-q_i)}{q_i(1-p_i)},i=1,\dots ,d\\ w_0& ={\sum }_{i=1}^d\ln \frac{1-p_i}{1-q_i}+\ln \frac{P(w_1)}{P(w_2)}\end{array}\end{array}$$

例子$\times 1$

例子是基于朴素贝叶斯分类器的二分类问题，并利用独立二值特征（Binary Features）推导出分类的决策边界 $g(x)=0$ 的过程。

已知：
$$\begin{gathered} P({\omega }_1)=0.5,P({\omega }_2)=0.5 \\ {p}_i=0.8,q_i=0.5,i=1,2,3 \end{gathered}$$

$$\begin{gathered} P(\mathbf{x}|{\omega }_1)=\prod _{i=1}^3{p}_i^{x_i}(1-p_i{)}^{1-x_i} \\ P(\mathbf{x}|{\omega }_2)=\prod _{i=1}^3{q}_i^{x_i}(1-q_i{)}^{1-x_i} \\ g(\mathbf{x})=\sum _{i=1}^3{w}_i{x}_i+w_0 \\ {w}_i=\ln \frac{0.8(1-0.5)}{0.5(1-0.8)}=\ln 4=1.3863 \\ {w}_0=\sum _{i=1}^3\ln \frac{1-0.8}{1-0.5}+\ln \frac{0.5}{0.5}=3\ln \frac{2}{5}=-2.7489 \end{gathered}$$

例子$\times 2$

3D binary data - $P(w_1)=0.5,P(w_2)=0.5$ -
$$\begin{gathered} p_1=p_2=0.8,p_3=0.5;q_i=0.5,i=1,2,3 \\ {w}_i=\ln \frac{0.8(1-0.5)}{0.5(1-0.8)}=\ln 4=1.3863,i=1,2 \\ {w}_3=0,i=3 \\ {w}_0=2\ln \frac{1-0.8}{1-0.5}=-1.8326 \end{gathered}$$

复合模式分类（Compound Bayesian Decision Theory and Context）

多个样本同时分类$\mathbf{X}=[x_1,x_2,\dots ,x_n]w=w(1)w(2)\cdots w(n)$

比如：字符串识别

贝叶斯决策：
$$P(w|\mathbf{X})=\frac{p(\mathbf{X}|w)P(w)}{p(\mathbf{X})}=\frac{P(\mathbf{X}|w)P(w)}{{\sum }_{w^{\prime }}P(\mathbf{X}|w^{\prime })P(w^{\prime })}$$
其中：

• $P(w|\mathbf{X})$ 是后验概率，即给定样本序列 $\mathbf{X}$，其属于类别 $w$ 的概率。
• $P(\mathbf{X}|w)$ 是类别 $w$ 下样本序列 $\mathbf{X}$ 的条件概率（似然）。
• $P(w)$ 是类别$w $的先验概率。
• $P(\mathbf{X}) $是归一化项，用于保证所有类别的后验概率之和为 1。

注意：$w$类别数巨大$(c^n)$，$p(\mathbf{X}|w)$存储和估计困难.

选择后验概率最大的类别：
$$w^{\ast }=\arg \underset{w}{\max }P(w|\mathbf{X})$$

条件独立：在已知类别条件下，样本之间相互独立，即：
$$P(\mathbf{X}|w)=\prod _{i=1}^{n}P(x_i|w)$$
这种假设极大地简化了 $P(\mathbf{X}|w)$ 的计算，但可能会损失精度，因为在实际问题中，序列中的样本通常是相关的（例如时间序列或字符序列）。

先验假设（Prior assumption）

• 马尔可夫链（Markov chain）

  • 先验概率可以表示为：
    $$P(w)=P[w(1),w(2),\dots ,w(n)]=P[w(1)]\prod _{j=2}^{n}P[w(j)|w(j-1)]$$

• 隐马尔可夫模型（Hidden Markov model，第 3 章介绍）
  $$P(\mathbf{X},w)=P(w(1))\prod _{j=2}^{n}P(w(j)|w(j-1))\prod _{i=1}^{n}P(x_i|w(i))$$

与复合模式识别类似的问题：多分类器融合

有同一个分类问题的$K$个分类器，对于样本$x$，怎样使用$K$个分类结果得到最终分类结果？

一个分类器的输出：离散变量 e k ∈ { w 1 , … , w c } e_k\in\{w_1,\dots,w_c\} ek​∈{w1​,…,wc​}

多个分类器的决策当作样本$x$的多维特征，用Bayes方法重新分类:
$$P(w_i|e_1,\dots ,e_K)=\frac{P(e_1,\dots ,e_K|w_i)P(w_i)}{P(e_1,\dots ,e_K)},i=1,\dots ,c$$
需要估计离散空间的类条件概率 :指数级复杂度，需要大量样本
$$P(e_1,\dots ,e_K|w_i)$$
特征独立假设（Naïve Bayes）
$$P(e_1,\dots ,e_K|w_i)=\prod _{k=1}^{K}P(e_k|w_i)$$

总结

在已知类条件概率密度$p(\mathbf{x}|w_j)$和类先验分布$P(w_j)$的情况下，如何基于贝叶斯决策理论对样本$\mathbf{x}$分类的问题

1. 单模式分类：连续特征、离散特征
2. 复合模式分类
3. 多分类器融合

贝叶斯分类器(基于贝叶斯决策的分类器)是最优的吗？

• 贝叶斯分类器是基于贝叶斯决策理论的分类器，其目标是最小化分类的总体风险（即误分类风险）。
  • 最小风险：通过最小化条件风险（如 0-1 损失），选择最优分类。
  • 最大后验概率决策 ：在每个样本点 $\mathbf{x}$，选择后验概率最大的类别。
• 最优的条件：概率密度$p(\mathbf{x}|w_i)$和先验概率$P(w_i)$、风险能准确估计
• 具体的参数法（如正态分布假设）、非参数法（如 Parzen 窗、核密度估计）是贝叶斯分类器的近似，实际中难以达到最优。
• 判别模型（如逻辑回归、支持向量机 SVM）：回避了概率密度估计，以较小复杂度估计后验概率$P(w_i|\mathbf{x})$或判别函数$g(\mathbf{x})$。
• 什么方法能胜过贝叶斯分类器：在不同的特征空间才有可能。

Q1: 贝叶斯分类器（基于贝叶斯决策的分类器）是最优的吗？

• 理论上：是的，贝叶斯分类器在理论上是最优的分类器，因为它最小化了分类风险。
• 实际中：不一定，因为贝叶斯分类器依赖于概率密度函数的精确估计，而实际中往往难以精确估计这些密度函数，特别是当数据分布复杂或高维时。

Q2: 什么方法能胜过贝叶斯分类器？

• 判别模型，如逻辑回归、SVM、神经网络等，特别是在以下情况下可能胜过贝叶斯分类器：
  1. 数据的真实分布复杂，难以准确建模。
  2. 特征空间高维，生成模型对概率估计的难度更大。
  3. 数据量有限时，生成模型容易过拟合。

{x}$分类的问题

1. 单模式分类：连续特征、离散特征
2. 复合模式分类
3. 多分类器融合

贝叶斯分类器(基于贝叶斯决策的分类器)是最优的吗？

• 贝叶斯分类器是基于贝叶斯决策理论的分类器，其目标是最小化分类的总体风险（即误分类风险）。
  • 最小风险：通过最小化条件风险（如 0-1 损失），选择最优分类。
  • 最大后验概率决策 ：在每个样本点 $\mathbf{x}$，选择后验概率最大的类别。
• 最优的条件：概率密度$p(\mathbf{x}|w_i)$和先验概率$P(w_i)$、风险能准确估计
• 具体的参数法（如正态分布假设）、非参数法（如 Parzen 窗、核密度估计）是贝叶斯分类器的近似，实际中难以达到最优。
• 判别模型（如逻辑回归、支持向量机 SVM）：回避了概率密度估计，以较小复杂度估计后验概率$P(w_i|\mathbf{x})$或判别函数$g(\mathbf{x})$。
• 什么方法能胜过贝叶斯分类器：在不同的特征空间才有可能。

Q1: 贝叶斯分类器（基于贝叶斯决策的分类器）是最优的吗？

• 理论上：是的，贝叶斯分类器在理论上是最优的分类器，因为它最小化了分类风险。
• 实际中：不一定，因为贝叶斯分类器依赖于概率密度函数的精确估计，而实际中往往难以精确估计这些密度函数，特别是当数据分布复杂或高维时。

Q2: 什么方法能胜过贝叶斯分类器？

• 判别模型，如逻辑回归、SVM、神经网络等，特别是在以下情况下可能胜过贝叶斯分类器：
  1. 数据的真实分布复杂，难以准确建模。
  2. 特征空间高维，生成模型对概率估计的难度更大。
  3. 数据量有限时，生成模型容易过拟合。