这个小节的内容很少，因为自己数学水平实在太差，所以理解不到之处还请批评指正。
在分类任务中我们希望尽可能减少错误的分类，例如我们有一些病人的临床数据，希望通过这些临床数据对患者的诊断提供帮助，比如根据临床数据病人的疾病类型。我们希望根据每一个病人的临床数据$\mathbf{x}$将其分到一个合适的疾病${\mathcal{C}}_k$上。如果把病人的临床数据$\mathbf{x}$所在的空间切分为不同的区域${\mathcal{R}}_k$，这种区域就是决策区域，每种疾病对应一个决策区域，决策区域的边界叫做决策边界或者决策面。每个疾病的决策区域不一定是连续的，如果是二分类问题，如判定患者是否患有高血压（${\mathcal{C}}_1$表示未患高血压，${\mathcal{C}}_2$表示患有高血压），那么分类错误的概率就为：
$$\begin{array}{rl}p(mistake)& =p(\mathbf{x}\in {\mathcal{R}}_1,{\mathcal{C}}_2)+p(\mathbf{x}\in {\mathcal{R}}_2,{\mathcal{C}}_1)\\ & ={\int }_{{\mathcal{R}}_1}p(\mathbf{x},{\mathcal{C}}_2)d\mathbf{x}+{\int }_{{\mathcal{R}}_2}p(\mathbf{x},{\mathcal{C}}_1)d\mathbf{x}\end{array}$$
其中$\mathbf{x}$表示患者的临床数据，显然为了有最小的错误分类，对$\mathbf{x}$的分类结果应该让上式被积函数最小。我们只看$\mathbf{x}$一个属性的情况，如通过BMI指数判定患者是否有高血压，令$x$表示BMI指数，现在有一组BMI和血压的数据，红线以上的血压为高血压。

直观的感觉，我们可以通过下面一个绿线对其进行分割。这样只有5个患者被错误的分类。

那么我们选择的这条绿线到底合不合理，或者说具体的BMI我们应该选择几，才能使得分类错误最少呢？我对其理解是：将BMI与患有高血压和未患高血压的概率密度函数拟合出来，如：

现在我们随意找一个位置再进行分割，

发现错误部分的面积主要为红色和橙色区域，仔细观察发现绿线的移动并不影响橙色部分的面积，仅对红色部分面积有影响，显然最小错误分类的$x$值应该取红线和蓝线的交叉点的值。