《机器学习》周志华-CH4（决策树）

news2024/11/14 6:09:46

4.1基本流程

决策树是一类常见的机器学习方法，又称“判别树”，决策过程最终结论对应了我们所希望的判定结果。

$\begin{cases} 一个根结点 &包含样本全集 \\ 若干个内部结点 & 对应属性测试，每个结点包含的样本集合根据属性测试结果划分到子结点中 \\ 若干个叶结点 & 对应决策结果 \\ \end{cases}$

决策树的生成是一个递归过程

有三种情况会递归返回
在这里插入图片描述

4.2划分选择

关键在于如何选择最优划分属性

我们希望决策树分支结点所包含的样本尽可能属同一类别，即“纯度”（purity）越来越高

4.2.1信息增益

“信息熵”（information entropy）是度量样本纯度的一种指标
在这里插入图片描述

学习一棵能预测是不是好瓜的决策树。 $∣ y ∣ = 2$

数据集一共17个西瓜，正例8个，反例9个。则 $P_{1}=\frac{8}{17}$ , $P_{2}=\frac{9}{17}$

信息熵：

计算当前属性集合{色泽，根蒂，瞧声，纹理，脐部，触感}每个属性信息增益。

在这里插入图片描述

$\begin{cases} Gain(D,根蒂)=0.143 &\\ Gain(D,敲声)=0.141 & \\ Gain(D,纹理)=0.381 & 最大，选为划分属性 \\ Gain(D,脐部)=0.289 & \\ Gain(D,触感)=0.006 & \\ \end{cases}$

在这里插入图片描述

4.2.2增益率

信息增益准则对可取值数目较多的属性有所偏好

$C_{4.5}$ 决策树算法不直接使用信息增益，而是使用“增益率”（gain ratio）

在这里插入图片描述

增益率准则对可取值数目较少的属性有所偏好。

$C_{4.5}$ 并不是直接使用增益率：先找信息增益高于平均水平的，再选择增益率最高。

4.2.3基尼参数

CART决策树使用“基尼指数”选择划分属性
在这里插入图片描述

4.3剪枝处理

剪枝(pruning)是用来解决“过拟合”，比如分支过多，把训练集自身的一些特点当作所有数据的一般性质。
在这里插入图片描述

4.3.1预剪枝

在这里插入图片描述

4.4连续与缺失值

4.4.1连续值处理

由于连续属性的可取值数目不再有限，连续属性离散化技术可派上用场。比如二分法(bipartition-)对连续属性进行处理( $C_{4.5}$ 决策树机制)

给定样本集 $D$ ，连续属性 $a$

假定 $a$ 在 $D$ 上出现了 $n$ 个不同值，从小到大排序
在这里插入图片描述

4.4.2缺失值处理

比如一些缺失属性值进行训练样例

(1)如何在属性缺失的情况下进行划分属性选择？
(2)给定划分属性，若该属性上的值缺失，如何对样本进行划分？
在这里插入图片描述

举例，数据集看之前 $C_{4.5}算法策略如上页一样的解决方案$

$D$ 一共有17个样例{1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17},各样例权值均为1

以属性“色泽”为例，属性上无缺失值的样例子集

在这里插入图片描述

4.5多变量决策树

若我们把每个属性视为坐标空间中的一个坐标轴，则 $d$ 个属性描述的样本就对应了 $d$ 维空间中的一个数据点寻找，寻找不同样本的分类边界。
决策树形成的分类边界特点：轴平行(axis-parallel),分类边界由若干个与坐标轴平行的分段组成

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2093476.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！