图例
概念
决策树基本上就是对经验的总结
决策树的构成，分为两个阶段。构造和剪枝
构造
概念
构造就是生成一颗完整的决策树。构造的过程就是选择什么属性作为节点的过程
构造过程，会存在3种节点
- 根节点：就是树的最顶端，最开始的那个节点。在上图中，“天气”就是一个根节点
- 内部节点: 就是树中间的那些节点。比如说“温度”、“湿度”、“刮风”
- 叶节点: 就是树最底部的节点，也就是决策结果
问题
在构造过程，要解决3个重要的问题
- 选择那些属性作为根节点
- 选择那些属性作为子节点
- 什么时候停止并得到目标状态，即叶子节点
如果解决节点属性构造问题
纯度、信息熵、信息增益
决策树的构造过程理解成为寻找纯净划分的过程。纯度换一种方式来解释就是让目标变量的分歧最小
剪枝
概念
剪枝就是给决策树瘦身，是为防止过拟合(Overfitting)现象的发生
欠拟合&&过拟合
欠拟合，和过拟合就好比是下面这张图中的第一个和第三个情况一样
造成过拟合的原因之一就是因为训练集中样本量较小
预剪枝
预剪枝是在决策树构造时就进行剪枝
方法是在构造的过程中对节点进行评估，如果对某个节点进行划分，在验证集中不能带来准确性的提升
那么对这个节点进行划分就没有意义，这时就会把当前节点作为叶节点，不对其进行划分
后剪枝
后剪枝就是在生成决策树之后再进行剪枝，通常会从决策树的叶节点开始，逐层向上对每个节点进行评估
如果剪掉这个节点子树，与保留该节点子树在分类准确性上差别不大，或者剪掉该节点子树，能在验证集中带来准确性的提升，那么就可以把该节点子树进行剪枝
方法是：用这个节点子树的叶子节点来替代该节点，类标记为这个节点子树中最频繁的那个类
