《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第1章 统计学习方法概论
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第 2章感知机
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第4章 朴素贝叶斯法

我算是有点基础的（有过深度学习和机器学的项目经验），但也是半路出家，无论是学Python还是深度学习，都是从问题出发，边查边做，没有系统的学过相关的知识，这样的好处是入门快（如果想快速入门，大家也可以试试，直接上手项目，从小项目开始），但也存在一个严重的问题就是，很多东西一知半解，容易走进死胡同出不来（感觉有点像陷入局部最优解，找不到出路），所以打算系统的学习几本口碑比较不错的书籍。
  书籍选择： 当然，机器学习相关的书籍有很多，很多英文版的神书，据说读英文版的书会更好，奈何英文不太好，比较难啃。国内也有很多书，周志华老师的“西瓜书”我也有了解过，看了前几章，个人感觉他肯能对初学者更友好一点，讲述的非常清楚，有很多描述性的内容。对比下来，更喜欢《统计学习方法》，毕竟能坚持看完才最重要。
  笔记内容： 笔记内容尽量省去了公式推导的部分，一方面latex编辑太费时间了，另一方面，我觉得公式一定要自己推到一边才有用（最好是手写）。尽量保留所有标题，但内容会有删减，通过标黑和列表的形式突出重点内容，要特意说一下，标灰的部分大家最好读一下（这部分是我觉得比较繁琐，但又不想删掉的部分）。
  代码实现： 最后是本章内容的实践，如果想要对应的.ipynb文件，可以留言

第5章 决策树

  决策树（decision tree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。

  决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

  其主要优点是模型具有可读性，分类速度快。

• 学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。
• 预测时，对新的数据，利用决策树模型进行分类。

  决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。

5.1 决策树模型与学习

5.1.1 决策树模型

  定义5.1（决策树） ：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶结点（leaf node）。

• 内部结点表示一个特征或属性
• 叶结点表示一个类

  用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这时，每一个子结点对应着该特征的一个取值。

  如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点的类中。

5.1.2 决策树与if-then规则

  可以将决策树看成一个if-then规则的集合。

  决策树转换成if-then规则：由决策树的根结点到叶结点的每一条路径构建一条规则；

• 路径上内部结点的特征对应着规则的条件，
• 而叶结点的类对应着规则的结论。

  决策树的路径或其对应的if-then规则集合具有一个重要的性质：互斥并且完备。

（这就是说，每一个实例都被一条路径或一条规则所覆盖，而且只被一条路径或一条规则所覆盖。这里所谓覆盖是指实例的特征与路径上的特征一致或实例满足规则的条件。）

5.1.3 决策树与条件概率分布

特征空间---划分
  决策树还表示给定特征条件下类的条件概率分布。这一条件概率分布定义在特征空间的一个划分（partition）上。将特征空间划分为互不相交的单元（cell）或区域（region），并在每个单元定义一个类的概率分布就构成了一个条件概率分布。

路径--划分单元
  决策树的一条路径对应于划分中的一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。

条件概率分布
  假设$X$为表示特征的随机变量，Y为表示类的随机变量，那么这个条件概率分布可以表示为$P(Y|X)$。

  X取值于给定划分下单元的集合，Y取值于类的集合。

条件概率--类
  各叶结点（单元）上的条件概率往往偏向某一个类，即属于某一类的概率较大。决策树分类时将该结点的实例强行分到条件概率大的那一类去。

决策树：

• 图5.2（a）示意地表示了特征空间的一个划分。图中的大正方形表示特征空间。这个大正方形被若干个小矩形分割，每个小矩形表示一个单元。特征空间划分上的单元构成了一个集合，X取值为单元的集合。
• 为简单起见，假设只有两类：正类和负类，即Y取值为+1和–1。小矩形中的数字表示单元的类。
• 图5.2（b）示意地表示特征空间划分确定时，特征（单元）给定条件下类的条件概率分布。
• 图5.2（b）中条件概率分布对应于图5.2（a）的划分。
• 当某个单元$c$（每个单元定义一个类的概率分布）的条件概率满足$P(Y＝+1|X＝c)>0.5$时，则认为这个单元属于正类，即落在这个单元的实例都被视为正例。
• 图5.2（c）为对应于图5.2（b）中条件概率分布的决策树。

5.1.4 决策树学习

决策树学习—数据集

  假设给定训练数据集$D=((x_1,y_1),(x_2,y_2)\dots .,(x_N,y_N))$

决策树学习—目的

  其中，$x_i=(x_i^1,x_i^2,......,x_i^n{)}^T$为输入实例(特征向量），n为特征个数 $Y_i\in (1，\cdot \cdot K)$为类标记，$N$ 为样本容量。决策树学习的目标是根据给定的训练数据集构建一个决策树模型，使它能够对实例进行正确的分类。

决策树学习—本质
  决策树学习本质上是从训练数据集中归纳出一组分类规则。（与训练数据集不相矛盾的决策树（即能对训练数据进行正确分类的决策树）可能有多个，也可能一个也没有。）

  我们需要的是一个与训练数据矛盾较小的决策树，同时具有很好的泛化能力。从另一个角度看，决策树学习是由训练数据集估计条件概率模型。基于特征空间划分的类的条件概率模型有无穷多个。我们选择的条件概率模型应该不仅对训练数据有很好的拟合，而且对未知数据有很好的预测。

决策树学习—损失函数

  决策树学习用损失函数表示这一目标。如下所述，决策树学习的损失函数通常是正则化的极大似然函数。决策树学习的策略是以损失函数为目标函数的最小化。

决策树学习—学习问题
  当损失函数确定以后， 学习问题就变为在损失函数意义下选择最优决策树**的问题。因为从所有可能的决策树中选取最优决策树是NP完全问题，所以现实中决策树学习算法通常采用启发式方法，近似求解这一最优化问题。这样得到的决策树是次最优（suboptimal）的。

决策树学习—构建决策树过程

  决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。

开始，构建根结点：

1. 将所有训练数据都放在根结点。
2. 选择一个最优特征，按照这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。
3. 如果这些子集已经能够被基本正确分类，那么构建叶结点，并将这些子集分到所对应的叶结点中去；
4. 如果还有子集不能被基本正确分类，那么就对这些子集选择新的最优特征，继续对其进行分割，构建相应的结点。
5. 如此递归地进行下去，直至所有训练数据子集被基本正确分类，或者没有合适的特征为止。
6. 最后每个子集都被分到叶结点上，即都有了明确的类。这就生成了一棵决策树。

决策树学习—剪枝

剪枝原因：

  以上方法生成的决策树可能对训练数据有很好的分类能力，但对未知的测试数据却未必有很好的分类能力，即可能发生过拟合现象。

剪枝过程：

  我们需要对已生成的树自下而上进行剪枝，将树变得更简单，从而使它具有更好的泛化能力。具体地，就是去掉过于细分的叶结点，使其回退到父结点，甚至更高的结点，然后将父结点或更高的结点改为新的叶结点。

  如果特征数量很多，也可以在决策树学习开始的时候，对特征进行选择，只留下对训练数据有足够分类能力的特征。

决策树学习—模型

  可以看出，决策树学习算法包含特征选择、决策树的生成与决策树的剪枝过程。由于决策树表示一个条件概率分布，所以深浅不同的决策树对应着不同复杂度的概率模型。

• 决策树的生成对应于模型的局部选择，
• 决策树的剪枝对应于模型的全局选择。

  决策树的生成只考虑局部最优，相对地，决策树的剪枝则考虑全局最优。

  决策树学习常用的算法有ID3、C4.5与CART，下面结合这些算法分别叙述决策树学习的特征选择、决策树的生成和剪枝过程。

5.2 特征选择

5.2.1 特征选择问题

特征选择—--什么是具有分类能力的特征
  特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习的效率。（如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征是没有分类能力的。）

特征选择—--特征选择的准则

  经验上扔掉这样的特征对决策树学习的精度影响不大。通常特征选择的准则是信息增益或信息增益比。

首先通过一个例子来说明特征选择问题。
例5.1
[1] 表5.1是一个由15个样本组成的贷款申请训练数据。数据包括贷款申请人的4个特征（属性）：

• 第1个特征是年龄，有3个可能值：青年，中年，老年；
• 第2个特征是有工作，有2个可能值：是，否；
• 第3个特征是有自己的房子，有2个可能值：是，否；
• 第4个特征是信贷情况，有3个可能值：非常好，好，一般。

表的最后一列是类别，

• 是否同意贷款，取2个值：是，否。

  特征选择是决定用哪个特征来划分特征空间。 直观上，如果 个特征具有更好的分类能力，或者说，按照这个特征将训练数据集分割成子集，使得各个子集在当前条件下有最好的分类，那么就更应该选择这个特征。信息增益 Cinformation gain) 就能够很好地表示这 直观的准则。

5.2.2 信息增益

  为了便于说明，先给出熵与条件熵的定义。在信息论与概率统计中，熵（entropy） 是表示随机变量不确定性的度量。
------熵-------
  设X是一个取有限个值的离散随机变量，其概率分布为：

$$P(X=x_i)=p_i$$

  则随机变量X的熵定义为：

$$H(X)=-\sum _{i=1}^n{p}_{i}log(p_i)(5.1)$$

  在式（5.1）中，若$p_i＝0$，则定义$0log0＝0$。

  通常，式（5.1）中的对数以2为底或以e为底（自然对数），这时熵的单位分别称作比特（bit）或纳特（nat）。

  由定义可知，熵只依赖于X的分布，而与X的取值无关，所以也可将X的熵记作$H(p)$，即

$$H(p)=-\sum _{i=1}^n{p}_{i}log(p_i)(5.1)$$

  熵越大，随机变量的不确定性就越大。

------条件熵-------

  条件熵$H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性。

  随机变量$X$给定的条件下随机变量$Y$的 条件熵（conditional entropy）H(Y|X)，定义为$X$给定条件下$Y$的 条件概率分布的熵对X的数学期望

$$H(Y|X)=\sum _{i=1}^{n}H(Y|X=x_i)$$
------经验熵-------

  当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵与条件熵分别称为 经验熵（empirical entropy）和经验条件熵（empirical conditional entropy）。

------信息增益-------

  此时，如果有0概率，令0log0＝0。信息增益（information gain）表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。

------互信息-------

  一般地，熵$H(Y)$与条件熵$H(Y|X)$之差称为**互信息**（mutual information）。

  决策树学习中的信息增益等价于训练数据集中类与特征