第一章：绪论

        这里面讲了机器学习的基本概念，包括基本术语

1.1.基本概念

        数据集和样本集的区别。原始检测数据是总体,总体是统计所研究对象的全体,是包含所研究变量的全部个体的集合,具有同质性、差异性、大量性。构成总体的个别事物叫总体单位。样本检测数据是从总体中抽取的一部分元素的集合,是总体的一部分。

         一般的令表示包含m个示例的数据集，每个示例由d个属性描述，则每个示例是d维样本空间中的一个向量，其中是在第j个属性上的取值，d称为样本的“维数”。

        从数据中学得模型的过程称为“学习”或“训练”。若想要预测的数据是离散值，此类学习任务称为“分类”。若想要预测的数据是连续值，此类学习任务称为“回归”。

        根据训练数据是否拥有标记信息，学习任务可大致划分为两大类：“监督学习”和“无监督学习”，分类和回归是前者的代表，而聚类是后者的代表。

        机器学习的目标是使学得的模型能很好的适用于“新样本”，称为“泛化”能力，具有强泛化能力的模型能很好的适用于整个样本空间。

1.2假设空间

        监督学习的目的在于学习一个由输入到输出的映射，这一映射由模型来表示。换句话说，学习的目的就在于找到最好的这样的模型。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间（hypothesis space）。假设空间的确定意味着学习的范围的确定。        

        把机器训练的过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集匹配的假设。通过神经网络可知，训练其实就是在假设空间中进行学习，为神经网络的每个神经节点的权重值进行定义。

        需注意的是，现实问题中我们面临很大的假设空间，但学习过程是基于有限样本训练进行的，因此可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，称之为“版本空间”。

1.3.归纳偏好

        归纳偏好是人工智能中的一个核心概念，它描述了学习算法在处理数据时的某种“先决认知”。归纳偏好决定了学习算法在处理数据时的策略，它控制了算法在探索假设空间时的方向和速度。归纳偏好可以被看作是学习算法的某种内在约束，它限制了算法可以学到的模型的范围。

        归纳偏好可以是显式的(例如，通过手动设置算法参数)或隐式的(例如，通过算法设计和实现)。归纳偏好的选择对于机器学习算法的性能至关重要，因为不同的归纳偏好可能会导致不同的性能和泛化能力。

        任何一个有效的机器学习算法必有其归纳偏好，归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设。

        根据“没有免费的午餐”定理，简称NFL定理，脱离具体问题，空泛地谈论“什么学习算法更好”没有意义。要讨论算法的相对优劣，必须针对具体的学习问题。在某些问题上表现好的算法，在另一些问题上却可能不尽如人意。

1.4假设空间与归纳偏好的联系

        假设空间和归纳偏好之间存在密切的联系。假设空间决定了学习算法可以学到的模型的范围，而归纳偏好决定了学习算法在处理数据时的策略。因此，假设空间和归纳偏好共同决定了机器学习算法的性能。也就是在模型训练的时候，选择好假设空间，以及模型算法处理逻辑是决定模型最终效果的因素。

        假设空间和归纳偏好之间的关系可以通过以下方式理解：假设空间表示可能的模型集合，归纳偏好表示在处理数据时的策略。因此，假设空间和归纳偏好共同构成了机器学习算法的核心结构。

第2章  模型评估与选择

2.1 经验误差与过拟合

        一般把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”。学习器在训练集上的误差称为“训练误差”。在新样本上的误差称为“泛化误差”。我们更希望得到泛化误差小的学习器。

        当学习器把训练样本学得“太好”，很可能把训练样本自身的一些特点当作了所有潜在样本的一般性质，这样就会导致泛化性能下降，称为“过拟合”。过拟合无法彻底避免，只能减小其风险。

2.2 评估方法

2.2.1 留出法

        直接将数据集划分为两个互斥的集合，一个做训练集，一个做测试集

2.2.2 交叉验证法

        将数据集划分为k个大小相似的互斥子集，k-1个子集做为训练集，余下的那个子集做测试集。可进行k次训练和测试，最后返回k个测试结果的均值。

2.2.3 自助法

        通过自助采样的方法，生成训练集和测试集。

2.2.4 调参和最终模型

        除了要对适用的学习算法进行选择，还需要对算法参数进行设定，称为“参数调节”或简称“调参”。

2.3 性能度量

        回归任务最常用的性能度量是“均方误差”

2.3.1 错误率与精度

        西瓜书上对错误率的定义是：分类错误的样本数占样本总数的比例。

        西瓜书上对精度的定义是：分类正确的样本数占样本总数的比例。

2.3.2 查准率、查全率与F1

        TP：真正例 ；FP: 假正例；FN：假反例；TN：真反例

        查准率P=TP/(TP+FP)

        查全率R=TP/(TP+FN)

        F1=2*P*R/(P+R)

2.3.3 ROC与AUC

        ROC 曲线是一种用于评估分类模型性能的图形工具。它以真正例率（True Positive Rate，也叫灵敏度）为纵轴，假正例率（False Positive Rate，也叫误报率）为横轴，通常用于二分类问题。

• 真正例率（TPR）：又称为灵敏度、召回率（Recall），表示实际为正例的样本中，模型成功预测为正例的比例。计算公式为：TPR = TP / (TP + FN)。
• 假正例率（FPR）：表示实际为负例的样本中，模型错误预测为正例的比例。计算公式为：FPR = FP / (FP + TN)。

        AUC 是 ROC 曲线下方的面积，用于衡量分类模型的性能。AUC 的取值范围在 0 到 1 之间，数值越大表示模型的性能越好。

• AUC = 1：完美分类器，能够将所有正例排在所有负例前面。
• AUC = 0.5：随机分类器，性能和随机猜测相当。
• AUC < 0.5：分类器性能差于随机猜测。