一、模型评估

模型指标

常见关于分类的指标

准确率

精确率(精确度)

召回率

F1 score

PR曲线：

ROC

AUC

二、过拟合和欠拟合

训练与泛化误差的区别

什么样的情况会导致欠拟合与过拟合？

模型的复杂度（能够拟合各种各样函数的能力）

模型复杂度产生的影响

数据的复杂度

当数据复杂度与模型复杂度都在变化时

模型的选择

总结

三、模型验证

估计泛化误差

常见生成验证数据集的方法

样本不具有随机性时

具体的例子（预测房价）

k折交叉验证法（数据没有那么多）

常见的错误

总结

对于机器学习来讲，我们更关心是在新数据中模型对其的预测情况是否正确（对新数据是否有泛化能力）；本节讲的是，对于一个算法如果只是在这个数据中训练的比较好的话，不代表在新的数据上效果比较好，所以将会介绍怎么样去衡量模型的好坏
值得注意的是，本节是给定了数据与超参数并且已经训练好了模型，然后再来判断模型的好坏（与超参数与数据相关）

一、模型评估

模型指标

在监督学习中，我们常会使用最小化损失函数来训练模型，所以损失(loss value)是用来衡量模型质量的指标；
模型的质量要由多个指标来衡量如分类时的模型精度、目标检测时的mAP、部署到产品时的商业指标（模型对营收的增长、模型反馈的效率（inference latency））
通常会通过模型指标对模型进行选择（通过多个指标）

例子：广告展示

用于搜索词（在看的具体网页） --> 取出相关的网页 --> 预测用户点击广告的点击率（点击率高的给用户看）【因为不知道点击率会是多少，所以弄成一个机器学习的问题，用机器学习来判断用户的点击（二分类问题）】 --> 把所有的广告通过CTR(点击率)乘上甲方给的钱来排序。

常见关于分类的指标

准确率（Accuracy）：在样本中预测正确的比例是多少【衡量分类问题最常见的作法，但是我们不关心对负类（我们不需要的类型）的准确率】。
精度（Precision）：对具体类i 看预测正确了为类i 的有多少个比上预测的结果为类i的总数量
召回率（Recall）：对预测正确的类i个数比上样本中类i 的数量。
F1：作为精度与召回的权衡。

混淆矩阵是数据科学和机器学习中经常使用的用来总结分类模型预测结果的表，用n行n列的矩阵来表示，将数据集中的记录按照“真实的类别”和“预测的类别”两个标准进行汇总。以二分类任务为例，混淆矩阵的结构如下：

TP = True Postive = 真阳性； FP = False Positive = 假阳性
FN = False Negative = 假阴性； TN = True Negative = 真阴性
第一位表示模型预测的是否正确，T(True)表示预测正确,F(False)表示预测错误；
第二位表示模型的预测结果，P(Positive)表示预测为正样本，N(negative)表示预测为负样本；
TP：表示实际为正被预测为正的样本数量，
FP：表示实际为负但被预测为正的样本数量，
FN：表示实际为正但被预测为负的样本的数量，
TN：表示实际为负被预测为负的样本的数量。
另外，TP+FP表示所有被预测为正的样本数量，同理FN+TN为所有被预测为负的样本数量，TP+FN为实际为正的样本数量，FP+TN为实际为负的样本数量。

准确率

准确率是分类正确的样本占总样本个数的比例，即：

其中，n_correct为被正确分类的样本个数，n_total为总样本个数。

准确率是分类问题中最简单直观的评价指标，但存在明显的缺陷。比如如果样本中有99%的样本为正样本，那么分类器只需要一直预测为正，就可以得到99%的准确率，但其实际性能是非常低下的。也就是说，当不同类别样本的比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素。

精确率(精确度)

精确率指模型预测为正的样本中实际也为正的样本占被预测为正的样本的比例。计算公式为：

多分类任务精确率的两种方式：

Macro Average 宏平均：是指在计算均值时使每个类别具有相同的权重，最后结果是每个类别的指标的算术平均值。
Micro Average 微平均：是指计算多分类指标时赋予所有类别的每个样本相同的权重，将所有样本合在一起计算各个指标。

宏平均和微平均的比较：

如果每个类别的样本数量差不多，那么宏平均和微平均没有太大差异
如果每个类别的样本数量差异很大，那么注重样本量多的类时使用微平均，注重样本量少的类时使用宏平均
如果微平均大大低于宏平均，那么检查样本量多的类来确定指标表现差的原因
如果宏平均大大低于微平均，那么检查样本量少的类来确定指标表现差的原因

召回率

召回率指实际为正的样本中被预测为正的样本所占实际为正的样本的比例。

召回率直观地说是分类器找到所有正样本的能力. 召回率最好的值是1，最差的值是0.

F1 score

F1 score也被叫做F-score或F-measure。F1 score可以解释为精确率和召回率的加权平均值.
F1 score的最好值为1，最差值为0. 精确率和召回率对F1 score的相对贡献是相等的。

F1 score是精确率和召回率的调和平均值，计算公式为：

Precision体现了模型对负样本的区分能力，Precision越高，模型对负样本的区分能力越强；
Recall体现了模型对正样本的识别能力，Recall越高，模型对正样本的识别能力越强。
F1 score是两者的综合，F1 score越高，说明模型越稳健。

PR曲线：

评价一个模型的好坏，不能仅靠精确率或者召回率，最好构建多组精确率和召回率，绘制出模型的P-R曲线。
下面说一下P-R曲线的绘制方法。P-R曲线的横轴是召回率，纵轴是精确率。P-R曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时返回结果对应的召回率和精确率。整条P-R曲线是通过将阈值从高到低移动而生成的。原点附近代表当阈值最大时模型的精确率和召回率。

如果一个模型的P-R曲线被另一个模型的P-R曲线完全包住，则可断言后者的性能优于前者，例如上面的A和B优于学习器C。
如果两个模型的PR曲线相交，如A和B的性能无法直接判断，我们可以根据曲线下方的面积大小来进行比较，但更常用的是平衡点或者是F1值。
平衡点(BEP)是P=R时的取值，如果这个值较大，则说明学习器的性能较好。
而F1 = 2 * P * R ／( P + R )，同样，F1值越大，我们可以认为该学习器的性能较好。

ROC

在ROC曲线中，横轴是假正例率（FPR），纵轴是真正例率（TPR）。

真正类率(True Postive Rate)TPR: TP / (TP+FN),代表分类器预测的正类中实际正实例占所有正实例的比例。
负正类率(False Postive Rate)FPR: FP / (FP+TN)，代表分类器预测的正类中实际负实例占所有负实例的比例。
ROC曲线也需要相应的阈值才可以进行绘制，原理同上的PR曲线。

下图为ROC曲线示意图，因现实任务中通常利用有限个测试样例来绘制ROC图，因此应为无法产生光滑曲线，如右图所示。

绘图过程：

step1.给定m个正例子，n个反例子，根据学习器预测得分进行排序;
step2.先把分类阈值设为最大，使得所有例子均预测为反例，此时TPR和FPR均为0，在（0，0）处标记一个点;
step3.再将分类阈值依次设为每个样例的预测值，即依次将每个例子划分为正例。设前一个坐标为(x,y)，若当前为真正例，对应标记点为(x,y+1/m)，若当前为假正例，则标记点为（x+1/n,y），然后依次连接各点。

ROC曲线图中的四个点

第一个点：(0,1)，即FPR=0, TPR=1，这意味着FN=0，并且FP=0。这是完美的分类器，它将所有的样本都正确分类。
第二个点：(1,0)，即FPR=1，TPR=0，类似地分析可以发现这是一个最糟糕的分类器，因为它成功避开了所有的正确答案。
第三个点：(0,0)，即FPR=TPR=0，即FP=TP=0，可以发现该分类器预测所有的样本都为负样本（negative）。
第四个点：（1,1），分类器实际上预测所有的样本都为正样本。经过以上的分析，ROC曲线越接近左上角，该分类器的性能越好。

AUC

1） AUC (Area Under Curve)

被定义为ROC曲线下的面积，取值范围一般在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

2）AUC 的计算方法

非参数法：（两种方法实际证明是一致的）

(1)梯形法则：早期由于测试样本有限，我们得到的AUC曲线呈阶梯状。曲线上的每个点向X轴做垂线，得到若干梯形，这些梯形面积之和也就是AUC 。
(2)Mann-Whitney统计量：统计正负样本对中，有多少个组中的正样本的概率大于负样本的概率。这种估计随着样本规模的扩大而逐渐逼近真实值。

参数法：

主要适用于二项分布的数据，即正反样本分布符合正态分布，可以通过均值和方差来计算。

3）从AUC判断分类器（预测模型）优劣的标准

AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。

0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

注：AUC值越大的分类器，正确率越高。

二、过拟合和欠拟合

虽然模型会有很好的精度，但是在实际情况中可能会有很大的问题（在数据上取得比较好的成绩与在实际应用中做的好不好，中间是有比较大的代沟的）

训练误差：模型在训练数据上看到的错误率
泛化误差：模型在新的（没见过）数据上的训练结果的误差

例子：

用过去考试的试题来预测未来的考试
在过去考试的训练误差（在历年真题上的成绩）不一定能保证你能在未来考试能取得一个理想的成绩
学生A在历年真题上取得了不错的成绩（把所有参考书中的答案记下来了），可能在模拟考试中成绩不错，但是在真正考试的时候效果可能没那么好
学生B没有记住题目但是他理解了解题思路，虽然在历年真题上的成绩没有A这么好但是在新的考试上成绩可能也跟A差不多（或者好）。