机器学习 | 评估原理——模型评估与交叉验证

news2025/1/13 15:41:01

Hi，大家好，我是半亩花海。学完分类算法原理的知识，我们进入评估相关知识的学习，继续更新《白话机器学习的数学》这本书的学习笔记，在此分享模型评估与交叉验证相关评估原理。本章的基于前几节已建立的模型进行评估知识的学习，欢迎大家交流学习！

一、模型评估

二、交叉验证

1. 回归问题的验证

2. 分类问题的验证

3. 交叉验证

一、模型评估

模型评估是对训练好的模型性能的好坏程度进行评估, 模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。

在进行回归和分类时，为了进行预测，我们定义了目标函数 $f_\theta (x)$ ，然后根据训练数据求出了函数的参数 $\theta$ 。也就是对目标函数进行微分，然后求出参数更新表达式的操作。

但其实我们真正想要的是通过预测函数得到预测值。以回归的那个例子来说，即基于广告费的点击量预测。我们希望 $f_\theta (x)$ 对未知数据 $x$ 输出的预测值尽可能正确。那我们如何测量预测函数 $f_\theta (x)$ 的精度（准确性，Accuracy）呢？对于一个变量的问题，我可以用图直观的表示出来：

像多重回归这样的问题，变量增加后就不能在图上展示了，而且特意去画图也很麻烦。所以我们需要能够定量地表示机器学习模型的精度。接下来我们就要考虑评估模型的方法有哪些？怎么用？

二、交叉验证

1. 回归问题的验证

把获取的全部训练数据分成两份：一份用于测试（用来评估模型），一份用于训练。

举个例子，假如有 10 个训练数据，那么实际上会按照 5 个测试数据、5 个训练数据来分配它们，但是比起 5 : 5，大多数情况会采用 3 : 7 或者 2 : 8 这种训练数据更多的比例。

接下来我们先尝试着 3 个样本用于测试、7 个样本用于训练。那么，在基于点击量预测的回归问题中，我们有 10 个数据，其中测试数据和训练数据的分配情况如下。

右侧的 3 个是测试数据、左侧的 7 个是训练数据。首先，我们来考虑使用左侧这 7 个数据来训练参数的情况。用一次函数 $f_{\boldsymbol{\theta}}(\boldsymbol{x})=\theta_0+\theta_1 x^*$ 表示即可。先从一次函数开始考虑比较好。先不去管测试数据，只看那 7 个训练数据。拟合得较好的一次函数的图像大概如下。

接下来还是不管测试数据，考虑一下二次函数，如下图所示。

如果 $f_\theta (x)$ 是二次函数，那它基本上就是这个形状。但是这个函数“只有对训练数据才是正确的”，对于测试集的预测效果很差。也就是说如果只看训练数据，那么二次函数比一次函数拟合得更好。但如果将测试数据也考虑进来，那么二次函数就完全不行了。要把测试数据当作未知数据来考虑。即使模型相同，如果训练数据过少，这种现象也会发生。那么在训练结束之后，我们还得像这样检查一下测试数据是否也拟合，但是如果变量增加，就不能画图了。就算能画图，也会很麻烦。

对于回归的情况，只要在训练好的模型上计算测试数据的误差的平方，再取其平均值就可以了。假设测试数据有 $n$ 个，那么可以这样计算。