测试集和验证集是在机器学习中用于评估模型性能的两个不同的数据集。它们有不同的目的和使用方式。
-
验证集（Validation Set）：
- 目的： 用于调整模型的超参数（例如，学习率、正则化参数等）和进行模型选择。
- 划分方式： 通常从训练集中划分出一部分数据，不参与模型的训练，而是在训练过程中用于评估模型的性能。
- 使用方法： 模型在验证集上进行训练，并通过验证集上的性能来选择合适的超参数或者进行模型的选择。
-
测试集（Test Set）：
- 目的： 用于评估模型在未见过的数据上的泛化性能，即模型在实际应用中的表现。
- 划分方式： 测试集应该是一个完全独立于训练集和验证集的数据集，确保模型在测试时没有见过这些数据。
- 使用方法： 模型在测试集上进行评估，测试集上的性能指标（如准确性、精确度、召回率等）用于衡量模型在新数据上的表现。
划分测试集和验证集的方法：
- 留出法（Holdout Method）： 将数据集划分为训练集、验证集和测试集，通常采用比例如70-15-15。
- K折交叉验证： 将数据划分为K个互斥的子集，其中一个子集作为测试集，其余的K-1个子集作为训练集，交叉验证会进行K次，每次选取一个不同的子集作为测试集。
- 自助法（Bootstrap Method）： 通过有放回地从原始数据集中抽样，生成新的训练集和验证集，剩下的数据作为测试集。
在划分测试集和验证集时，要确保数据的独立性和随机性，避免测试集和验证集之间的重叠。常见的做法是使用留出法或K折交叉验证。
验证集和测试集到底有什么区别？
简单来说，模型在验证集上的表现是有偏估计，虽然训练模型的时候没有用到验证集上的数据，但是我们在挑选模型时，还是间接地泄露了验证集的相关信息：我们让模型知道怎么样的参数设置会让它在该数据集上表现良好或者表现差劲。此时和模型训练挑选过程完全独立的测试集此时就变得更加重要了，它往往代表着模型在真实世界应用场景下模型的泛化表现能力。
典型的使用顺序：
-
训练集： 用于训练模型。（选择超参数、进行模型选择、进行早停（early stopping）等）
-
验证集： 模型训练后，使用验证集来测试这个超参数下的模型性能。验证集的性能指标用于调整模型超参。
-
测试集： 最终，在模型调优（超参调优和可学习参数调优）完成后，使用测试集来评估模型在未见过的数据上的性能。测试集的使用应该在模型的开发周期的最后阶段，以保持测试的独立性。
测试集是在模型训练和验证完成后才使用的，用于评估模型的泛化能力。
