本文重点

本文我们介绍一种常用的参数寻优方法--k折交叉验证，现在的数据集一般分为三类，分别为训练集，验证集，测试集。训练集用于训练模型，验证集用于调参，测试集用于测试调参之后的模型效果。

但是很多时候我们往往只具有训练集和测试集，这个时候如果训练集比较多，那么我们可以按照一定的比例将其分为训练集和验证集，但是当训练集数量比较少的时候，我们就不可以这样做了，所以我们可以使用k折交叉验证的方式来处理这个问题。

我们先来看一下什么是交叉验证？

交叉验证

效果图如下所示，将训练数据分为几份

 

具体来说我们可以将训练数据分为几部分，这里分为5部分，循环使用。

具体来说使用其中的fold1、fold2、fold3、fold4作为训练数据，然后fold5作为验证数据。

具体来说使用其中的fold1、fold2、fold3、fold5作为训练数据，然后fold4作为验证数据。

具体来说使用其中的fold1、fold2、fold4、fold5作为训练数据，然后fold3作为验证数据。

具体来说使用其中的fold1、fold3、fold4、fold5作为训练数据，然后fold2作为验证数据。

具体来说使用其中的fold2、fold3、fold4、fold5作为训练数据，然后fold1作为验证数据。

然后将验证的效果平均化，作为整体的验证效果，以此来判断此时的参数的好坏。

这里我们介绍了主要的思想，那面我们通过编程的方式来看一下如何使用这种交叉验证的方式完成学习率参数的调节