HoldOut 交叉验证

在这种交叉验证技术中，整个数据集被随机划分为训练集和验证集。 根据经验，整个数据集的近 70% 用作训练集，其余 30% 用作验证集。

• 但不适合不平衡数据集
• 大量数据无法训练模型

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
iris=load_iris()
X=iris.data
Y=iris.target
print("Size of Dataset {}".format(len(X)))
logreg=LogisticRegression()
x_train,x_test,y_train,y_test=train_test_split(X,Y,test_size=0.3,random_state=42)
logreg.fit(x_train,y_train)
predict=logreg.predict(x_test)
print("Accuracy score on training set is {}".format(accuracy_score(logreg.predict(x_train),y_train)))
print("Accuracy score on test set is {}".format(accuracy_score(predict,y_test)))

K 折交叉验证

• 在这种 K 折交叉验证技术中，整个数据集被划分为 K 个相等大小的部分。 每个分区称为一个“折叠”。因此，因为我们有 K 个部分，所以我们称之为 K 折叠。 一折用作验证集，其余 K-1 折用作训练集。
• 该技术重复 K 次，直到每个折叠用作验证集，其余折叠用作训练集。
• 模型的最终精度是通过取 k-models 验证数据的平均精度来计算的。
• 不用于不平衡的数据集
• 不适合时间序列数据

from sklearn.datasets import load_iris
from sklearn.model_selection import cross_val_score,KFold
from sklearn.linear_model import LogisticRegression
iris=load_iris()
X=iris.data
Y=iris.target
logreg=LogisticRegression()
kf=KFold(n_splits=5)
score=cross_val_score(logreg,X,Y,cv=kf)
print("Cross Validation Scores are {}".format(score))
print("Average Cross Validation score :{}".format(score.mean()))

分层 K 折交叉验证

分层 K-Fold 是 K-Fold 交叉验证的增强版本，主要用于不平衡的数据集。 就像 K-fold 一样，整个数据集被分成大小相等的 K-fold。

• 但是在这种技术中，每个折叠将具有与整个数据集中相同的目标变量实例比率。
• 对于不平衡数据非常有效
• 不适合时间序列数据

from sklearn.datasets import load_iris
from sklearn.model_selection import cross_val_score,StratifiedKFold
from sklearn.linear_model import LogisticRegression
iris=load_iris()
X=iris.data
Y=iris.target
logreg=LogisticRegression()
stratifiedkf=StratifiedKFold(n_splits=5)
score=cross_val_score(logreg,X,Y,cv=stratifiedkf)
print("Cross Validation Scores are {}".format(score))
print("Average Cross Validation score :{}".format(score.mean()))

Leave P Out 交叉验证

Leave P Out 交叉验证是一种详尽的交叉验证技术，其中 p 样本用作验证集，剩余的 np 样本用作训练集。

• 假设我们在数据集中有 100 个样本。 如果我们使用 p=10，那么在每次迭代中，10 个值将用作验证集，其余 90 个样本将用作训练集。
• 重复这个过程，直到整个数据集在 p-样本和 n-p 训练样本的验证集上被划分。
• 所有数据样本都用作训练和验证样本。
• 计算时间长
• 不适合不平衡数据集

from sklearn.model_selection import LeavePOut,cross_val_score
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
iris=load_iris()
X=iris.data
Y=iris.target
lpo=LeavePOut(p=2)
lpo.get_n_splits(X)
tree=RandomForestClassifier(n_estimators=10,max_depth=5,n_jobs=-1)
score=cross_val_score(tree,X,Y,cv=lpo)
print("Cross Validation Scores are {}".format(score))
print("Average Cross Validation score :{}".format(score.mean()))

留一交叉验证

留一交叉验证是一种详尽的交叉验证技术，其中 1 个样本点用作验证集，其余 n-1 个样本用作训练集。

• 假设我们在数据集中有 100 个样本。 然后在每次迭代中，1 个值将用作验证集，其余 99 个样本作为训练集。 因此，重复该过程，直到数据集的每个样本都用作验证点。
• 它与使用 p=1 的 LeavePOut 交叉验证相同。

from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import LeaveOneOut,cross_val_score
iris=load_iris()
X=iris.data
Y=iris.target
loo=LeaveOneOut()
tree=RandomForestClassifier(n_estimators=10,max_depth=5,n_jobs=-1)
score=cross_val_score(tree,X,Y,cv=loo)
print("Cross Validation Scores are {}".format(score))
print("Average Cross Validation score :{}".format(score.mean()))

蒙特卡罗交叉验证（Shuffle Split）

蒙特卡罗交叉验证，也称为Shuffle Split交叉验证，是一种非常灵活的交叉验证策略。 在这种技术中，数据集被随机划分为训练集和验证集。

• 我们已经决定了要用作训练集的数据集的百分比和用作验证集的百分比。 如果训练集和验证集大小的增加百分比总和不是 100，则剩余的数据集不会用于训练集或验证集。
• 假设我们有 100 个样本，其中 60% 的样本用作训练集，20% 的样本用作验证集，那么剩下的 20%( 100-(60+20)) 将不被使用。
• 这种拆分将重复我们必须指定的“n”次。
• 1.我们可以自由使用训练和验证集的大小。
  2.我们可以选择重复的次数，而不依赖于重复的折叠次数。
• 可能不会为训练集或验证集选择很少的样本。
• 不适合不平衡的数据集

from sklearn.model_selection import ShuffleSplit,cross_val_score
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
logreg=LogisticRegression()
shuffle_split=ShuffleSplit(test_size=0.3,train_size=0.5,n_splits=10)
scores=cross_val_score(logreg,iris.data,iris.target,cv=shuffle_split)
print("cross Validation scores:n {}".format(scores))
print("Average Cross Validation score :{}".format(scores.mean()))

时间序列交叉验证

什么是时间序列数据？
时间序列数据是在不同时间点收集的数据。由于数据点是在相邻时间段收集的，因此观测值之间可能存在相关性。这是区分时间序列数据与横截面数据的特征之一。

在时间序列数据的情况下如何进行交叉验证？
在时间序列数据的情况下，我们不能选择随机样本并将它们分配给训练集或验证集，因为使用未来数据中的值来预测过去数据的值是没有意义的。

• 由于数据的顺序对于时间序列相关问题非常重要，所以我们根据时间将数据拆分为训练集和验证集，也称为“前向链”方法或滚动交叉验证。
• 我们从一小部分数据作为训练集开始。基于该集合，我们预测稍后的数据点，然后检查准确性。
• 然后将预测样本作为下一个训练数据集的一部分包括在内，并对后续样本进行预测。
  

import numpy as np
from sklearn.model_selection import TimeSeriesSplit
X = np.array([[1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4]])
y = np.array([1, 2, 3, 4, 5, 6])
time_series = TimeSeriesSplit()
print(time_series)
for train_index, test_index in time_series.split(X):
    print("TRAIN:", train_index, "TEST:", test_index)
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]

ref：https://zhuanlan.zhihu.com/p/435970393