这是我的第245篇原创文章。
一、引言
如果探索的组合数量较少时，网格搜索是一种不错的方法，但当超参数的搜索范围较大时，通常会优先选择使用 RandomizedSearchCV 。它与 GridSearchCV 用法相似，但它不会尝试所有可能的组合，而是在每次迭代中为每个超参数选择一个随机值，然后对一定数量的随机组合进行评估，这种方法有两个显著的好处。
如果运行随机 1000 个迭代，那么将会探索每个超参数的 1000 个不同的值（而不像网格搜索方法那样每个超参数仅探索少量几个值）。通过简单地设置迭代次数，可以更好地控制要分配给超参数搜索的计算预算。
二、实现过程
数据准备与划分
# 准备数据
data = pd.read_csv(r'Dataset.csv')
df = pd.DataFrame(data)
# 提取目标变量和特征变量
target = 'target'
features = df.columns.drop(target)
print(data["target"].value_counts()) # 顺便查看一下样本是否平衡
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(df[features], df[target], test_size=0.2, random_state=0)2.1 随机搜索参数建模
# 模型的构建与训练
param_distribs = {
# 均匀离散随机变量
'n_estimators': randint(low=1, high=200),
'max_features': randint(low=7, high=9),
}
model = RandomForestClassifier(random_state=42)
rnd_search = RandomizedSearchCV(model, param_distributions=param_distribs,
n_iter=10, cv=5, scoring='neg_mean_squared_error', random_state=42)
rnd_search.fit(X_train, y_train)2.2 查看评分最高的超参数组合
print(grid_search.best_params_)
2.3 查看当前的最佳估算器
输出只显示非默认的参数
final_model = grid_search.best_estimator_
print(final_model)
2.4 计算的各种超参数组合的评分
cvres = grid_search.cv_results_
for mean_score, params in zip(cvres["mean_test_score"], cvres["params"]):
print(np.sqrt(-mean_score), params)
模型推理与评价
# 模型推理与评价
y_pred = final_model.predict(X_test)
y_scores = final_model.predict_proba(X_test)
acc = accuracy_score(y_test, y_pred) # 准确率acc
cm = confusion_matrix(y_test, y_pred) # 混淆矩阵
cr = classification_report(y_test, y_pred) # 分类报告
fpr, tpr, thresholds = roc_curve(y_test, y_scores[:, 1], pos_label=1) # 计算ROC曲线和AUC值,绘制ROC曲线
roc_auc = auc(fpr, tpr)
plt.figure()
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()
作者简介：
读研期间发表6篇SCI数据挖掘相关论文，现在某研究院从事数据算法相关科研工作，结合自身科研实践经历不定期分享关于Python、机器学习、深度学习、人工智能系列基础知识与应用案例。致力于只做原创，以最简单的方式理解和学习，关注我一起交流成长。需要数据集和源码的小伙伴可以关注底部公众号添加作者微信。
