【Python特征工程系列】教你利用AdaBoost模型分析特征重要性（源码）

news2024/12/1 2:25:00

这是Python特征工程系列原创文章，我的第187篇原创文章。

一、问题

应用背景介绍：

如果有一个包含数十个甚至数百个特征的数据集，每个特征都可能对你的机器学习模型的性能有所贡献。但是并不是所有的特征都是一样的。有些可能是冗余的或不相关的，这会增加建模的复杂性并可能导致过拟合。特征重要性分析可以识别并关注最具信息量的特征，从而带来以下几个优势:

- 改进模型性能
- 能减少过度拟合
- 更快训练和推理
- 增强可解释性

前期相关回顾：

【Python特征工程系列】教你利用XGBoost模型分析特征重要性（源码）

【Python特征工程系列】利用梯度提升（GradientBoosting）模型分析特征重要性（源码）

【Python特征工程系列】8步教你用决策树模型分析特征重要性（源码）

【Python特征工程系列】利用随机森林模型分析特征重要性（源码）

本期相关知识：

AdaBoost（Adaptive Boosting），自适应增强，是一种集成学习方法，通过组合多个弱分类器来构建一个强分类器。在AdaBoost中，每个弱分类器都会根据之前分类结果的准确性进行加权，从而使得错误分类的样本在后续的训练中得到更多的关注。在scikit-learn库中，AdaBoost模型的特征重要性可以通过feature_importances_属性来获取。

二、实现过程

导入第三方库

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import AdaBoostClassifier
import matplotlib.pyplot as plt
import seaborn as sns

2.1 准备数据

data = pd.read_csv(r'dataset.csv')
df = pd.DataFrame(data)

2.2 目标变量和特征变量

target = 'target'
features = df.columns.drop(target)

特征变量如下：

2.3 划分训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(df[features], df[[target]], test_size=0.2, random_state=0)

X_train如下:

2.4 归一化

# 归一化
mm1 = MinMaxScaler()   # 特征进行归一化
X_train_m = mm1.fit_transform(X_train)
mm2 = MinMaxScaler()     # 标签进行归一化
y_train_m = mm2.fit_transform(y_train)

AdaBoost训练之前需要进行归一化处理！

2.5 训练模型

model = AdaBoostClassifier(n_estimators=100, random_state=0)
model.fit(X_train, y_train)

2.6 提取特征重要性

feature_importance = model.feature_importances_
feature_names = features

feature_importance如下：

2.7 创建特征重要性的dataframe

importance_df = pd.DataFrame({'Feature': feature_names, 'Importance': feature_importance})

importance_df如下：

2.8 对特征重要性进行排序

importance_df = importance_df.sort_values(by='Importance', ascending=False)

排序后的 importance_df如下：

2.9 可视化特征重要性

plt.figure(figsize=(10, 6))
sns.barplot(x='Importance', y='Feature', data=importance_df)
plt.title('Feature Importance')
plt.xlabel('Importance')
plt.ylabel('Feature')
plt.show()

可视化结果如下：