决策树回归（Decision Tree Regression）

news2024/9/20 22:52:34

理论知识推导

决策树回归是一种非参数监督学习方法，用于回归问题。它通过将数据集划分成较小的子集来建立模型，并在这些子集上构建简单的预测模型（通常是恒定值）。下面是决策树回归的数学推导过程：

实施步骤与参数解读

数据准备： 准备训练数据集和测试数据集。
特征工程： 对数据进行预处理和特征工程。
模型训练： 使用训练数据训练决策树模型。
模型评估： 使用测试数据评估模型性能。
模型优化： 调整模型参数以提高模型性能。

重要参数：

max_depth：树的最大深度，防止过拟合。
min_samples_split：内部节点再划分所需最小样本数。
min_samples_leaf：叶节点最少样本数。
max_features：在分裂时考虑的最大特征数。

未优化模型实例

import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_regression
import matplotlib.font_manager as fm

# 设置全局字体为楷体
plt.rcParams['font.family'] = 'KaiTi'

# 生成多维数据集
X, y = make_regression(n_samples=500, n_features=5, noise=0.1)
y = y.reshape(-1, 1)

# 数据集划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 未优化模型
regressor = DecisionTreeRegressor()
regressor.fit(X_train, y_train)
y_pred = regressor.predict(X_test)
mse_unoptimized = mean_squared_error(y_test, y_pred)

# 优化后的模型
optimized_regressor = DecisionTreeRegressor(max_depth=5, min_samples_split=10, min_samples_leaf=5)
optimized_regressor.fit(X_train, y_train)
y_pred_optimized = optimized_regressor.predict(X_test)
mse_optimized = mean_squared_error(y_test, y_pred_optimized)

# 输出结果
print(f"未优化模型的MSE: {mse_unoptimized}")
print(f"优化后的模型的MSE: {mse_optimized}")

# 可视化
plt.figure(figsize=(12, 6))

# 原始数据的二维投影
plt.subplot(1, 2, 1)
plt.scatter(X_test[:, 0], y_test, color='blue', label='Actual')
plt.scatter(X_test[:, 0], y_pred, color='red', label='Predicted')
plt.title('未优化模型')
plt.xlabel('Feature 0')
plt.ylabel('Target')
plt.legend()

plt.subplot(1, 2, 2)
plt.scatter(X_test[:, 0], y_test, color='blue', label='Actual')
plt.scatter(X_test[:, 0], y_pred_optimized, color='red', label='Predicted')
plt.title('优化后的模型')
plt.xlabel('Feature 0')
plt.ylabel('Target')
plt.legend()

plt.show()