机器学习9-随机森林

news2025/1/26 14:23:24

随机森林（Random Forest）是一种集成学习方法，用于改善单一决策树的性能，通过在数据集上构建多个决策树并组合它们的预测结果。它属于一种被称为“集成学习”或“集成学习器”的机器学习范畴。

以下是随机森林的主要特点和原理：

1. 决策树的集成：随机森林通过构建多个决策树来解决问题。每个决策树都是一种分类器，通过对输入数据进行一系列的决策来进行分类。

2. 随机抽样：在构建每个决策树时，随机森林从原始数据集中进行有放回的随机抽样。这意味着每个决策树的训练数据都是从原始数据集中随机选择的，并且每个样本有可能在一个树中被多次选择，而在另一个树中可能一次都没有被选择。

3. 特征随机性：随机森林还引入了特征的随机性。在每个节点上，算法仅考虑一个随机子集的特征来进行分裂。这有助于确保每个决策树都不会过于依赖于某些具体特征。

4. 投票机制：随机森林中的每个决策树都对新样本进行分类，最终的分类结果是通过投票机制确定的。即，每个树投票给某一类别，最终选择得票最多的类别作为随机森林的最终预测结果。

优点：

对于大量特征和样本的高维数据集，随机森林通常表现出色。
对于缺失值和不平衡数据的处理较为鲁棒。
通过对多个树的组合，降低了过拟合风险。

随机森林在实践中广泛应用于分类和回归问题，并且由于其性能和鲁棒性而成为许多机器学习任务的首选算法之一。

需求：

还是同样，预测哪些人具有购买SUV的可能性。

代码：

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd


### Importing the dataset
dataset = pd.read_csv('Social_Network_Ads.csv')
X = dataset.iloc[:, [2, 3]].values
y = dataset.iloc[:, 4].values

### Splitting the dataset into the Training set and Test set
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.25, random_state = 0)


### Feature Scaling
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)

### Fitting Random Forest to the Training set
from sklearn.ensemble import RandomForestClassifier
classifier = RandomForestClassifier(n_estimators = 10, criterion = 'entropy', random_state = 0)
classifier.fit(X_train, y_train)

### Predicting the Test set results
y_pred = classifier.predict(X_test)

### Making the Confusion Matrix
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred)

### Visualising the Training set results
from matplotlib.colors import ListedColormap
X_set, y_set = X_train, y_train
X1, X2 = np.meshgrid(np.arange(start = X_set[:, 0].min() - 1, stop = X_set[:, 0].max() + 1, step = 0.01),
                     np.arange(start = X_set[:, 1].min() - 1, stop = X_set[:, 1].max() + 1, step = 0.01))
plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(), X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(), X1.max())
plt.ylim(X2.min(), X2.max())
for i, j in enumerate(np.unique(y_set)):
    plt.scatter(X_set[y_set == j, 0], X_set[y_set == j, 1],
                c = ListedColormap(('red', 'green'))(i), label = j)
plt.title('Random Forest Classification (Training set)')
plt.xlabel('Age')
plt.ylabel('Estimated Salary')
plt.legend()
plt.show()

### Visualising the Test set results
from matplotlib.colors import ListedColormap
X_set, y_set = X_test, y_test
X1, X2 = np.meshgrid(np.arange(start = X_set[:, 0].min() - 1, stop = X_set[:, 0].max() + 1, step = 0.01),
                     np.arange(start = X_set[:, 1].min() - 1, stop = X_set[:, 1].max() + 1, step = 0.01))
plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(), X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(), X1.max())
plt.ylim(X2.min(), X2.max())
for i, j in enumerate(np.unique(y_set)):
    plt.scatter(X_set[y_set == j, 0], X_set[y_set == j, 1],
                c = ListedColormap(('red', 'green'))(i), label = j)
plt.title('Random Forest Classification (Test set)')
plt.xlabel('Age')
plt.ylabel('Estimated Salary')
plt.legend()
plt.show()

关键解释：

特征缩放：

使用StandardScaler进行特征缩放，将特征数据进行标准化处理，使其具有零均值和单位方差。
均值为零（Zero Mean）：通过减去特征的均值，可以使特征分布的中心位于零点。这样做有助于消除不同特征之间的偏差，确保模型不会在某些特征上过度拟合。如果某个特征的均值远离零，模型可能会更关注那些数值较大的特征。
单位方差（Unit Variance）： 通过除以特征的标准差，可以将特征的尺度统一为相似的范围。这是因为不同特征可能具有不同的数值范围，如果某个特征的值较大，它可能会在模型中占据主导地位，而忽略其他特征。通过保持单位方差，确保了所有特征对模型的贡献相对均衡。

2. 随机森林分类器：

- 使用RandomForestClassifier创建一个随机森林分类器，设置树的数量（n_estimators）为10，划分标准（criterion）为'entropy'，并指定随机种子（random_state）为0。
- criterion： 这是用于衡量分裂质量的标准。在决策树的每个节点上，都需要选择一个特征进行分裂。criterion 参数定义了用于评估分裂质量的准则。在这里，设置为 'entropy'，表示使用信息熵来度量不纯度。信息熵越低，表示节点的纯度越高，也就是说，样本越趋向于属于同一类别。

结果：