随机森林算法 Random Forest Algorithm
- 随机森林算法
- 随机森林算法实现分类鸢尾花
随机森林算法
随机森林(Random Forest)算法 是一种 集成学习(Ensemble Learning)方法,它由多个决策树组成,是一种分类、回归和特征选择的机器学习算法。
在随机森林中,每个决策树都是独立地训练的,每棵树的建立都是基于随机选取的 特征子集 和随机选取的 训练样本集。
- 在分类问题中,随机森林采用投票的方式来决定最终分类结果;
- 在回归问题中,随机森林采用平均值的方式来预测结果。
下述内容将围绕随机森林算法实现一个著名的分类问题:鸢尾花预测;而实现回归问题,即波士顿房价通过随机森林算法预测将在【机器学习】P25 随机森林算法(2) 实现 “波士顿房价” 预测 中呈现;
随机森林算法实现分类鸢尾花
鸢尾花数据与特征:
鸢尾花,又称花卉之王,是一种常见的花卉植物,由于其具有多种颜色和品种,因此备受欣赏。在机器学习中,鸢尾花品种主要分为三类,其区分主要通过
- 萼片长度(sepal length)
- 萼片宽度(sepal width)
- 花瓣长度(petal length)
- 花瓣宽度(petal width)
四大属性来进行区分,如下图所示,我们截取 sklearn 中鸢尾花训练集前十个数据,通过 pandas 进行查看。
import pandas as pd
samples = X_train[:10]
targets = y_train[:10]
df = pd.DataFrame(samples, columns=iris.feature_names[:4])
df["Target"] = targets
df.insert(0, "Index", df.index+1)
print(df.to_string(index=False))
随机森林分类鸢尾花的操作步骤:
- 首先导入了需要的库和数据集;
- 然后将数据集拆分为训练集和测试集;
- 接下来,创建一个包含10个决策树的随机森林分类器
n_estimators=10
,并使用训练集拟合模型; - 然后使用测试集预测结果,并计算模型的准确率。
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# 加载 iris 数据集
iris = load_iris()
X, y = iris.data, iris.target
# 将数据集拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)
# 创建随机森林分类器
rf = RandomForestClassifier(n_estimators=10)
# 使用训练集拟合模型
rf.fit(X_train, y_train)
# 获取每个决策树的预测结果
tree_predictions = []
for tree in rfc.estimators_:
tree_predictions.append(tree.predict(X_test))
# 预测测试集
y_pred = rf.predict(X_test)
# 打印每个决策树的前十个测试案例的预测结果
for i, tree_prediction in enumerate(tree_predictions):
print(f"Tree {i} predictions:", tree_prediction[:10])
# 打印随机森林的前十个测试案例的预测结果
print("Random forest predictions:", y_pred[:10])
# 计算模型精度
accuracy = rf.score(X_test, y_test)
# accuracy = sum(y_pred == y_test) / len(y_test)
print("Accuracy:", accuracy)
通过将随机森林的10个决策树打印各自对前十个测试案例的预测结果,还是发现存在不同的分类结果,但是最终都是按照投票的方式,得到最终的预测结果,并且达到准确率 100%
最后还可通过输入四个属性来获取预测的结果:
# 输入待预测的四个属性
input_data = [[5.1, 3.5, 1.4, 0.2],
[7.0, 3.2, 4.7, 1.4],
[6.3, 2.9, 5.6, 1.8],
[4.8, 3.4, 1.9, 0.2]]
# 预测输入数据的分类
output_data = rf.predict(input_data)
# 输出预测结果
print(output_data)