随机森林算法（Random Forest）R语言实现

news2024/11/18 17:52:55

随机森林

      • 1. 使用Boston数据集进行随机森林模型构建
      • 2. 数据集划分
      • 3.构建自变量与因变量之间的公式
      • 4. 模型训练
      • 5. 寻找合适的ntree
      • 6. 查看变量重要性并绘图展示
      • 7. 偏依赖图:Partial Dependence Plot（PDP图）
      • 8. 训练集预测结果

1. 使用Boston数据集进行随机森林模型构建

library(rio)
library(ggplot2)
library(magrittr)
library(randomForest)
library(tidyverse)
library(skimr)
library(DataExplorer)
library(caret)
library(varSelRF)
library(pdp)
library(iml)
data("boston")


as.data.frame(boston)
skim(boston)#数据鸟瞰
plot_missing(boston)#数据缺失
#na.roughfix() #填补缺失
hist(boston$lstat,breaks = 50)

数据展示：
在这里插入图片描述

2. 数据集划分

######################################
# 1.数据集划分
set.seed(123)
trains <- createDataPartition(y = boston$lstat,p=0.70,list = F)
traindata <- boston[trains,]
testdata <- boston[-trains,]

3.构建自变量与因变量之间的公式

#因变量自变量构建公式
colnames(boston)
form_reg <- as.formula(paste0("lstat ~",
                              paste(colnames(traindata)[1:15],collapse = "+")))
form_reg

在这里插入图片描述
构建的公式：
在这里插入图片描述

4. 模型训练

#### 2.1模型mtry的最优选取，mry=12 % Var explained最佳
#默认情况下数据集变量个数的二次方根（分类模型）或1/3（预测模型）
set.seed(123)
n <- ncol(boston)-5
errRate <- c(1) #设置模型误判率向量初始值
for (i in 1:n) {
  rf_train <- randomForest(form_reg, data = traindata,
                           ntree = 1000,#决策树的棵树
                           p =0.8,
                           mtry = i,#每个节点可供选择的变量数目
                           importance = T #输出变量的重要性
  )
  errRate[i] <- mean(rf_train$mse)
  print(rf_train)
}
m= which.min(errRate)  
print(m)

结果：
Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 1

      Mean of squared residuals: 13.35016
                % Var explained: 72.5

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 2

      Mean of squared residuals: 11.0119
                % Var explained: 77.31

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 3

      Mean of squared residuals: 10.51724
                % Var explained: 78.33

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 4

      Mean of squared residuals: 10.41254
                % Var explained: 78.55

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 5

      Mean of squared residuals: 10.335
                % Var explained: 78.71

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 6

      Mean of squared residuals: 10.22917
                % Var explained: 78.93

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 7

      Mean of squared residuals: 10.25744
                % Var explained: 78.87

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 8

      Mean of squared residuals: 10.11666
                % Var explained: 79.16

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 9

      Mean of squared residuals: 10.09725
                % Var explained: 79.2

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 10

      Mean of squared residuals: 10.09231
                % Var explained: 79.21

Call:
randomForest(formula = form_reg, data = traindata, ntree = 1000, p = 0.8, mtry = i, importance = T)
Type of random forest: regression
Number of trees: 1000
No. of variables tried at each split: 11

      Mean of squared residuals: 10.12222
                % Var explained: 79.15

在这里插入图片描述
结果显示mtry为11误差最小，精度最高

5. 寻找合适的ntree

#### 寻找合适的ntree
set.seed(123)
rf_train<-randomForest(form_reg,data=traindata,
                       mtry=11,ntree=500,importance = T,proximity=TRUE)
plot(rf_train,main = "ERROR & TREES")    #绘制模型误差与决策树数量关系图

运行结果：

在这里插入图片描述

在这里插入图片描述

6. 查看变量重要性并绘图展示

#### 变量重要性
importance<-importance(rf_train) 

##### 绘图法1
barplot(rf_train$importance[,1],main="输入变量重要性测度指标柱形图")
box()

重要性展示：
在这里插入图片描述

##### 绘图法2
varImpPlot(rf_train,main = "Variable Importance plot")
varImpPlot(rf_train,main = "Variable Importance plot",type = 1)
varImpPlot(rf_train,sort=TRUE,
           n.var=nrow(rf_train$importance),
           main = "Variable Importance plot",type = 2) # 基尼系数
hist(treesize(rf_train)) #展示随机森林模型中每棵决策树的节点数
max(treesize(rf_train));
min(treesize(rf_train))

“%IncMSE” 即increase in mean squared error，通过对每一个预测变量随机赋值，如果该预测变量更为重要，那么其值被随机替换后模型预测的误差会增大。“IncNodePurity”即increase in node purity，通过残差平方和来度量，代表了每个变量对分类树每个节点上观测值的异质性的影响，从而比较变量的重要性。两个指示值均是判断预测变量重要性的指标，均是值越大表示该变量的重要性越大，但分别基于两者的重要性排名存在一定的差异。

在这里插入图片描述

7. 偏依赖图:Partial Dependence Plot（PDP图）

部分依赖图可以显示目标和特征之间的关系是线性的、单调的还是更复杂的
缺点： 部分依赖函数中现实的最大特征数是两个，这不是PDP的错，而是2维表示（纸或屏幕）的错，是我们无法想象超过3维的错。

partialPlot(x = rf_train,
            pred.data = traindata,
            x.var = cmedv 
)

PDP图：
在这里插入图片描述

rf_train %>%
  partial(pred.var = c("cmedv", "age"), chull = TRUE, progress = TRUE) %>%
  autoplot(contour = TRUE, legend.title = "SOS",
           option = "B", direction = -1) + theme_bw()+
  theme(text=element_text(size=12,  family="serif"))

交互结果展示：
在这里插入图片描述

#预测与指标的关系散点图
plot(lstat ~ cmedv, data = traindata)

在这里插入图片描述

8. 训练集预测结果

#图示训练集预测结果
plot(x = traindata$lstat,
     y = trainpred,
     xlab = "实际值",
     ylab = "预测值",
     main = "随机森林-实际值与预测值比较"
)

trainlinmod <- lm(trainpred ~ traindata$lstat) #拟合回归模型
abline(trainlinmod, col = "blue",lwd =2.5, lty = "solid")
abline(a = 0,b = 1, col = "red",lwd =2.5, lty = "dashed")
legend("topleft",legend = c("Mode1","Base"),col = c("blue","red"),lwd = 2.5,lty = c("solid","dashed"))

在这里插入图片描述

#测试集预测结果
testpred <- predict(rf_train,newdata = testdata)
#测试集预测误差结果
defaultSummary(data.frame(obs = testdata$lstat,pred = testpred))
#图示测试集结果
plot(x = testdata$lstat,
     y = testpred,
     xlab = "实际值",
     ylab = "预测值",
     main = "随机森林-实际值与预测值比较"
)
testlinmod <- lm(testpred ~ testdata$lstat)
abline(testlinmod, col = "blue",lwd =2.5, lty = "solid")
abline(a = 0,b = 1, col = "red",lwd =2.5, lty = "dashed")
legend("topleft",legend = c("Mode1","Base"),col = c("blue","red"),lwd = 2.5,lty = c("solid","dashed"))

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/370379.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【华为OD机试模拟题】用 C++ 实现 - 分糖果（2023.Q1）

【华为OD机试模拟题】用 C++ 实现 - 分糖果（2023.Q1）

最近更新的博客 华为OD机试 - 入栈出栈（C++） | 附带编码思路 【2023】 华为OD机试 - 箱子之形摆放（C++） | 附带编码思路 【2023】 华为OD机试 - 简易内存池 2（C++） | 附带编码思路 【2023】 华为OD机试 - 第 N 个排列（C++） | 附带编码思路 【2023】 华为OD机试 - 考古…
阅读更多...
【华为OD机试模拟题】用 C++ 实现 - 时间格式化（2023.Q1）

【华为OD机试模拟题】用 C++ 实现 - 时间格式化（2023.Q1）

最近更新的博客 华为OD机试 - 入栈出栈（C++） | 附带编码思路 【2023】 华为OD机试 - 箱子之形摆放（C++） | 附带编码思路 【2023】 华为OD机试 - 简易内存池 2（C++） | 附带编码思路 【2023】 华为OD机试 - 第 N 个排列（C++） | 附带编码思路 【2023】 华为OD机试 - 考古…
阅读更多...
匈牙利算法与KM算法的区别

匈牙利算法与KM算法的区别

前记 在学习过程中&#xff0c;发现很多博客将匈牙利算法和KM算法混为一谈&#xff0c;当时只管用不管分析区别&#xff0c;所以现在来分析一下两个算法之间的区别。 匈牙利算法在二分图匹配的求解过程中共两个原则&#xff1a; 1.最大匹配数原则 2.先到先得原则 而KM算法求…
阅读更多...
Linux centos升级nodejs，解决升级NodeJS遇到的问题，升级GLIBC、GLIBCXX、gcc（含资源包下载）

Linux centos升级nodejs，解决升级NodeJS遇到的问题，升级GLIBC、GLIBCXX、gcc（含资源包下载）

公司网站用的Nuxt开发的&#xff0c;本地开发环境NodeJS已经升级到16.14.2版本&#xff0c;服务器也要从12版本升级到16.14.2 如需本次安装的资源&#xff0c;请下滑到文章下面下载整套资源 NodeJS版本下载地址&#xff1a;https://nodejs.org/dist/v16.14.2 解压安装node后…
阅读更多...
Docker 应用实践-仓库篇

Docker 应用实践-仓库篇

目前 Docker 官方维护了一个公共仓库 Docker Hub&#xff0c;用于查找和与团队共享容器镜像&#xff0c;界上最大的容器镜像存储库&#xff0c;拥有一系列内容源&#xff0c;包括容器社区开发人员、开放源代码项目和独立软件供应商&#xff08;ISV&#xff09;在容器中构建和分…
阅读更多...
【涨薪技术】0到1学会性能测试 —— 分类及应用领域

【涨薪技术】0到1学会性能测试 —— 分类及应用领域

上一次推文我们分享了性能测试相关的专业术语&#xff0c;今天我们来看下性能测试的分类及应用领域!后续文章都会系统分享干货&#xff0c;带大家从0到1学会性能测试&#xff0c;另外还有教程等同步资料&#xff0c;文末获取~ 性能测试划分 01、负载测试 负载测试是指服务器最…
阅读更多...
【华为OD机试模拟题】用 C++ 实现 - 商人买卖（2023.Q1）

【华为OD机试模拟题】用 C++ 实现 - 商人买卖（2023.Q1）

最近更新的博客 华为OD机试 - 入栈出栈（C++） | 附带编码思路 【2023】 华为OD机试 - 箱子之形摆放（C++） | 附带编码思路 【2023】 华为OD机试 - 简易内存池 2（C++） | 附带编码思路 【2023】 华为OD机试 - 第 N 个排列（C++） | 附带编码思路 【2023】 华为OD机试 - 考古…
阅读更多...
黑客网站大全！都在这了！速看被删就没了

黑客网站大全！都在这了！速看被删就没了

我们学习网络安全&#xff0c;很多学习路线都有提到多逛论坛&#xff0c;阅读他人的技术分析帖&#xff0c;学习其挖洞思路和技巧。但是往往对于初学者来说&#xff0c;不知道去哪里寻找技术分析帖&#xff0c;也不知道网络安全有哪些相关论坛或网站&#xff0c;所以在这里给大…
阅读更多...
java延时队列

java延时队列

二、延时队列使用场景 那么什么时候需要用延时队列呢&#xff1f;常见的延时任务场景 举栗子&#xff1a; 订单在30分钟之内未支付则自动取消。重试机制实现,把调用失败的接口放入一个固定延时的队列,到期后再重试。新创建的店铺&#xff0c;如果在十天内都没有上传过商品&…
阅读更多...
XML调用 CAPL Test Function

XML调用 CAPL Test Function

&#x1f345; 我是蚂蚁小兵&#xff0c;专注于车载诊断领域&#xff0c;尤其擅长于对CANoe工具的使用&#x1f345; 寻找组织 &#xff0c;答疑解惑&#xff0c;摸鱼聊天&#xff0c;博客源码&#xff0c;点击加入&#x1f449;【相亲相爱一家人】&#x1f345; 玩转CANoe&…
阅读更多...
数据结构:完全二叉树开胃菜小练习

数据结构:完全二叉树开胃菜小练习

目录 一.前言 二.完全二叉树的重要结构特点 三.完全二叉树开胃菜小练习 1.一个重要的数学结论 2.简单的小练习 一.前言 关于树及完全二叉树的基础概念(及树结点编号规则)参见:http://t.csdn.cn/imdrahttp://t.csdn.cn/imdra 完全二叉树是一种非常重要的数据结构: n个结点的…
阅读更多...
22-基于分时电价条件下家庭能量管理策略研究MATLAB程序

22-基于分时电价条件下家庭能量管理策略研究MATLAB程序

参考文献&#xff1a;《基于分时电价和蓄电池实时控制策略的家庭能量系统优化》参考部分模型《计及舒适度的家庭能量管理系统优化控制策略》参考部分模型主要内容&#xff1a;主要做的是家庭能量管理模型&#xff0c;首先构建了电动汽车、空调、热水器以及烘干机等若干家庭用户…
阅读更多...
【C++入门第二期】引用 和 内联函数 的使用方法及注意事项

【C++入门第二期】引用 和 内联函数 的使用方法及注意事项

前言引用的概念初识引用区分引用和取地址引用与对象的关系引用的特性引用的使用场景传值和引用性能比较引用和指针的区别内联函数内联函数的概念内联函数的特性前言 本文主要学习的是引用 及 内联含函数&#xff0c;其中的引用在实际使用中会异常舒适。 引用的概念 概念&…
阅读更多...
基于SpringBoot的企业资产管理系统

基于SpringBoot的企业资产管理系统

文末获取源码 开发语言&#xff1a;Java 框架&#xff1a;springboot JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7/8.0 数据库工具&#xff1a;Navicat11 开发软件&#xff1a;eclipse/myeclipse/idea Maven包&#xff1a;Maven3.3.9 浏…
阅读更多...
蓝桥2.24训练

蓝桥2.24训练

1&#xff0c;奇怪的函数 P2759 奇怪的函数 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 1这道题有两个点&#xff0c;一个是求数的位数 2&#xff0c;用整数二分求出的位数与n比较 #include <bits/stdc.h> using namespace std; typedef long long ll; ll n; int ma…
阅读更多...
【华为OD机试模拟题】用 C++ 实现 - 矩阵最值（2023.Q1）

【华为OD机试模拟题】用 C++ 实现 - 矩阵最值（2023.Q1）

最近更新的博客 华为OD机试 - 入栈出栈（C++） | 附带编码思路 【2023】 华为OD机试 - 箱子之形摆放（C++） | 附带编码思路 【2023】 华为OD机试 - 简易内存池 2（C++） | 附带编码思路 【2023】 华为OD机试 - 第 N 个排列（C++） | 附带编码思路 【2023】 华为OD机试 - 考古…
阅读更多...
flutter- JSON解析框架使用方法json_serializable

flutter- JSON解析框架使用方法json_serializable

对于目前来说&#xff0c;大部分的API网络请求的通讯内容数据格式都是JSON。JSON返回的都是字符串&#xff0c;假如要取到data里面的id&#xff0c;去直接字符串截取肯定是不行的&#xff0c;要通过一定的方式把它解析成Map或者解析成对象&#xff0c;再去处理它。像一些简单的…
阅读更多...
YOLOv5深度剖析

YOLOv5深度剖析

目录 YOLOv5算法概述 网络结构 backbone Conv模块&#xff1a; C3模块 SPPF neck 图形特征与语义特征 特征金字塔 head YOLOv5算法原理 以感受野理解网格 框回归以及分类 YOLOv5细节 消除网格敏感度 b. 正样本匹配 c. 损失计算 YOLOv5算法概述 YOLOv5与历代YO…
阅读更多...
【异常】导出Excel异常This archive contains unclosed entries.

【异常】导出Excel异常This archive contains unclosed entries.

一、异常说明 二、定位问题代码 一看问题， 上下文都是与订单相关的内容。 查询代码的使用地方，发现出现在这个Mybatis的select语句中 查看备注，发现是订单物流，那就没跑了， 肯定是商城的物流模块出了问题 那是什么地方用到了这个物流模块而且涉及到导出功能呢？ 经验告诉…
阅读更多...
代码随想录算法训练营day42 |动态规划之背包问题 11.分割等和子集 1049. 最后一块石头的重量 II 494. 目标和 474.一和零

代码随想录算法训练营day42 |动态规划之背包问题 11.分割等和子集 1049. 最后一块石头的重量 II 494. 目标和 474.一和零

day4211.分割等和子集1.dp数组的含义2.确定递推公式3.dp数组初始化4.确定遍历顺序5.打印dp数组1049. 最后一块石头的重量 II1.确定dp数组以及下标的含义2.确定递推公式3.dp数组如何初始化4.确定遍历顺序5.举例推导dp数组494. 目标和1.确定dp数组以及下标的含义2.确定递推公式3.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023