每天进步一点点,今天来分享怎么用R语言来进行ababoost模型的构建。
首先,什么是adaboost模型呢?它是一种迭代算法,属于boosting这个大类别的一员。它的核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
Adaboost与Xgboost模型都属于集成学习模型,但比Xgboost更加“古老”。目前各大比赛基本上以Xgboost为主了。
接下来,让我们用R语言来构建一个adaboost模型。首先安装一些需要用到的R包。
然后加载数据集。今天依然采用鸢尾花数据集进行示范。将训练集、测试集按8:2进行划分。
来进行Adaboost模型构建
参数具体介绍如下:
接下来介绍特征重要性排序
将所有特征按重要性分数进行从高到低排序后做个图
这个图采用不同颜色标明特征的重要程度,颜色越深越重要。此外,这个图的上方还加了刻度,方便比较各个特征的数值上的差异。
在测试集上预测以后,我们采用caret包来进行模型效果评估。