【机器学习】使用决策树分类器预测汽车安全性的研究与分析

news2024/12/25 13:52:55

文章目录

    • 一、决策树算法简介
      • 决策树的结构
      • 分类和回归树 (CART)
      • 决策树算法术语
      • 决策树算法直觉
    • 二、属性选择度量
      • 信息增益
      • 基尼指数
        • 计算分割基尼指数的步骤
    • 三、决策树算法中的过度拟合
      • 避免过度拟合的方法
    • 四、导入库和数据可视化
      • 探索性数据分析
        • 重命名列名
        • 查看数据集的总结信息
        • 变量值的频率分布
    • 五、处理特征向量和目标变量
    • 六、特征工程
      • 编码分类变量
    • 七、使用基尼系数的决策树分类器
      • 比较训练集和测试集的准确性
      • 可视化决策树
    • 八、使用熵的决策树分类器
      • 比较训练集和测试集的准确性
      • 可视化决策树
    • 九、混淆矩阵
    • 十、分类报告
    • 十一、结果和结论

一、决策树算法简介

决策树算法是最流行的机器学习算法之一。它使用树状结构及其可能的组合来解决特定问题。它属于监督学习算法类,可用于分类和回归任务。

决策树的结构

决策树是一种包含根节点、分支和叶节点的结构。每个内部节点表示对属性的测试,每个分支表示测试的结果,每个叶节点都包含一个类标签。树中最顶端的节点是根节点。

在实施决策树算法时,我们做出了一些假设:

  • 整个训练集一开始被视为根。
  • 特征值需要是分类的。如果值是连续的,则在构建模型之前将它们离散化。
  • 记录根据属性值递归分布。
  • 使用某种统计方法将属性放置为树的根或内部节点。

后面的部分将描述决策树的术语。

分类和回归树 (CART)

如今,决策树算法以其现代名称 CART 而闻名,代表分类和回归树。分类和回归树或 CART 是 Leo Breiman 引入的一个术语,指的是可用于分类和回归建模问题的决策树算法。

CART 算法为其他重要算法(如袋装决策树、随机森林和增强决策树)提供了基础。在本文中,我们将解决一个分类问题,因此称该算法为决策树分类问题。

决策树算法术语

在决策树算法中,有一个树状结构,其中每个内部节点代表对属性的测试,每个分支代表测试的结果,每个叶节点代表类标签。从根节点到叶节点的路径代表分类规则。

以下是决策树算法中涉及的一些术语:

根节点:它代表整个总体或样本。这进一步分为两个或多个同质集。

分裂:这是将节点分为两个或多个子节点的过程。

决策节点:当子节点分裂成进一步的子节点时,它被称为决策节点。

叶节点/终端节点:不分裂的节点称为叶节点或终端节点。

修剪:当我们删除决策节点的子节点时,此过程称为修剪。它是分裂的反过程。

分支/子树:整个树的子部分称为分支或子树。

父节点和子节点:分为子节点的节点称为子节点的父节点,子节点是父节点的子节点。

决策树算法直觉

对于数据集中的每个属性,决策树算法形成一个节点。最重要的属性放在根节点。

为了评估手头的任务,我们从根节点开始,然后按照符合条件或决策的相应节点沿着树向下工作。

此过程持续到到达叶节点。叶节点包含决策树的预测或结果。

二、属性选择度量

决策树实施中的主要挑战是确定我们认为是根节点和每个级别的属性。此过程称为属性选择。有不同的属性选择度量来识别可被视为每个级别的根节点的属性。

有两种流行的属性选择度量:信息增益和基尼指数。

信息增益

我们以信息增益为标准,尝试估计每个属性所包含的信息。要理解信息增益的概念,我们需要了解另一个概念,即熵。

熵衡量给定数据集中的杂质。在物理学和数学中,熵是指随机变量 X \mathbf{X} X 的随机性或不确定性。在信息论中,它指的是一组示例中的杂质。信息增益是熵的减少。信息增益根据给定的属性值计算数据集分割前的熵与分割后的平均熵之间的差值。

熵由以下公式表示:
H ( X ) = − ∑ i = 1 c p i log ⁡ 2 ( p i ) \mathbf{H}(\mathbf{X}) = - \sum_{i=1}^{c} \mathbf{p_i} \log_2 (\mathbf{p_i}) H(X)=i=1cpilog2(pi)
其中, c \mathbf{c} c 是类别的数量,$\mathbf{p_i} $是与第 i 个类别相关的概率。

ID3(迭代二分法)决策树算法使用熵来计算信息增益。因此,通过计算每个属性的熵度量的减少,我们可以计算它们的信息增益。信息增益最高的属性被选为节点的分割属性。

基尼指数

CART(分类和回归树)使用的另一个属性选择度量是基尼指数。它使用基尼方法创建分割点。

基尼指数可以用下图表示:
G i n i ( X ) = 1 − ∑ i = 1 c p i 2 \mathbf{Gini}(\mathbf{X}) = 1 - \sum_{i=1}^{c} \mathbf{p_i}^2 Gini(X)=1i=1cpi2
其中, c \mathbf{c} c 是类别的数量,$\mathbf{p_i} $是与第 i 个类别相关的概率。

基尼指数表示,如果我们从总体中随机选择两个项目,它们必须属于同一类,如果总体是纯的,则概率为 1。

基尼指数适用于分类目标变量“成功”或“失败”。它仅执行二元分割。基尼值越高,同质性越高。CART(分类和回归树)使用基尼方法来创建二元分割。

计算分割基尼指数的步骤
  1. 使用成功和失败概率平方和公式 p 2 + q 2 \mathbf{p}^2 + \mathbf{q}^2 p2+q2计算子节点的基尼指数。
  2. 使用分割的每个节点的加权基尼分数计算分割的基尼指数。
  3. 对于离散值属性,选择具有最小基尼指数的子集作为分割属性。对于连续值属性,策略是选择每对相邻值作为可能的分割点,并选择基尼指数较小的点作为分割点。选择基尼指数最小的属性作为分裂属性。

三、决策树算法中的过度拟合

过度拟合是构建决策树模型时的一个实际问题。当算法继续深入以减少训练集误差但导致测试集误差增加时,就会考虑过度拟合问题。因此,我们模型的预测准确性会下降。这通常发生在我们由于数据中的异常值和不规则性而构建许多分支时。

避免过度拟合的方法

可用于避免过度拟合的两种方法如下:

预修剪:在预修剪中,我们会提前停止树的构建。如果节点的优度测量低于阈值,我们宁愿不拆分节点。但很难选择合适的停止点。

后修剪:在后修剪中,我们深入树的深处以构建完整的树。如果树显示出过度拟合问题,则修剪将作为后修剪步骤进行。我们使用交叉验证数据来检查修剪的效果。使用交叉验证数据,我们测试扩展节点是否会导致改进。如果它显示出改进,那么我们可以继续扩展该节点。但如果它显示准确度降低,则不应扩展它。因此,应将节点转换为叶节点。

四、导入库和数据可视化

在Python环境中导入必要的库以进行数据分析和可视化。

import numpy as np  # 线性代数
import pandas as pd  # 数据处理,CSV文件输入输出(例如 pd.read_csv)
import matplotlib.pyplot as plt  # 数据可视化
import seaborn as sns  # 统计数据可视化
%matplotlib inline

处理警告信息,以保持输出的整洁:

import warnings
warnings.filterwarnings('ignore')

导入数据集

data = './car_evaluation.csv'
df = pd.read_csv(data, header=None)

探索性数据分析

对数据集进行初步探索,以获得数据的基本信息。

查看数据集的维度

df.shape # (1728, 7)

数据集包含1728个实例和7个变量。

查看数据集的前5行

df.head()

输出结果为:

在这里插入图片描述

重命名列名

数据集当前的列名为0, 1, 2等。我们需要为这些列指定有意义的名称:

col_names = ['buying', 'maint', 'doors', 'persons', 'lug_boot', 'safety', 'class']
df.columns = col_names

再次查看数据集的前5行,以确认列名已正确更新:

df.head()

输出结果为:

在这里插入图片描述

查看数据集的总结信息
df.info()

输出结果为:

在这里插入图片描述

变量值的频率分布
for col in col_names:
    print(df[col].value_counts())

输出结果显示,各个分类变量的频数分布如下:

  • buyingmaint:每个类别(vhigh, high, med, low)都有432个实例。
  • doors:类别为2、3、4和5more,每个类别都有432个实例。
  • persons:类别为2、4和more,每个类别有576个实例。
  • lug_boot:类别为small、med和big,每个类别有576个实例。
  • safety:类别为low、med和high,每个类别有576个实例。
  • class:类别为unacc(1210个实例)、acc(384个实例)、good(69个实例)和vgood(65个实例)。

五、处理特征向量和目标变量

将特征向量X和目标变量y从数据集中分离:

X = df.drop(['class'], axis=1)
y = df['class']

将数据集划分为训练集和测试集

使用train_test_split将特征向量和目标变量划分为训练集和测试集:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

查看训练集和测试集的形状:

X_train.shape, X_test.shape # ((1157, 6), (571, 6))

六、特征工程

特征工程是将原始数据转换为有用特征的过程,这些特征有助于我们更好地理解模型并提高其预测能力。我将对不同类型的变量进行特征工程。

首先,我将再次检查变量的数据类型。

# 检查 X_train 中变量的数据类型
X_train.dtypes

在这里插入图片描述

编码分类变量

# 导入类别编码器
import category_encoders as ce

# 使用序数编码对变量进行编码
encoder = ce.OrdinalEncoder(cols=['buying', 'maint', 'doors', 'persons', 'lug_boot', 'safety'])
X_train = encoder.fit_transform(X_train)
X_test = encoder.transform(X_test)

X_train.head()

在这里插入图片描述

现在已经准备好用于模型构建的训练集和测试集。

七、使用基尼系数的决策树分类器

# 导入 DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier

# 使用标准基尼系数实例化 DecisionTreeClassifier 模型
clf_gini = DecisionTreeClassifier(criterion='gini', max_depth=3, random_state=0)

# 训练模型
clf_gini.fit(X_train, y_train)
# 预测测试集结果
y_pred_gini = clf_gini.predict(X_test)

# 检查使用基尼系数的准确性评分
from sklearn.metrics import accuracy_score
print('Model accuracy score with criterion gini index: {0:0.4f}'.format(accuracy_score(y_test, y_pred_gini)))

# Model accuracy score with criterion gini index: 0.8021

这里,y_test 是测试集中真实的类别标签, y_pred_gini是预测的类别标签。

比较训练集和测试集的准确性

y_pred_train_gini = clf_gini.predict(X_train)
print('Training-set accuracy score: {0:0.4f}'.format(accuracy_score(y_train, y_pred_train_gini)))

# Training-set accuracy score: 0.7865

检查是否存在过拟合或欠拟合

# 打印训练集和测试集的得分
print('Training set score: {:.4f}'.format(clf_gini.score(X_train, y_train)))
print('Test set score: {:.4f}'.format(clf_gini.score(X_test, y_test)))
Training set score: 0.7865
Test set score: 0.8021

这里,训练集准确度得分为 0.7865,而测试集准确度得分为 0.8021。这两个值相当。因此没有过度拟合的迹象。

可视化决策树

plt.figure(figsize=(12,8))
from sklearn import tree
tree.plot_tree(clf_gini.fit(X_train, y_train))

在这里插入图片描述

八、使用熵的决策树分类器

# 使用熵标准实例化 DecisionTreeClassifier 模型
clf_en = DecisionTreeClassifier(criterion='entropy', max_depth=3, random_state=0)

# 训练模型
clf_en.fit(X_train, y_train)
# 预测测试集结果
y_pred_en = clf_en.predict(X_test)

# 检查使用熵标准的准确性评分
from sklearn.metrics import accuracy_score
print('Model accuracy score with criterion entropy: {0:0.4f}'.format(accuracy_score(y_test, y_pred_en)))

# Model accuracy score with criterion entropy: 0.8021

比较训练集和测试集的准确性

y_pred_train_en = clf_en.predict(X_train)
print('Training-set accuracy score: {0:0.4f}'.format(accuracy_score(y_train, y_pred_train_en)))

# Training-set accuracy score: 0.7865

检查是否存在过拟合或欠拟合

# 打印训练集和测试集的得分
print('Training set score: {:.4f}'.format(clf_en.score(X_train, y_train)))
print('Test set score: {:.4f}'.format(clf_en.score(X_test, y_test)))
Training set score: 0.7865
Test set score: 0.8021

可以看到,训练集和测试集得分与使用基尼系数的情况相同。训练集准确度得分为 0.7865,而测试集准确度得分为 0.8021。这两个值相当。因此,没有过度拟合的迹象。

可视化决策树

plt.figure(figsize=(12,8))
from sklearn import tree
tree.plot_tree(clf_en.fit(X_train, y_train))

在这里插入图片描述

九、混淆矩阵

混淆矩阵是一种总结分类算法性能的工具。混淆矩阵将为我们清晰地展示分类模型的性能以及模型产生的错误类型。它为我们提供了按每个类别细分的正确和错误预测的摘要。摘要以表格形式表示。

在评估分类模型性能时,可能出现四种类型的结果。这四种结果如下所述:

  • 真阳性 (TP) – 当我们预测观察结果属于某个类别并且观察结果实际上属于该类别时,就会出现真阳性。
  • 真阴性 (TN) – 当我们预测观察结果不属于某个类别并且观察结果实际上不属于该类别时,就会出现真阴性。
  • 假阳性 (FP) – 当我们预测某个观察结果属于某个类别,但该观察结果实际上并不属于该类别时,就会出现假阳性。这种类型的错误称为 I 类错误。
  • 假阴性 (FN) – 当我们预测某个观察结果不属于某个类别,但该观察结果实际上属于该类别时,就会出现假阴性。这是一种非常严重的错误,称为 II 类错误。

下面给出的混淆矩阵总结了这四种结果。

# 打印混淆矩阵并将其分成四部分
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred_en)
print('Confusion matrix\n\n', cm)

 # [[ 73   0  56   0]
 # [ 20   0   0   0]
 # [ 12   0 385   0]
 # [ 25   0   0   0]]

十、分类报告

分类报告是评估分类模型性能的另一种方法。它显示模型的准确率、召回率、f1 和支持率分数。我们可以按如下方式打印分类报告:

from sklearn.metrics import classification_report
print(classification_report(y_test, y_pred_en))

在这里插入图片描述

我们可以看到,模型的分类报告显示了四个类别(acc、good、unacc、vgood)中每个类别的准确率、召回率、f1-score 和支持率。

在这种情况下,类 “good” 和 “vgood” 的准确率、召回率和 f1-score 都为 0。这意味着模型无法正确预测这些类别。这可能是由于类别样本不均衡导致的。类 “unacc” 的准确率和召回率都很高,表明模型在预测这个类别时表现得相对较好。

十一、结果和结论

在这个项目中,我建立了一个决策树分类器模型来预测汽车的安全性。模型分为两种:一种使用标准“基尼指数”,另一种使用标准“熵”。两种模型的性能都非常出色,准确率均为 0.8021。

标准“基尼指数”模型

在使用“基尼指数”标准的模型中,训练集的准确率得分为 0.7865,而测试集的准确率得分为 0.8021。这两个值相当接近,没有过度拟合的迹象。

标准“熵”模型

类似地,在使用“熵”标准的模型中,训练集的准确度得分为 0.7865,而测试集的准确度得分为 0.8021。这与使用“基尼指数”标准的模型结果相同,因此也没有过度拟合的迹象。

数据集大小的影响

在这两种情况下,训练集和测试集的准确度得分相同,这可能是由于数据集较小导致的结果。

混淆矩阵和分类报告

模型的混淆矩阵和分类报告显示了非常好的性能。以下是模型的混淆矩阵:

 # [[ 73   0  56   0]
 # [ 20   0   0   0]
 # [ 12   0 385   0]
 # [ 25   0   0   0]]

从混淆矩阵中可以看到:

  • 对于类别 a c c \mathbf{acc} acc,模型正确预测了 73 个样本,但有 56 个样本被错误预测为 u n a c c \mathbf{unacc} unacc
  • 对于类别 g o o d \mathbf{good} good,没有样本被正确预测,所有样本被错误预测为其他类别。
  • 对于类别 u n a c c \mathbf{unacc} unacc,模型正确预测了 385 个样本,但有 12 个样本被错误预测为 a c c \mathbf{acc} acc
  • 对于类别 v g o o d \mathbf{vgood} vgood,没有样本被正确预测,所有样本被错误预测为 a c c \mathbf{acc} acc

这些结果表明模型在预测某些类别时有较高的准确性,但在某些类别上有改进空间。

总结

总体而言,本项目中的决策树分类器在使用“基尼指数”和“熵”标准时均表现出了良好的性能。尽管数据集较小可能影响了模型的泛化能力,但模型的准确率和混淆矩阵表明其具有较好的分类能力。未来的工作可以考虑扩大数据集规模,以进一步提升模型的性能和泛化能力。


参考:Decision-Tree Classifier Tutorial
中文版代码放在我的github,欢迎follow


在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1912920.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

double和float的区别与使用

double和float类型的区别与使用 在Java中,double和float都是基本数据类型,用于表示浮点数(即带有小数点的数)。 它们在精度和范围上有所不同: double类型提供了更高的精度和更大的范围,而float类型则精度更…

类似评论、省市区这种具有层次结构的数据表怎么设计?

业务功能模块 评论、回复模块省市区表 设置一个给每个数据设置一个parent_id 例如: 某个视频下a写了条评论,那a的parent_id就是0;b回复了a,那b的parent_id就是a的id;c回复了b,那c的parent_id就是b的id; 这样,所有评论…

MATLAB备赛资源库(1)建模指令

一、介绍 MATLAB(Matrix Laboratory)是一种强大的数值计算环境和编程语言,特别设计用于科学计算、数据分析和工程应用。 二、使用 数学建模使用MATLAB通常涉及以下几个方面: 1. **数据处理与预处理**: - 导入和处理…

LeetCode加油站(贪心算法/暴力,分析其时间和空间复杂度)

题目描述 一.原本暴力算法 最初的想法是:先比较gas数组和cost数组的大小,找到可以作为起始点的站点(因为如果你起始点的油还不能到达下一个站点,就不能作为起始点)。当找到过后,再去依次顺序跑一圈,如果剩余的油为负数…

java使用poi-tl模版引擎导出word之if判断条件的使用

文章目录 模版中if语句条件的使用1.数据为False或空集合2.非False或非空集合 模版中if语句条件的使用 如果区块对的值是 null 、false 或者空的集合,位于区块中的所有文档元素将不会显示,这就等同于if语句的条件为 false。语法示例:{{?stat…

FUSE(用户空间文件系统)命令参数

GPT-4 (OpenAI) FUSE (Filesystem in Userspace)是一个允许创建用户空间文件系统的接口。它提供了一个API,让开发者在未修改内核代码的情况下,通过自己的程序实现文件系统。FUSE 文件系统通常通过 mount 命令来挂载,而且这个命令可以接受各…

【福利】代码公开!咸鱼之王自动答题脚本

转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~ 微信或QQ打开咸鱼之王小程序,进入答题界面,运行main.py。期间不要动鼠标。 可自行更改代码来适配自己的需求~ 可以按照示例图片…

用QFramework重构飞机大战(Siki Andy的)(上)(00-05 到游戏界面之前的所有面板)

GitHub // 官网的 全民飞机大战(第一季)-----框架设计篇(Unity 2017.3) 全民飞机大战(第二季)-----游戏逻辑篇(Unity 2017.3) 全民飞机大战(第三季)-----完善…

基于Java的学生选课系统

第1章 系统概述 1.1概述 背景:随着计算机网络技术的发展,Web 数据库技术已成为应用最为广泛的网站架构基础技术。学生选课系统作为教育单位不可缺少的部分,其内容对于学校的决策者和管理者至关重要。传统的人工管理方式存在效率低、保密性差等…

HarmonyOS ArkUi 字符串<展开/收起>功能

效果图: 官方API: ohos.measure (文本计算) 方式一 measure.measureTextSize 跟方式二使用一样,只是API调用不同,可仔细查看官网方式二 API 12 import { display, promptAction } from kit.ArkUI import { MeasureUtils } fr…

字节码编程javassist之生成带有注解的类

写在前面 本文看下如何使用javassist生成带有注解的类。 1:程序 测试类 package com.dahuyou.javassist.huohuo.cc;import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import ja…

综合安全防护

题目 1,DMZ区内的服务器,办公区仅能在办公时间内(9:00-18:00)可以访问,生产区的设备全天可以访问. 2,生产区不允许访问互联网,办公区和游客区允许访问互联网 3,办公区设备10.0.2.10不允许访问DMz区的FTP服务器和HTTP服务器,仅能ping通10.0.3.10 4,办公区分为市场部和研发部,研…

【实战场景】大文件解析入库的方案有哪些?

【实战场景】大文件解析入库的方案有哪些? 开篇词:干货篇:分块解析内存映射文件流式处理数据库集群处理分布式计算框架 总结篇:我是杰叔叔,一名沪漂的码农,下期再会! 开篇词: 需求背…

【爬虫】Python实现,模拟天眼查登录验证获取token

模拟天眼查登录验证获取token 项目介绍逻辑思路效果演示部分代码展示源代码获取 项目介绍 注:本程序测试时期:2024.7.9,稳定可用 天眼查登录接口升级更新之后,后台接口login接口登录运用了4代极验gt,js逆向部分相当复…

Python | Leetcode Python题解之第225题用队列实现栈

题目: 题解: class MyStack:def __init__(self):"""Initialize your data structure here."""self.queue collections.deque()def push(self, x: int) -> None:"""Push element x onto stack."&…

FPGA 项目菜单功能比较

为了帮助您更好地理解每个FPGA功能模块的实用场合、区别和特点,以下是详细的比较: 功能模块实用场合区别特点FPGA I/O自动控制系统、数据采集系统直接与FPGA板卡上的物理端口交互,配置和使用外部I/O设备灵活配置输入输出端口,支持…

面试官:讲一下如何终止一个 Promise 继续执行

我们知道 Promise 一旦实例化之后,状态就只能由 Pending 转变为 Rejected 或者 Fulfilled, 本身是不可以取消已经实例化之后的 Promise 了。 但是我们可以通过一些其他的手段来实现终止 Promise 的继续执行来模拟 Promise 取消的效果。 Promise.race …

4.MkDocs样式

学习 Admonitions(警告) - Material for MkDocs (wdk-docs.github.io) 提示 - Material for MkDocs 中文文档 (llango.com) Buttons(按钮) - Material for MkDocs (wdk-docs.github.io) 建议去看这些网站,更为详细。 常用功能 便利贴 ​​ 开启 markdown_ex…

通用后台管理(二)——项目搭建

目录 前言 一、安装vue-cli依赖 1、使用yarn下载vue-cli 2、使用npm下载 3、检查一下是否下载成功 二、创建项目 1、创建项目,my-app是项目名称 2、 这里选择vue 2,蓝色表示选中的。 3、启动项目 三、下载项目依赖 四、配置项目 1、修改esli…

“Numpy数据分析与挖掘:高效学习重点技能“

目录 # 开篇 # 补充 zeros & ones eye 1. numpy数组的创建 1.1 array 1.2 range 1.3 arange 1.4 常见的数据类型 1.5 astype 1.6 random.random() & round 2. numpy数组计算和数组计算 2.1 reshape 2.2 shape 2.3 将一维数组变成多维数组 2.4 指定一维…