数据挖掘（二）数据预处理

news2024/11/20 8:24:56
前言

基于国防科技大学 丁兆云老师的《数据挖掘》
数据挖掘
数据挖掘（一）数据类型与统计

2、数据预处理

在这里插入图片描述

2.1数据清理

缺失值处理：

from sklearn.impute import SimpleImputer

# 创建一个SimpleImputer对象，指定缺失值的处理策略（如均值、中位数、众数等）
imputer = SimpleImputer(strategy='mean')  # 可以替换为'median'、'most_frequent'或'constant'

# 假设X是包含缺失值的特征矩阵
X = [[1, 2], [np.nan, 3], [7, 6]]

# 使用fit_transform方法对特征矩阵进行缺失值处理
X_imputed = imputer.fit_transform(X)

# 输出处理后的特征矩阵
print(X_imputed)

离群值处理：

一般使用基于统计方法的离群值处理：（配合箱线图）

  • 标准差方法（Standard Deviation Method）：通过计算数据的均值和标准差，将超过一定标准差阈值的值识别为离群值，并进行处理。
  • 百分位数方法（Percentile Method）：基于数据的百分位数，将超过一定百分位数阈值的值识别为离群值，并进行处理。

其它方法还有基于聚类方法的离群值处理，基于监督学习方法的离群值处理等等

2.2 数据集成：

数据集成（Data Integration）是将来自不同来源的数据合并到一个一致的数据集中的过程。在数据集成中，目标是将具有不同结构和格式的数据源整合成一个统一的视图，以便更好地进行数据分析和建模。

在数据集成过程中，可以采用以下方法：

  1. 数据合并（Data Concatenation）：将相同结构的数据源按行或列进行合并。例如，使用Pandas库可以使用concat函数或merge函数来合并DataFrame对象。
  2. 数据追加（Data Appending）：将不同结构的数据源按行追加到一个数据集中。这通常用于添加新的记录。同样，Pandas库提供了append函数来实现数据追加。
  3. 数据连接（Data Joining）：根据特定的键（Key）将不同数据源中的记录连接起来。这类似于数据库中的表连接操作。Pandas库中的merge函数提供了灵活的数据连接功能。
  4. 数据匹配（Data Matching）：通过相似性匹配的方法将数据源中的记录进行关联。这可以使用文本匹配、字符串匹配或其他相似性度量来实现。
  5. 实体解析（Entity Resolution）：通过识别和解决不同数据源中的相同实体（例如人名、公司名等）来进行数据集成。这可以使用姓名解析、实体链接等方法来实现。

容易出现的问题：数据冗余

解决方案：相关性分析和协方差分析

相关性分析（离散型）：

在这里插入图片描述

连续型：

在这里插入图片描述

在这里插入图片描述

协方差只能测量线性关系，不能完全描述两个变量之间的非线性关系。此外，协方差的数值大小受到变量单位的影响，因此通常使用标准化的相关系数（如皮尔逊相关系数）来更准确地衡量变量之间的相关性。

2.3 数据规约：

数据规约（Data Reduction）是数据挖掘和分析中的一个重要步骤，旨在减少数据集的维度或数量，同时保留关键信息，以提高计算效率和模型性能。

2.3.1降维：

在数据分析和机器学习任务中，降维（Dimensionality Reduction）是一种常用的数据规约技术，它通过减少特征的维度来处理高维数据。

在这里插入图片描述

主成分分析（Principal Component Analysis，PCA）是一种常用的降维方法和统计技术，用于将高维数据集转换为低维表示，同时保留数据中的主要信息。PCA的目标是通过线性变换将原始特征空间映射到新的特征空间，使得新的特征具有最大的方差。

以下是PCA的基本步骤：

  1. 标准化数据：首先，对原始数据进行标准化处理，使得每个特征具有零均值和单位方差。这是为了确保不同特征的尺度不会对PCA的结果产生不合理的影响。
  2. 计算协方差矩阵：通过计算标准化后的数据的协方差矩阵，来衡量不同特征之间的相关性。协方差矩阵的元素表示了不同特征之间的协方差。
  3. 计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。特征值表示了新特征空间中的方差，特征向量表示了原始特征空间到新特征空间的映射关系。
  4. 选择主成分：按照特征值的大小降序排列，选择最大的k个特征值对应的特征向量作为主成分，其中k是希望保留的维度。
  5. 构建投影矩阵：将选择的主成分作为列向量，构建投影矩阵。通过将原始数据与投影矩阵相乘，可以将数据映射到新的低维特征空间。
from sklearn.decomposition import PCA
import numpy as np

# 创建一个示例数据集
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]])

# 创建PCA对象，并指定降维后的维度为2
pca = PCA(n_components=2)

# 对数据集进行PCA降维
X_reduced = pca.fit_transform(X)
# 获取每个主成分的贡献率
variance_ratio = pca.explained_variance_ratio_

# 计算累积贡献率
cumulative_variance_ratio = np.cumsum(variance_ratio)

# 输出每个主成分的贡献率和累积贡献率
for i, ratio in enumerate(variance_ratio):
    print(f"Component {i+1}: {ratio:.4f}")

print("Cumulative Contribution Rate:")
print(cumulative_variance_ratio)
# 输出降维后的数据
print(X_reduced)

一般取累积贡献比达到85%到95%

2.3.2 降数据（降采样）：

下面介绍两种常见的降采样方法：

  1. 随机抽样（Random Sampling）：从原始数据集中随机选择一部分样本作为降采样后的数据集。这种方法简单快速，但可能会导致抽样后的数据集不够代表性。
import numpy as np

# 创建一个示例数据集
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]])

# 随机抽样，降采样至2个样本
num_samples = 2
random_indices = np.random.choice(X.shape[0], size=num_samples, replace=False)
X_reduced = X[random_indices]

# 输出降采样后的数据
print(X_reduced)
  1. 分层抽样（Stratified Sampling）：保持原始数据集中不同类别样本的比例，从每个类别中抽取一定数量的样本作为降采样后的数据集。这种方法可以保持类别分布的均衡性。
from sklearn.model_selection import train_test_split

# 创建一个示例数据集和标签
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]])
y = np.array([0, 1, 0, 1])

# 分层抽样，保持类别比例，降采样至2个样本
num_samples = 2
X_reduced, _, y_reduced, _ = train_test_split(X, y, train_size=num_samples, stratify=y, random_state=42)

# 输出降采样后的数据和标签
print(X_reduced)
print(y_reduced)

2.3.3 数据压缩

2.4 数据转换与离散化：

2.4.1 规范化在这里插入图片描述

最小-最大规范化（Min-Max Normalization）：
最小-最大规范化将数据线性地映射到一个指定的范围（通常是[0, 1]或[-1, 1]）。公式如下：

X_norm = (X - X_min) / (X_max - X_min)

其中，X为原始数据，X_min和X_max分别为原始数据的最小值和最大值。

import numpy as np

# 创建一个示例数据集
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# 最小-最大规范化
X_min = np.min(X, axis=0)
X_max = np.max(X, axis=0)
X_norm = (X - X_min) / (X_max - X_min)

# 输出规范化后的数据
print(X_norm)

Z-Score规范化（Standardization）：
Z-Score规范化将数据转换为均值为0、标准差为1的分布。公式如下：

X_norm = (X - mean) / std

其中，X为原始数据，mean为原始数据的均值，std为原始数据的标准差。

import numpy as np

# 创建一个示例数据集
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

# Z-Score规范化
mean = np.mean(X, axis=0)
std = np.std(X, axis=0)
X_norm = (X - mean) / std

# 输出规范化后的数据
print(X_norm)

2.4.2 离散化
在这里插入图片描述

等宽离散化（Equal Width Discretization）：
等宽离散化将数据的值范围分成相等宽度的区间。具体步骤如下：

  • 确定要划分的区间个数（例如，n个区间）。
  • 计算数据的最小值（min_value）和最大值（max_value）。
  • 计算每个区间的宽度（width）：width = (max_value - min_value) / n。
  • 将数据根据区间宽度映射到相应的区间。
import numpy as np

# 创建一个示例数据集
X = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

# 等宽离散化
n_bins = 3
width = (np.max(X) - np.min(X)) / n_bins
bins = np.arange(np.min(X), np.max(X) + width, width)
X_discretized = np.digitize(X, bins)

# 输出离散化后的数据
print(X_discretized)

等频离散化（Equal Frequency Discretization）：
等频离散化将数据划分为相同数量的区间，每个区间包含相同数量的数据。具体步骤如下：

  • 确定要划分的区间个数（例如，n个区间）。
  • 计算每个区间的数据数量（每个区间应包含总数据数量除以区间个数的数据）。
  • 将数据按照值的大小排序。
  • 按照区间的数据数量依次划分数据。
import numpy as np

# 创建一个示例数据集
X = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

# 等频离散化
n_bins = 3
bin_size = len(X) // n_bins
sorted_X = np.sort(X)
bins = [sorted_X[i * bin_size] for i in range(1, n_bins)]
X_discretized = np.digitize(X, bins)

# 输出离散化后的数据
print(X_discretized)

聚类离散化（Cluster Discretization）：
聚类离散化使用聚类算法将数据划分为不同的簇，每个簇作为一个离散化的值。常用的聚类算法包括K-Means、DBSCAN等。该方法需要根据数据的分布和特点进行参数调整和簇数的选择。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1661704.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

信息系统项目管理基础

信息系统项目管理基础

目录 一、项目管理概论 1、定义 2、项目管理的十二原则 3、SMART原则 4、项目经理 5、项目的生命周期 二、项目立项管理 1、项目启动过程 三、项目整合管理 1、管理基础 2、项目整合管理过程 ①制定项目章程 ②制定项目管理计划 ③指导与管理项目工作 ④管理项目…
阅读更多...
【算法与数据结构】数组

【算法与数据结构】数组

文章目录 前言数组数组的定义数组的基本操作增加元素删除元素修改元素查找元素 C STL 中的数组arrayvector Python3 中的列表访问更改元素值遍历列表检查列表中是否存在某元素增加元素删除元素拷贝列表总结 Python3 列表的常用操作 参考资料写在最后 前言 本系列专注更新基本数…
阅读更多...
计算机系列之数据库技术

计算机系列之数据库技术

13、数据库技术（重点、考点） 1、三级模式-两级映像（考点） 内模式：管理如何存储物理的数据，对应具体物理存储文件。 **模式：**又称为概念模式，就是我们通常使用的基本表&#xff0c…
阅读更多...
AI算法-高数3-导数-求导法则

AI算法-高数3-导数-求导法则

P16 2.2 求导法则，宋浩老师：2.2 求导法则_哔哩哔哩_bilibili 反函数求导法则： 复合函数求导：剥洋葱法。
阅读更多...
H5 鼠标点击粒子扩散效果

H5 鼠标点击粒子扩散效果

&#x1f9d0;别人的博客中有这样的效果&#xff0c;于是自己就尝试实现了一下。 效果如图 源码如下 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content&quo…
阅读更多...
一文彻底读懂信息安全等级保护：包含等保标准、等保概念、等保对象、等保流程及等保方案（附：等保相关标准文档）

一文彻底读懂信息安全等级保护：包含等保标准、等保概念、等保对象、等保流程及等保方案（附：等保相关标准文档）

1. 什么是等级保护&#xff1f; 1.1. 概念 信息安全等级保护是指根据我国《信息安全等级保护管理办法》的规定&#xff0c;对各类信息系统按照其重要程度和保密需求进行分级&#xff0c;并制定相应的技术和管理措施&#xff0c;确保信息系统的安全性、完整性、可用性。根据等…
阅读更多...
CTFHUB-技能树-Web题-RCE（远程代码执行）-文件包含

CTFHUB-技能树-Web题-RCE（远程代码执行）-文件包含

CTFHUB-技能树-Web题-RCE&#xff08;远程代码执行&#xff09; 文件包含 文章目录 CTFHUB-技能树-Web题-RCE&#xff08;远程代码执行&#xff09;文件包含解题方法1:![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/71f7355b3c124dfe8cdf1c95e6991553.png#pic_ce…
阅读更多...
Docker快速搭建NAS服务——NextCloud

Docker快速搭建NAS服务——NextCloud

Docker快速搭建NAS服务——NextCloud 文章目录 前言NextCloud的搭建docker-compose文件编写运行及访问 总结 前言 本文主要讲解如何使用docker在本地快速搭建NAS服务&#xff0c;这里主要写如下两种&#xff1a; FileBrowser1&#xff1a;是一个开源的Web文件管理器&#xff…
阅读更多...
我觉得POC应该贴近实际

我觉得POC应该贴近实际

今天我看到一位老师给我一份测试数据。 这是三个国产数据库。算是分布式的。其中有两个和我比较熟悉&#xff0c;但是这个数据看上去并不好。看上去第一个黄色的数据库数据是这里最好的了。但是即使如此&#xff0c;我相信大部分做数据库的人都知道。MySQL和PostgreSQL平时拿出…
阅读更多...
常用七大加密软件排行榜|好用加密文件软件分享

常用七大加密软件排行榜|好用加密文件软件分享

数据安全与隐私保护已成为我们每个人都必须面对的重要问题。 文件加密软件作为保障数据安全的关键工具&#xff0c;其重要性不言而喻。 在众多的加密软件中&#xff0c;哪些软件能够在保障数据安全的同时&#xff0c;又具备良好的易用性和稳定性呢&#xff1f; 本文将为您揭秘…
阅读更多...
YOLO系列笔记（十）—— 基础：卷积层及其计算公式

YOLO系列笔记（十）—— 基础：卷积层及其计算公式

卷积层及其计算公式 前言定义与功能计算过程与输出尺寸没有填充的情况有填充的情况 网络结构中的表示分析一&#xff1a;数字的含义分析二&#xff1a;分支的含义 前言 卷积层是在深度学习领域中非常常见、基础且重要的一种神经网络层。许多初学者可能会对卷积层的功能、其计算…
阅读更多...
【Git】Github创建远程仓库并与本地互联

【Git】Github创建远程仓库并与本地互联

创建仓库 点击生成新的仓库 创建成功后会生成一个这样的文件 拉取到本地 首先先确保本地安装了git 可以通过终端使用 git --version来查看是否安装好了git 如果显示了版本信息&#xff0c;说明已经安装好了git&#xff0c;这时候我们就可以进入我们想要clone到问目标文件夹 …
阅读更多...
数据库开启远程连接

数据库开启远程连接

服务器端添加一个允许远程连接的root用户: mysql -u root -p create user root192.168.10.20 identified by admin; //创建一个192.168.10.20地址远程连接的root用户 grant all privileges on *.* to root192.168.10.20; //赋予远程root用户所有的权…
阅读更多...
【计算机毕业设计】springboot河北任丘非物质文化遗产数字化传承

【计算机毕业设计】springboot河北任丘非物质文化遗产数字化传承

当今社会进入了科技进步、经济社会快速发展的新时代。国际信息和学术交流也不断加强&#xff0c; 计算机技术对经济社会发展和人民生活改善的影响也日益突出&#xff0c;人类的生存和思考方式也产生了变化。传统购物方式采取了人工的管理方法&#xff0c;但这种管理方法存在着许…
阅读更多...
TypeScript学习日志-第二十一天（声明文件d.ts）

TypeScript学习日志-第二十一天（声明文件d.ts）

声明文件d.ts 在使用 Typescript 并使用第三方库 的时候 我们会发现会有很多的提示或补全&#xff0c;这都是声明文件起的作用&#xff0c;但是有写冷门的第三方库是没有声明文件的&#xff0c;这时候引用就会报错&#xff0c;我们就使用 express 库作为例子来展示一下&#x…
阅读更多...
视频怎么打水印？6个软件教你快速进行视频水印制作

视频怎么打水印？6个软件教你快速进行视频水印制作

视频怎么打水印&#xff1f;6个软件教你快速进行视频水印制作 添加水印是保护视频版权、提升视频专业性的重要手段之一。以下是六款软件&#xff0c;它们能够帮助你快速进行视频水印制作&#xff0c;让你的视频更具个性和专业性&#xff1a; 1.迅捷视频剪辑软件&#xff1a;…
阅读更多...
Docker快速搭建NAS服务——FileBrowser

Docker快速搭建NAS服务——FileBrowser

Docker快速搭建NAS服务——FileBrowser 文章目录 前言FileBrowser的搭建docker-compose文件编写运行及访问 总结 前言 本文主要讲解如何使用docker在本地快速搭建NAS服务&#xff0c;这里主要写如下两种&#xff1a; FileBrowser1&#xff1a;是一个开源的Web文件管理器&…
阅读更多...
TikTok自动评论、回复的脚本怎么制作?

TikTok自动评论、回复的脚本怎么制作?

在当今数字化的时代&#xff0c;社交媒体平台如TikTok已经成为人们日常生活的一部分&#xff0c;为了更有效地在TikTok上进行营销或互动&#xff0c;许多用户和企业开始寻找自动化工具&#xff0c;如自动评论和回复的脚本&#xff0c;以节省时间并提高效率。 本文将科普如何制…
阅读更多...
5.11学习记录

5.11学习记录

20长安杯部分 检材 1 的操作系统版本 CentOS Linux 7.6.1810 (Core) 检材 1 中&#xff0c;操作系统的内核版本是 3.10.0-957.el7.x86_64 检材 1 中磁盘包含一个 LVM 逻辑卷&#xff0c;该 LVM 开始的逻辑区块地址&#xff08;LBA&#xff09;是 2099200 物理卷&#xff…
阅读更多...
【福利来袭】免费领取量化交易软件，轻松炒股！

【福利来袭】免费领取量化交易软件，轻松炒股！

随着科技的发展和信息的普及&#xff0c;量化交易逐渐成为投资者们提高投资效率和盈利能力的重要工具。为了让更多的投资者能够轻松参与量化交易&#xff0c;让投资者能够更加便捷地进行炒股。本文将详细介绍两款免费量化交易软件&#xff0c;帮助投资者更好地了解和选择适合自…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023