机器学习（二） -- 数据预处理（2）

news2024/12/25 9:27:27

系列文章目录

机器学习（一） -- 概述

机器学习（二） -- 数据预处理（1-3）

机器学习（三） -- 特征工程（1-2）

未完待续……

目录

系列文章目录

前言

四、【数据清洗】

1、缺失数据的检测与处理

1.1、检测与统计

1.2、处理

1.2.1、删除缺失值（慎用）

1.2.2、填充缺失值

2、异常数据的检测与处理

2.1、检测

2.1.1、散点图方法

2.1.2、箱线图分析

2.1.3、3σ法则

2.2、处理

2.2.1、不处理

2.2.2、删除

2.2.3、修改

2.2.4、转换

3、重复数据的检测与处理

3.1、记录重复

3.2、特征重复

机器学习（二） -- 数据预处理（1）

机器学习（二） -- 数据预处理（3）

前言

tips：这里只是总结，不是教程哈。本章开始会用到numpy，pandas以及matplotlib，这些就不在这讲了哈。

“***”开头的是给好奇心重的宝宝看的，其实不太重要可以跳过。

此处以下所有内容均为暂定，因为我还没找到一个好的，让小白（我自己）也能容易理解（更系统、嗯应该是宏观）的讲解顺序与方式。

第一文主要简述了一下机器学习大致有哪些东西（当然远远不止这些），对大体框架有了一定了解。接着我们根据机器学习的流程一步步来学习吧，掐掉其他不太用得上我们的步骤，精练起来就4步（数据预处理，特征工程，训练模型，模型评估），其中训练模型则是我们的重头戏，基本上所有算法也都是这一步，so，这个最后写，先把其他三个讲了，然后，在结合这三步来进行算法的学习，兴许会好点（个人拙见）。

四、【数据清洗】

数据异常大致分为三种情况，缺失数据、异常数据（噪声数据）、重复数据。

通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。

1、缺失数据的检测与处理

1.1、检测与统计

1.1.1、利用isnull()函数

（只是想查看每列的缺失值情况，info()更方便）

测试数据：

​

# 检测
print('data中元素是否为空：\n', data.isnull())
# print('data中元素是否为非空：\n', data.notnull())

# 统计
print('data中每个特征对应的非空值数为：\n', data.count())
# print('data中每个特征对应的非空值数为：\n', data.notnull().sum())
print('data中每个特征对应的缺失率为：\n', 1-data.count()/len(data))

# print('data中总非空值数为：\n', data.count().sum())
# # print('data中为空值的总个数：\n',data.isnull().sum().sum())
# print('data中总缺失率为：\n', 1-data.count().sum()/(len(data)*len(data.columns)))

结果：isnill()和notnull()对每个值进行判断，并给出结果（备注掉的有些结果是一样的，就是写法不同，可以参考一下，发散一下思维。）

​

1.1.2、利用info()函数
# 缺失值的统计
# 利用info()方法查看DataFrame的缺失值
print(data.info())

info()就比较直接了，

第一行，告诉我们“data”是一个DataFrame对象

第二行，告诉我们样本范围有4个，从0到3

第三行以及表格，告诉我们有4列（每列一个特征），每个特征的非缺失值情况，如feature2有3个非缺失值

（其他的···请字面理解，也不重要）

​

1.2、处理

1.2.1、删除缺失值（慎用）
# 删除缺失值
data1=data.dropna()
print(data1)

​

dropna()函数：删除具有缺失值的行。

        how：确定缺失值个数，默认how='any’表明，只要某行有缺失值就将该行丢弃；

                  how='all’表明某行全部为缺失值才将其丢弃。

.dropna(axis = 0,how = 'any', thresh = None, subset = None, inplace = False)
1.2.2、填充缺失值

一般用该列平均值填充（当然还有其他很多方法，用0、最大值、中位数、拉格朗日插值等等填充）

# 填充缺失值
data2=data.fillna(1)
# data2=data.replace(np.nan,1)
print(data2)

data2=data.fillna(data.mean())
print(data2)

​

fillna()：缺失值替换。

        value：用于填充缺失值的标量值或字典对象

        method：插值方式，ffill向前填充（向下，front fill），bfill向后填充（向上，back fill）

.fillna(value=None,method=None,axsi=None,inplace=False,limit=None)

# 填充缺失值
# 向后填充
data3=data.fillna(method='bfill')
print(data3)

data3.iloc[2,2]=None
print(data3)

# 向前填充
data4=data3.fillna(method='ffill')
print(data4)

​

2、异常数据的检测与处理

2.1、检测

2.1.1、散点图方法
# 测试数据制作
data=pd.DataFrame(np.arange(12),columns=['x'])
data['y']=data['x']*1.2+1.2
data.iloc[1,1]=134
data.iloc[6,1]=143
print(data)

​

一目了然，有没有。

# 绘图法
plt.scatter(data['x'],data['y'],c='k',marker='.')
# plt.scatter(data.iloc[:,0],data.iloc[:,1],c='k',marker='.')

​

2.1.2、箱线图分析

原理与概念：

5个四分位点：数值大小从小到大排序，分别在开头（最小），25%位置的数（下四分位），中位数，75%位置的值（上四分位），结尾（最大值）的值，分别为Q0，Q1，Q2，Q3，Q4

四分位距（IQR）：Q3-Q1得到的数

然后将最大、最小值设置为min=Q1-1.5IQR，max=Q3+1.5IQR，不在[min,max]的值被认为是异常值。

# 利用箱型图的四分位距（IQR）对异常值进行检测
Percentile = np.percentile(data['y'], [0, 25, 50, 75, 100])  # 计算百分位数
IQR = Percentile[3] - Percentile[1]  # 计算箱型图四分位距
UpLimit = Percentile[3]+IQR*1.5  # 计算临界值上界
DownLimit = Percentile[1]-IQR*1.5  # 计算临界值下界

# 判断异常值，大于上界或小于下界的值即为异常值
abnormal = [i for i in data['y'] if i >UpLimit or i < DownLimit] 
print('IQR检测出的y中异常值为：\n', abnormal)
print('IQR检测出的异常值比例为：\n', len(abnormal)/len(data['y']))

​

2.1.3、3σ法则

这玩意就和数学的正态分布有关了，

简单来讲，超出的【μ±3σ】的值就为异常值。（μ是均值，σ是标准差）

data.iloc[1,1]=2.4
# 利用3sigma原则对异常值进行检测
y_mean = data['y'].mean()  # 计算均值
y_std = data['y'].std()  # 计算标准差

UpLimit = y_mean+y_std*3  # 计算临界值上界
DownLimit =  y_mean-y_std*3  # 计算临界值下界

y_cha = data['y'] - y_mean  # 计算元素与平均值之差

# 返回异常值所在位置
ind = [i for i in range(len(y_cha)) if np.abs(y_cha[i])>y_std*3]

abnormal = [data['y'][i] for i in ind]  # 返回异常值
print('3sigma原则检测出的y中异常值为：\n', abnormal)
print('3sigma原则检测出的异常值比例为：\n', len(abnormal)/len(data['y']))

​

之所以我要修改上面，有一个异常值的数据，是因为我这里数据量太少，异常值又大占比也偏高，出现了设置成3σ不判定为异常值的情况。所以，使他只有一个异常值，来检测异常效果。（实际操作中异常值比例应该没有这么大，我这2/12了都，直接两个大异常值，把标准差拉到了50+，笑不活了QwQ）

这也可以用计算临界值的方法，大同小异哈。

2.2、处理

2.2.1、不处理

身为一条咸鱼，是躺床上起床上厕所都觉得累的！咱就啥都不干！！！

​

2.2.2、删除

这是pandas里面的操作方法哈

# 删除异常值
# print(data)
data1=data[~(np.abs(y_cha)>y_std*3)]# 删的是有异常值的一行哈
print(data1)

​

2.2.3、修改

一般修改为阈值或中值。（当然，也可以是其他的视情况而定，比如可以按照缺失值处理，插入各种值。这里复制一个data2是防止吧data里面的数据修改了，后面还要用呢，节约是中华民族的传统美德）

# 修改异常值
data2=data.iloc[:,:]

for i in ind:
    if data2.iloc[i,1]>UpLimit:
        data2.iloc[i,1]=UpLimit
    if data2.iloc[i,1]<DownLimit:
        data2.iloc[i,1]=DownLimit
        
print("临界值上界：",UpLimit,"临界值下界：",DownLimit)
print(data2)

​

2.2.4、转换

当当当当，看异常值得差异是不是小了很多。但这种使用情况极少，慎用。

# 异常值的对数转换
log_y=np.log(data['y'])
print(log_y)

​

3、重复数据的检测与处理

重复数据有两种情况，一种是记录重复（整行重复），一种是特征重复（某个值重复）

3.1、记录重复

一个或多个特征列的几条记录完全一致，对于记录重复数据。一般采用直接删除方式

3.1.1、检测
# 制作数据
data=pd.DataFrame([[1,'gxy',88,70,'B'],
                   [2,'zqx',59,90,'B'],
                   [3,'ysy',91,95,'A'],
                   [2,'zqx',59,90,'B'],
                   [4,'xyyz',44,64,'C']],
                  columns=['num','name','English','Python','level'])
print(data)

​

# 检测
result=data.duplicated()
print(result)

​

3.1.2、处理
# 处理
data1=data.drop_duplicates()
print(data1)

​

3.2、特征重复

一个或多个特征名不同，但是数据完全一样。

3.2.1、检测
# 制作数据
data=pd.DataFrame([[1,'gxy',88,70,1,'B'],
                   [2,'zqx',59,90,2,'B'],
                   [3,'ysy',91,95,3,'A'],
                   [4,'xyyz',44,64,4,'C']],
                  columns=['num','name','English','Python','idCard','level'])
print(data)

​

#检测
result=data.corr(method='pearson',min_periods=1)
print(result)

 corr函数检测相似度，相似度为1，表示两列数据一模一样

​

3.2.2、处理
# 处理
data1=data[:]

del data1['idCard']
print(data1)


# 2
data1=data.iloc[:,[0,1,2,3,5]]
print(data1)

​

欲知后事如何，且看：机器学习（二） -- 数据预处理（3）​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1350592.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

7、InternVL

7、InternVL

简介 github demo 使用网络获取的油画图片&#xff0c;InternVL识别还算可以。 使用stable diffusion生成的图片&#xff0c;InternVL能很好的识别。 权重 huggingface地址 模型搭建 github地址 下载源码 git clone https://github.com/OpenGVLab/InternVL.git创建环…
阅读更多...
提高软件测试效率：Mock 测试实战教程

提高软件测试效率：Mock 测试实战教程

在软件工程的套路中&#xff0c;虚拟化测试&#xff0c;又称 Mock 测试&#xff0c;扮演一个无可或缺的角色。Mock 测试允许工程师仿制和操控对象、服务或者系统组件等的行为&#xff0c;使得人们能在一个干净独立的环境里测试特定功能。这种方法能确保测试聚焦于代码逻辑&…
阅读更多...
RocketMQ源码解析-主从同步原理(HA)

RocketMQ源码解析-主从同步原理(HA)

1、关键组件 主从同步的实现逻辑主要在HAService中&#xff0c;在它的构造函数中实例化了几个对象同时在start()方法内执行启动&#xff1a; public class HAService {public HAService(final DefaultMessageStore defaultMessageStore) throws IOException {this.defaultMes…
阅读更多...
如何本地快速部署Apache服务器并使用内网穿透工具实现公网访问内网服务

如何本地快速部署Apache服务器并使用内网穿透工具实现公网访问内网服务

文章目录 前言1.Apache服务安装配置1.1 进入官网下载安装包1.2 Apache服务配置 2.安装cpolar内网穿透2.1 注册cpolar账号2.2 下载cpolar客户端 3. 获取远程桌面公网地址3.1 登录cpolar web ui管理界面3.2 创建公网地址 4. 固定公网地址 前言 Apache作为全球使用较高的Web服务器…
阅读更多...
Python零基础入门技能学习，实现办公自动化与数据分析

Python零基础入门技能学习，实现办公自动化与数据分析

一、教程描述 Python零基础入门&#xff0c;写下你的第一行人工智能代码&#xff0c;Python实现办公自动化&#xff0c;这是比同事早下班2小时的技能&#xff0c;Python实现网络爬虫&#xff0c;用Python抓取网页信息提升职场竞争力&#xff0c;Python实现数据分析&#xff0c…
阅读更多...
使用 go-elasticsearch v8 基本请求

使用 go-elasticsearch v8 基本请求

使用 go-elasticsearch 请求示例 你可以通过参考Go 官方文档找到简单的示例&#xff0c;所以我认为先看看这个是个好主意。 连接客户端有两种方式&#xff0c;如下图。 至于两者的特点&#xff0c;TypedClient有类型&#xff0c;更容易编写&#xff0c;但文档较少。另外&…
阅读更多...
jdk更改版本

jdk更改版本

要改三个地方 1、pom.xml里 2、File -> Project Structure -> Project File -> Project Structure -> Modules 3、File -> Settings -> targrt bytecode设为1.8
阅读更多...
C语言学习----存储类别

C语言学习----存储类别

存储类别 &#x1f33f;本文是C Primer Pluse 中文版第12章的部分内容整理 &#x1f331;主要是围绕C中作用域 链接 存储期 展开 &#xff0c;是后面进行多文件管理的基础~ &#x1f308;概要 &#x1f34e;明确对象 变量名 标识符的基本概念和含义 &#x1f350;作用域和链接描…
阅读更多...
西尔维斯特方程（Sylvester equation）官方求解有问题

西尔维斯特方程（Sylvester equation）官方求解有问题

西尔维斯特方程&#xff08;Sylvester equation&#xff09;官方求解有问题 1. 西尔维斯特方程&#xff08;Sylvester equation&#xff09;1.1 以上所有矩阵都是2x2矩阵的演算形式 2. 官方求解Sylvester方程-错误2.1 官方求解形式2.2 2x2矩阵举例 3. Nicolas Andreff作者文章O…
阅读更多...
PostgreSQL数据库的json操作

PostgreSQL数据库的json操作

1.操作符 select json字段::json->key值 from order -- 对象域 select json字段::json->>key值 from order -- 文本 select json字段::json#>{key值} from order -- 对象域 select json字段::json#>>{key值} from order -- 文本对象域表示还能继续操作&#…
阅读更多...
微服务智慧工地信息化解决方案（IOT云平台源码）

微服务智慧工地信息化解决方案（IOT云平台源码）

智慧工地是指应用智能技术和互联网手段对施工现场进行管理和监控的一种工地管理模式。它利用传感器、监控摄像头、人工智能、大数据等技术&#xff0c;实现对施工现场的实时监测、数据分析和智能决策&#xff0c;以提高工地的安全性、效率和质量。 智慧工地平台是一种智慧型、系…
阅读更多...
听GPT 讲Rust源代码--library/alloc

听GPT 讲Rust源代码--library/alloc

File: rust/library/alloc/benches/slice.rs 在Rust源代码中&#xff0c;rust/library/alloc/benches/slice.rs文件的作用是对&[T]类型&#xff08;切片类型&#xff09;进行性能基准测试。该文件包含了对切片类型的一系列操作的基准测试&#xff0c;例如切片迭代、切片排序…
阅读更多...
透明OLED屏批发：从价格到产品选择的全方位指南

透明OLED屏批发：从价格到产品选择的全方位指南

随着科技的进步&#xff0c;透明OLED屏作为一种创新的显示技术&#xff0c;在各个领域都展现出巨大的应用潜力。对于希望在商业或个人应用中采用透明OLED屏的企业或个人&#xff0c;批发购买可能是一个经济高效的选择。尼伽小编将从本文将为您详细解析透明OLED屏批发的各个环节…
阅读更多...
x-cmd pkg | bit - 实验性的现代化 git CLI

x-cmd pkg | bit - 实验性的现代化 git CLI

目录 简介首次用户功能特点竞品和相关作品进一步探索 简介 bit&#xff0c;由 Chris Walz 于 2020 年使用 Go 语言开发&#xff0c;提供直观的命令行补全提示和建立在 git 命令之上的封装命令&#xff0c;旨在建立完全兼容 git 命令的现代化 CLI。 首次用户 使用 x bit 即可自…
阅读更多...
EasyCode代码生成器插件

EasyCode代码生成器插件

EasyCode文档&#xff1a;https://gitee.com/makejava/EasyCode/wikis/pages?sort_id725187&doc_id166248 EasyCode 优点 可以生成controller层的代码。可以一次性生成多张表的各层代码。可以自定义模板。 EasyCode使用 在插件市场下载easy code插件 在idea中进行数据…
阅读更多...
MySQL基础学习: linux系统mysql 密码插件 validate_password安装

MySQL基础学习: linux系统mysql 密码插件 validate_password安装

1、没有安装mysql密码插件&#xff0c;执行命令&#xff1a;SHOW VARIABLES LIKE ‘validate_password%’; 2、安装mysql密码插件&#xff0c;执行命令&#xff1a;install plugin validate_password soname ‘validate_password.so’; 3、再次执行&#xff1a;SHOW VARIABLE…
阅读更多...
Docker 实践之旅：项目迁移与高效部署

Docker 实践之旅：项目迁移与高效部署

目录 1 引言2 初识 Docker2.1 Docker简介2.2 Docker优势 3 传统部署流程的问题4 学习 Docker 的过程5 Docker 解决项目部署的实践5.1 迁移关键服务5.2 定制化打包与快速部署 6 项目实践收获6.1 简化了部署流程6.2 节约了部署成本 7 克服难点和经验分享7.1 版本兼容性问题7.2 网…
阅读更多...
Python列表数据处理全攻略（七）：常用内置方法轻松掌握

Python列表数据处理全攻略（七）：常用内置方法轻松掌握

引言 亲爱的读者&#xff0c;你好&#xff01;Python的列表在数据结构中占据着核心地位&#xff0c;对于学习与应用Python来说&#xff0c;它无疑是我们不可或缺的得力助手。它不仅能帮助我们有效地存储和整理数据&#xff0c;还为我们提供了众多内置方法&#xff0c;让数据处…
阅读更多...
基于RetinaFace+Jetson Nano的智能门锁系统——第二篇（配置环境）

基于RetinaFace+Jetson Nano的智能门锁系统——第二篇（配置环境）

文章目录 设备一、安装远程登录终端Xshell1.1下载Xshell1.2新建回话1.3查询ip地址1.4启动连接 二、安装远程文件管理WinScp2.1下载WinScp2.2连接Jetson Nano2.3连接成功 三、安装远程桌面VNC Viewer3.1下载VNC Viewer3.2在Jetson Nano安装VNC Viewer3.3设置VINO登录选项3.4将网…
阅读更多...
Git原理与使用(二):分支管理

Git原理与使用(二):分支管理

Git原理与使用[二]:分支管理 一.分支的基本操作1.理解分支2.创建分支3.切换分支4.删除分支5.补充:创建并切换分支 二.合并分支1.合并分支的基础操作2.分支冲突 三.分支管理策略1.Fast-forward模式2.--no--ff(即:禁用Fast-forward模式)3.分支策略 四.创建临时分支修复bug1.git s…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023