Pandas 数据清洗

news2024/11/24 13:29:17

Pandas 数据清洗

数据清洗是对一些没有用的数据进行处理的过程。

很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况，如果要对使数据分析更加准确，就需要对这些没有用的数据进行处理。

在这个教程中，我们将利用 Pandas包来进行数据清洗。

本文使用到的测试数据 property-data.csv 如下：

上表包含了四种空数据：

  • n/a

  • NA

  • —

  • na

Pandas 清洗空值

如果我们要删除包含空字段的行，可以使用 dropna() 方法，语法格式如下：

DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)

参数说明：

  • axis：默认为 0，表示逢空值剔除整行，如果设置参数 axis＝1 表示逢空值去掉整列。

  • how：默认为 'any' 如果一行（或一列）里任何一个数据有出现 NA 就去掉整行，如果设置 how='all' 一行（或列）都是 NA 才去掉这整行。

  • thresh：设置需要多少非空值的数据才可以保留下来的。

  • subset：设置想要检查的列。如果是多个列，可以使用列名的 list 作为参数。

  • inplace：如果设置 True，将计算得到的值直接覆盖之前的值并返回 None，修改的是源数据。

我们可以通过 isnull() 判断各个单元格是否为空。

import pandas as pd

df = pd.read_csv('property-data.csv')

print(df['NUM_BEDROOMS'])
print(df['NUM_BEDROOMS'].isnull())

以上实例输出结果如下：

0      3
1      3
2    NaN
3      1
4      3
5    NaN
6      2
7      1
8     na
Name: NUM_BEDROOMS, dtype: object
0    False
1    False
2     True
3    False
4    False
5     True
6    False
7    False
8    False
Name: NUM_BEDROOMS, dtype: bool

Process finished with exit code 0

以上例子中我们看到 Pandas 把 n/a 和 NA 当作空数据，na 不是空数据，不符合我们要求，我们可以指定空数据类型：

import pandas as pd

missing_values = ["n/a", "na", "--"]
df = pd.read_csv('property-data.csv', na_values = missing_values)

print (df['NUM_BEDROOMS'])
print (df['NUM_BEDROOMS'].isnull())

以上实例输出结果如下：

0    3.0
1    3.0
2    NaN
3    1.0
4    3.0
5    NaN
6    2.0
7    1.0
8    NaN
Name: NUM_BEDROOMS, dtype: float64
0    False
1    False
2     True
3    False
4    False
5     True
6    False
7    False
8     True
Name: NUM_BEDROOMS, dtype: bool

Process finished with exit code 0

接下来的实例演示了删除包含空数据的行。

import pandas as pd

df = pd.read_csv('property-data.csv')

new_df = df.dropna()

print(new_df.to_string())

以上实例输出结果如下：

           PID  ST_NUM    ST_NAME OWN_OCCUPIED NUM_BEDROOMS NUM_BATH SQ_FT
0  100001000.0   104.0     PUTNAM            Y            3        1  1000
1  100002000.0   197.0  LEXINGTON            N            3      1.5    --
8  100009000.0   215.0    TREMONT            Y           na        2  1800

Process finished with exit code 0

注意：默认情况下，dropna() 方法返回一个新的 DataFrame，不会修改源数据。

如果你要修改源数据 DataFrame, 可以使用 inplace = True 参数:

import pandas as pd

df = pd.read_csv('property-data.csv')

df.dropna(inplace = True)

print(df.to_string())

以上实例输出结果如下：

           PID  ST_NUM    ST_NAME OWN_OCCUPIED NUM_BEDROOMS NUM_BATH SQ_FT
0  100001000.0   104.0     PUTNAM            Y            3        1  1000
1  100002000.0   197.0  LEXINGTON            N            3      1.5    --
8  100009000.0   215.0    TREMONT            Y           na        2  1800

Process finished with exit code 0

我们也可以移除指定列有空值的行：

# 移除 ST_NUM 列中字段值为空的行：

import pandas as pd

df = pd.read_csv('property-data.csv')

df.dropna(subset=['ST_NUM'], inplace = True)

print(df.to_string())

以上实例输出结果如下：

           PID  ST_NUM    ST_NAME OWN_OCCUPIED NUM_BEDROOMS NUM_BATH SQ_FT
0  100001000.0   104.0     PUTNAM            Y            3        1  1000
1  100002000.0   197.0  LEXINGTON            N            3      1.5    --
3  100004000.0   201.0   BERKELEY           12            1      NaN   700
4          NaN   203.0   BERKELEY            Y            3        2  1600
5  100006000.0   207.0   BERKELEY            Y          NaN        1   800
7  100008000.0   213.0    TREMONT            Y            1        1   NaN
8  100009000.0   215.0    TREMONT            Y           na        2  1800

Process finished with exit code 0

我们也可以 fillna() 方法来替换一些空字段：

# 使用 12345 替换空字段：

import pandas as pd

df = pd.read_csv('property-data.csv')

df.fillna(12345, inplace = True)

print(df.to_string())

以上实例输出结果如下：

           PID   ST_NUM     ST_NAME OWN_OCCUPIED NUM_BEDROOMS NUM_BATH  SQ_FT
0  100001000.0    104.0      PUTNAM            Y            3        1   1000
1  100002000.0    197.0   LEXINGTON            N            3      1.5     --
2  100003000.0  12345.0   LEXINGTON            N        12345        1    850
3  100004000.0    201.0    BERKELEY           12            1    12345    700
4      12345.0    203.0    BERKELEY            Y            3        2   1600
5  100006000.0    207.0    BERKELEY            Y        12345        1    800
6  100007000.0  12345.0  WASHINGTON        12345            2   HURLEY    950
7  100008000.0    213.0     TREMONT            Y            1        1  12345
8  100009000.0    215.0     TREMONT            Y           na        2   1800

Process finished with exit code 0

我们也可以指定某一个列来替换数据：

# 使用 12345 替换 PID 为空数据：

import pandas as pd

df = pd.read_csv('property-data.csv')

df['PID'].fillna(12345, inplace = True)

print(df.to_string())

以上实例输出结果如下：

           PID  ST_NUM     ST_NAME OWN_OCCUPIED NUM_BEDROOMS NUM_BATH SQ_FT
0  100001000.0   104.0      PUTNAM            Y            3        1  1000
1  100002000.0   197.0   LEXINGTON            N            3      1.5    --
2  100003000.0     NaN   LEXINGTON            N          NaN        1   850
3  100004000.0   201.0    BERKELEY           12            1      NaN   700
4      12345.0   203.0    BERKELEY            Y            3        2  1600
5  100006000.0   207.0    BERKELEY            Y          NaN        1   800
6  100007000.0     NaN  WASHINGTON          NaN            2   HURLEY   950
7  100008000.0   213.0     TREMONT            Y            1        1   NaN
8  100009000.0   215.0     TREMONT            Y           na        2  1800

Process finished with exit code 0

替换空单元格的常用方法是计算列的均值、中位数值或众数。

Pandas使用 mean()、median() 和 mode() 方法计算列的均值（所有值加起来的平均值）、中位数值（排序后排在中间的数）和众数（出现频率最高的数）。

# 使用 mean() 方法计算列的均值并替换空单元格：

import pandas as pd

df = pd.read_csv('property-data.csv')

x = df["ST_NUM"].mean()

df["ST_NUM"].fillna(x, inplace = True)

print(df.to_string())

以上实例输出结果如下，红框为计算的均值替换来空单元格：

# 使用 median() 方法计算列的中位数并替换空单元格：

import pandas as pd

df = pd.read_csv('property-data.csv')

x = df["ST_NUM"].median()

df["ST_NUM"].fillna(x, inplace = True)

print(df.to_string())

以上实例输出结果如下，红框为计算的中位数替换来空单元格：

使用 mode() 方法计算列的众数并替换空单元格与上面方法类似。

Pandas 清洗格式错误数据

数据格式错误的单元格会使数据分析变得困难，甚至不可能。

我们可以通过包含空单元格的行，或者将列中的所有单元格转换为相同格式的数据。

以下实例会格式化日期：

import pandas as pd

# 第三个日期格式错误
data = {
  "Date": ['2020/12/01', '2020/12/02' , '20201226'],
  "duration": [50, 40, 45]
}

df = pd.DataFrame(data, index = ["day1", "day2", "day3"])

df['Date'] = pd.to_datetime(df['Date'])

print(df.to_string())

以上实例输出结果如下：

           Date  duration
day1 2020-12-01        50
day2 2020-12-02        40
day3 2020-12-26        45

Process finished with exit code 0

Pandas 清洗错误数据

数据错误也是很常见的情况，我们可以对错误的数据进行替换或移除。

以下实例会替换错误年龄的数据：

import pandas as pd

person = {
  "name": ['Google', 'Runoob' , 'Taobao'],
  "age": [50, 40, 12345]    # 12345 年龄数据是错误的
}

df = pd.DataFrame(person)

df.loc[2, 'age'] = 30 # 修改数据

print(df.to_string())

以上实例输出结果如下：

     name  age
0  Google   50
1  Runoob   40
2  Taobao   30

也可以设置条件语句：

# 将 age 大于 120 的设置为 120:

import pandas as pd

person = {
  "name": ['Google', 'Runoob' , 'Taobao'],
  "age": [50, 200, 12345]    
}

df = pd.DataFrame(person)

for x in df.index:
  if df.loc[x, "age"] > 120:
    df.loc[x, "age"] = 120

print(df.to_string())

以上实例输出结果如下：

     name  age
0  Google   50
1  Runoob  120
2  Taobao  120

也可以将错误数据的行删除：

# 将 age 大于 120 的删除:

import pandas as pd

person = {
  "name": ['Google', 'Runoob' , 'Taobao'],
  "age": [50, 40, 12345]    # 12345 年龄数据是错误的
}

df = pd.DataFrame(person)

for x in df.index:
  if df.loc[x, "age"] > 120:
    df.drop(x, inplace = True)

print(df.to_string())

以上实例输出结果如下：

     name  age
0  Google   50
1  Runoob   40

Pandas 清洗重复数据

如果我们要清洗重复数据，可以使用 duplicated() 和 drop_duplicates() 方法。

如果对应的数据是重复的，duplicated() 会返回 True，否则返回 False。

import pandas as pd

person = {
  "name": ['Google', 'Runoob', 'Runoob', 'Taobao'],
  "age": [50, 40, 40, 23]  
}
df = pd.DataFrame(person)

print(df.duplicated())

以上实例输出结果如下：

0    False
1    False
2     True
3    False
dtype: bool

删除重复数据，可以直接使用drop_duplicates() 方法。

import pandas as pd

persons = {
  "name": ['Google', 'Runoob', 'Runoob', 'Taobao'],
  "age": [50, 40, 40, 23]  
}

df = pd.DataFrame(persons)

df.drop_duplicates(inplace = True)
print(df)

以上实例输出结果如下：

     name  age
0  Google   50
1  Runoob   40
3  Taobao   23

参考：https://www.runoob.com/pandas/pandas-cleaning.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/168423.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

微软ATP带你看| 爆火的ChatGPT是什么？

微软ATP带你看| 爆火的ChatGPT是什么？

（本文阅读时间：7分钟）OpenAI最新聊天机器人ChatGPT火爆全网！能写代码、编剧本，马斯克都盛赞它“好得吓人”！ChatGPT是什么GPT(Generative Pre-trained Transformer)系列是由OpenAI提出的非常强大的预训练语…
阅读更多...
MaxCompute SQL示例解析

MaxCompute SQL示例解析

MaxCompute SQL示例解析 介绍MaxCompute SQL常见使用场景，掌握SQL的写法。 准备数据集 本文以emp表和dept表为示例数据集。您可以自行在MaxCompute项目上创建表并上传数据。 emp.csv中数据如下 7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,20 7499,ALLEN,SALES…
阅读更多...
aws codebuild 使用和配置codebuild测试报告

aws codebuild 使用和配置codebuild测试报告

参考资料 使用 Amazon CodeBuild 中的测试报告在 CodeBuild 使用AWS CLI样本中创建测试报告aws-codebuild-samples 在codebuild构建过程中获取有关在构建期间运行的测试的详细信息。 codebuild测试报告 通过在buildspec.yaml中配置报告组，运行构建项目时系统将运…
阅读更多...
【代码随想录】96.不同的二叉搜索树

【代码随想录】96.不同的二叉搜索树

96.不同的二叉搜索树 思路 n为1的时候有一棵树，n为2有两棵树，这个是很直观的。 n为3的时候，有哪几种情况。 当1为头结点的时候，其右子树有两个节点，看这两个节点的布局，是不是和 n 为2的时候两棵树的布…
阅读更多...
控价公司可以帮我们做什么？什么时候需要找第三方控价公司？

控价公司可以帮我们做什么？什么时候需要找第三方控价公司？

如果，我们品牌的销售渠道遭遇了低价乱价、窜货、侵权、假冒等问题，扰乱了我们品牌的渠道秩序，或者是我们在品牌发展的过程中，想通过对行业和竞品的了解来明确发展方向和策略，而自己又分身乏术或无从下手，这…
阅读更多...
车辆信息查询

车辆信息查询

要想查一辆汽车的信息，除了去各个汽车平台上查询，比如汽车之家、易车网、懂车帝等，还可以使用“汽车公告查询”。 通过常规网页百度搜索引擎，输入关键字“汽车公告查询”，就会获取到相关搜索结果，汽车公告查…
阅读更多...
C进阶_内存库函数

C进阶_内存库函数

目录 memcpy 模拟实现memcpy memmove 模拟实现memmove memcmp memcpy 它的函数原型为： void * memcpy ( void * destination, const void * source, size_t num ); 函数memcpy从source的位置开始向后复制num个字节的数据到destination的内存位置。 这个函数…
阅读更多...
104、【树与二叉树】leetcode ——98. 验证二叉搜索树：递归法[先序+中序+后序]+迭代法（C++版本）

104、【树与二叉树】leetcode ——98. 验证二叉搜索树：递归法[先序+中序+后序]+迭代法（C++版本）

题目描述 原题链接：98. 验证二叉搜索树 解题思路 BST的特点是：当前结点的值，比左子树中的全部结点都大，比右子树中全部结点都小。在代码实现中，要注意不要对比的是某一结点和某一侧的全部值之间的关系，不…
阅读更多...
【论文阅读】CenterNet

【论文阅读】CenterNet

论文题目：Objects as Points（CVPR2019） 论文地址：https://arxiv.org/pdf/1904.07850.pdf 发布时间：2019.4.16 机构：UT Austin，UC Berkeley 代码：https://github.com/xingyizhou/…
阅读更多...
小程序事件基础

小程序事件基础

小程序事件--基础小程序事件事件简介小程序事件—事件传参事件对象属性target和currentTarget事件对象属性获取和设置data数据获取&设置data获取和设置data数据—进阶小程序的渲染层与逻辑层小程序事件 事件简介 事件是视图层到逻辑层的通讯方式。负责将用户对于的页面的操…
阅读更多...
云上的米开朗基罗：在不确定时代，寻找建筑般的确定性

云上的米开朗基罗：在不确定时代，寻找建筑般的确定性

文艺复兴三杰之一的米开朗基罗，被称为“天才建筑师”。其实他一生留下的建筑并不多，仅仅有美第奇礼拜堂、卡比多广场、圣彼得大教堂穹顶等寥寥几座。但米开朗基罗却凭借对建筑层次与结构的精妙把握，影响了此后数百年的建筑风格。很多人认为&a…
阅读更多...
【代码随想录】动态规划：关于01背包问题，你该了解这些！（滚动数组）

【代码随想录】动态规划：关于01背包问题，你该了解这些！（滚动数组）

01 背包 有n件物品和一个最多能背重量为w的背包 第i件物品的重量是weight[i]， 得到的价值是value[i] ， 每件物品只能用一次，求解将哪些物品装入背包里物品价值总和最大。 每一件物品其实只有两个状态，取或者不取，所以…
阅读更多...
win下编译opencv+libjpeg-turbo

win下编译opencv+libjpeg-turbo

文章目录前言编译环境下载opencv和jpeg-turbo源码编译jpeg-turbo编译opencv失败？那就直接调用jpeg-turbo库进行编解码前言 opencv默认自带第三方jpeg编解码库，但其性能一般，对高性能需求的程序来说是不适合的，因此我们可以把jpeg…
阅读更多...
设计模式学习（八）：Proxy代理模式

设计模式学习（八）：Proxy代理模式

一、什么是Proxy模式 Proxy是“代理人”的意思，它指的是代替别人进行工作的人。当不一定需要本人亲自进行工作时，就可以寻找代理人去完成工作。但代理人毕竟只是代理人，能代替本人做的事情终究是有限的。因此，当代理人遇到无法自己…
阅读更多...
文件上传oss，并查询上传进度(SpringBoot+Redis+Oss+Swagger3)

文件上传oss，并查询上传进度(SpringBoot+Redis+Oss+Swagger3)

文章目录诉求技术选型pom配置项目结构文件树图示结构代码实现配置相关配置文件yamlSwagger3配置跨域问题配置oss相关ServiceControllerApplicationSwagger接口操作获取上传文件标识号获取文件上传进度小结诉求 将文件上传到oss，并实时监听上传进度，并将进…
阅读更多...
【javaSE】中基本类型和引用类型对象的比较及PriorityQueue中的比较方法

【javaSE】中基本类型和引用类型对象的比较及PriorityQueue中的比较方法

写博客是为了提升自己，也是为了展现自己的学习成果，坚持!坚持!坚持！未来是什么样的，闯一闯就知道啦。喜欢就留个关注吧！！! 目录 一、java对象的比较 1.1java中基本类型的比较 1.2引用对象的比较 1.3引用…
阅读更多...
使用云端的GPU进行yolov5的训练

使用云端的GPU进行yolov5的训练

前言本文介绍了使用云端GPU进行yolov5训练环境配置的过程一、创建实例这里使用的是恒源云的GPU服务器，官方网址为恒源云_GPUSHARE-恒源智享云他的用户文档为Tmux - 恒源云用户文档一般的问题在用户文档中都可以找到解决办法。注册并登录后的界面如下图所示。点击云市…
阅读更多...
c++11 标准模板（STL）（std::forward_list）（十）

c++11 标准模板（STL）（std::forward_list）（十）

定义于头文件 <forward_list> template< class T, class Allocator std::allocator<T> > class forward_list;(1)(C11 起)namespace pmr { template <class T> using forward_list std::forward_list<T, std::pmr::polymorphic_…
阅读更多...
UPerNet：Unified Perceptual Parsing for Scene Understanding论文解读

UPerNet：Unified Perceptual Parsing for Scene Understanding论文解读

Unified Perceptual Parsing for Scene Understanding 论文&#xff1a;[1807.10221] Unified Perceptual Parsing for Scene Understanding (arxiv.org) 代码&#xff1a;CSAILVision/unifiedparsing: Codebase and pretrained models for ECCV’18 Unified Perceptual Parsi…
阅读更多...
第二章.线性回归以及非线性回归—岭回归

第二章.线性回归以及非线性回归—岭回归

第二章.线性回归以及非线性回归 2.12 岭回归&#xff08;Ridge Regression&#xff09; 1.前期导入&#xff1a; 1).标准方程法[w(XTX)-1XTy]存在的缺陷&#xff1a; 如果数据的特征比样本点还多&#xff0c;数据特征n&#xff0c;样本个数m&#xff0c;如如果n>m&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023