Python数据清洗与可视化实践：国际旅游收入数据分析

news2024/10/7 12:21:14

文章目录

  • 概要
  • 整体流程
  • 名词解释
    • NumPy
    • Pandas
    • Matplotlib
    • re
  • 技术细节
    • 数据清洗
    • 可视化
  • 小结

概要

在本篇博客中，我们将通过一个实际的案例，演示如何使用Python进行数据清洗和可视化，以分析国际旅游收入数据。我们将使用Python中的Pandas库来进行数据处理和清洗，然后使用Matplotlib库来绘制饼图，展示各地区2017年至2019年国际旅游收入总和的占比情况。

在这里插入图片描述

整体流程

  1. 将表头统一为一行。
  2. 将地区字符串中的符号“？”，“ ”去除。
  3. 删除空白行。
  4. 删除重复行。
  5. 表格中第二列数据（B列）等于第三四五列之和，将第二、三、四、五列中的空值填充。
  6. 使用mean（）填充第六列空值。
  7. 使用中位数法填充第7列空值。
  8. 使用四分位法对第8列数据进行异常值处理，并将异常值设置为该列均值。
  9. 使用除均值和中位数法以外的方法将第9和10列的空值填充。
  10. 结果保留一位小数
  11. 对数据绘制可视化饼图

名词解释

数据分析是指利用统计学和计算机科学的方法，对收集到的数据进行分析、解释和探索，从而发现数据中的模式、趋势和关联性，提取有用的信息和知识，并为决策和问题解决提供支持。数据分析可以应用于各个领域，包括商业、科学、工程、医疗等，帮助人们更好地理解数据、发现问题和机会，并制定合适的策略和方案。

数据分析的主要目标包括：

  1. 描述性分析：对数据进行汇总和描述，包括统计量的计算、图表的绘制等，以便对数据有一个整体的了解。
  2. 探索性分析：通过可视化和探索性数据分析（EDA），探索数据中的模式、趋势和关系，发现数据中的隐藏信息和规律。
  3. 预测性分析：利用统计和机器学习方法，建立模型来预测未来的趋势和行为，帮助做出更准确的预测和决策。
  4. 解释性分析：对模型和结果进行解释，理解模型背后的原理和机制，从而深入理解数据背后的规律和关联性。

数据分析通常涉及多种技术和工具，包括数据清洗、数据可视化、统计分析、机器学习等。通过对数据进行系统和深入的分析，可以发现数据中的价值和见解，为组织和个人提供更好的决策支持和业务洞察。

NumPy

  • NumPy 是 Python 中用于科学计算的核心库之一，提供了高性能的多维数组对象和各种数学函数。它是许多其他数据分析工具的基础，如 Pandas 和 SciPy。
  • NumPy 的核心是 ndarray（N-dimensional array）对象，可以用来存储和处理多维数组数据。它提供了各种函数和方法，可以进行数组的创建、索引、切片、数学运算、线性代数运算等操作。

Pandas

  • Pandas 是 Python 中用于数据分析的核心库之一，提供了快速、灵活且高效的数据结构和数据操作工具。它的主要数据结构是 Series（一维数组）和 DataFrame（二维表格），可以轻松处理结构化数据。
  • Pandas 提供了丰富的函数和方法，可以进行数据的加载、清洗、转换、分组、聚合等操作。它还支持对缺失值和异常值的处理，以及数据的合并和拆分等高级操作。

Matplotlib

  • Matplotlib 是 Python 中用于创建可视化图表的主要库之一，提供了广泛的功能和灵活性。它可以创建各种类型的静态图表，如折线图、散点图、直方图等。
  • Matplotlib 的设计灵感来自于 MATLAB，因此其语法和用法与 MATLAB 相似。它支持绘制高质量的图表，并且可以通过设置不同的样式和参数来定制图表的外观和风格。

re

  • re 是 Python 中用于正则表达式操作的标准库，提供了强大的文本模式匹配和处理功能。正则表达式是一种强大的文本搜索和处理工具，可以用来查找、替换、分割等。
  • re 库提供了各种函数和方法，可以用来编译和执行正则表达式，以及进行各种文本操作。它通常用于处理复杂的文本数据，如日志文件、网络数据等。

这些库在数据分析领域发挥着重要的作用，通过它们的组合，可以完成从数据加载到数据可视化的整个数据分析过程。

技术细节

首先安装Python🚪和Jupyter Lab，如果已经安装了这两个的话可以直接打开jupyter lab进行下一步

// 安装：
pip3 install jupyterlab

安装完成之后，可以查看版本号看安装是否成功
在这里插入图片描述
然后打开cmd命令行，进到你要打开的文件夹目录下，输入jupyter lab打开，通过以上步骤，你就可以成功安装和启动 Jupyter Lab，并开始使用它进行数据分析、机器学习、编程等工作了。

数据清洗

首先导入需要用来数据分析的依赖numpy，Pandas，Matplotlib.pyplot,re。再从excel文件中读取Excel 文件数据，并将读取的数据存储在名为 data 的 DataFrame 中。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import re

path = 'chuji.xlsx'
data = pd.read_excel(path, engine='openpyxl') # 数据读取

将表头统一为一行：将data的列名(表头)设置为指定的列表，列表中的每个元素对应一个列名，再删除第一行数据，索引为 0 的行

data.columns = ['地区','规模/限额以上文化及相关产业营业总收入（万元）','规模以上文化制造业企业营业收入（万元）','限额以上文化批发和零售业企业营业收入（万元）','规模以上文化服务企业营业收入（万元）','限额以上住宿业企业营业收入（亿元）','限额以上餐饮业营业额（亿元）','国际旅游收入2017','国际旅游收入2018','国际旅游收入2019']
data = data.drop(0)

将地区字符串中的符号“？”，“ ”去除：使用了正则表达式模块 re 中的 sub() 函数来替换字符串中的匹配项。lambda x: re.sub(r'\s+', '', str(x)) if not pd.isna(x) else x 是一个匿名函数，这个函数首先检查元素是否为 NaN（缺失值），如果不是，则使用正则表达式 re.sub() 将字符串中的所有空格（\s+）替换为空字符串，从而去除空格。如果元素是NaN，则返回原始值。最后，使用 .apply() 函数将这个匿名函数应用于地区列中的每个元素，从而实现去除符号“？”和空格的操作。

data.iloc[:, 0] = data.iloc[:, 0].apply(lambda x: re.sub(r'\s+', '', str(x)) if not pd.isna(x) else x)

删除空白行和重复行：dropna() 方法来删除包含空值（NaN）的行，axis=0 参数指定了操作的轴向，这里设为 0 表示按行进行操作。how=‘all’ 参数指定了删除行的条件，这里设为 ‘all’ 表示当行中所有元素都是空值（NaN）时才删除该行。drop_duplicates() 方法来删除重复行，inplace=True 参数表示在原始 DataFrame 上进行操作，不创建新的 DataFrame。

data.dropna(axis=0, how='all', inplace=True)
data.drop_duplicates(inplace=True)

由于之前删除了空白行和重复行，所以要重设索引，使用 DataFrame 的 reset_index() 方法重新设置索引。参数 drop=True 表示丢弃原始索引，而不保留在 DataFrame 中作为新的列。重新设置索引后，DataFrame 的索引会按照从 0 开始的顺序重新排列。

data.reset_index(drop=True, inplace=True) # 重置索引

填充二三四五列数据：对第二列进行处理：data.iloc[:, 1].isnull().any()：检查第二列是否存在空值。如果存在空值，则使用 fillna() 方法填充空值。填充值为第三、四、五列之和，使用 data.iloc[:, 2] +data.iloc[:, 3] + data.iloc[:, 4] 计算。同时使用 astype(data.iloc[:, 1].dtype) 将填后的数据类型转换为第二列原始的数据类型，以保持数据一致性。其它三列也是相同的处理方法

# 如果第二列为空值，求和第三四五列
if data.iloc[:, 1].isnull().any():  
    data.iloc[:, 1] = data.iloc[:, 1].fillna(data.iloc[:, 2] + data.iloc[:, 3] + data.iloc[:, 4]).astype(data.iloc[:, 1].dtype)
# 对第三列进行空值判断
if data.iloc[:, 2].isnull().any():
    data.iloc[:, 2] = data.iloc[:, 2].fillna(data.iloc[:, 1] - data.iloc[:, 3] - data.iloc[:, 4]).astype(data.iloc[:, 2].dtype)
# 对第四列进行空值判断
if data.iloc[:, 3].isnull().any():
    data.iloc[:, 3] = data.iloc[:, 3].fillna(data.iloc[:, 1] - data.iloc[:, 2] - data.iloc[:, 4]).astype(data.iloc[:, 3].dtype)
# 对第五列进行空值判断
if data.iloc[:, 4].isnull().any():
    data.iloc[:, 4] = data.iloc[:, 4].fillna(data.iloc[:, 1] - data.iloc[:, 2] - data.iloc[:, 3]).astype(data.iloc[:, 4].dtype)

第六列数据：使用 mean() 方法获取列的均值，使用 fillna() 方法填充第六列的空值。填充值为前面计算得到的均值 mean_value

mean_value = data.iloc[:, 5].mean()
data.iloc[:, 5].fillna(mean_value, inplace=True)

第七列数据：使用 median() 方法获取列的中位数，使用 fillna() 方法填充第七列的空值。填充值为前面计算得到的中位数 median_value

median_value = data.iloc[:, 6].median()
data.iloc[:, 6].fillna(median_value, inplace=True)

第八列数据：首先，计算第八列数据的四分位数和 IQR = Q3 - Q1（四分位间距）：计算第八列数据的第一四分位数（25th percentile）。计算第八列数据的第三四分位数（75th percentile）。接着，计算异常值的上下界，使用 np.where() 函数将超出异常值范围的值替换为该列的均值

Q1 = data.iloc[:, 7].quantile(0.25)
Q3 = data.iloc[:, 7].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
data.iloc[:, 7] = np.where((data.iloc[:, 7] < lower_bound) | (data.iloc[:, 7] > upper_bound), mean_value, data.iloc[:, 7])

第九、十列数据：参数 method='ffill' 表示使用前向填充法，即用前一个非空值填充当前空值。参数 method='bfill' 表示使用后向填充法，即用后一个非空值填充当前空值。

data.iloc[:, 8].fillna(method='ffill', inplace=True) # 前向填充第9列
data.iloc[:, 9].fillna(method='bfill', inplace=True) # 后向填充第10列

所有结果保留一位小数：使用 for 循环遍历索引范围从 0 到 10，即遍历所有列。round() 方法是 Python 中用于四舍五入的函数，参数 1 表示保留一位小数。

for i in range(0,10):
    data.iloc[:, i] = data.iloc[:, i].round(1)

在这里插入图片描述

可视化

在清洗和预处理完数据之后，我们可以使用Matplotlib库来绘制饼图，展示各地区2017年至2019年国际旅游收入总和的占比情况。

设置中文显示：用于设置字体为中文，以及解决坐标轴负号显示问题

plt.rcParams['font.sans-serif'] = ['simHei']
plt.rcParams['axes.unicode_minus'] = False

将每个地区2017年至2019年国际旅游收入的总和计算出来，并存储在名为"总收入"的新列中

data['总收入'] = data.iloc[:, 1:].sum(axis=1)

创建了一个大小为10x8英寸的画布，用于绘制饼图

plt.figure(figsize=(10, 8))

绘制了饼图，其中data[‘总收入’]是各地区收入总和的数据，labels是各地区的标签，autopct='%1.1f%%'是指定了数据标签的显示格式，startangle=140是设置了起始角度为140度

plt.pie(data['总收入'], labels=data['地区'], autopct='%1.1f%%', startangle=140)

添加了饼图的标题

plt.title('各地区2017-2019年国际旅游收入总和占比')

调整了布局，使得图形更加美观

plt.tight_layout()

保持饼图的长宽比相等，然后plt.show()将绘制好的图形显示出来

plt.axis('equal')  
plt.show()

在这里插入图片描述

小结

通过本篇博客，我们学习了如何使用Python进行数据清洗和可视化分析。首先，我们使用Pandas库对数据进行了清洗和预处理，然后利用Matplotlib库绘制了饼图，展示了各地区2017年至2019年国际旅游收入总和的占比情况。这个案例展示了Python在数据分析领域的强大应用和灵活性
希望本文能够帮助读者更好地了解的Python在数据分析方面的使用，如果有任何疑问或者建议，欢迎留言讨论🌹

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1646678.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

OpenHarmony实战开发-应用侧调用前端页面函数

OpenHarmony实战开发-应用侧调用前端页面函数

应用侧可以通过runJavaScript()方法调用前端页面的JavaScript相关函数。 在下面的示例中&#xff0c;点击应用侧的“runJavaScript”按钮时&#xff0c;来触发前端页面的htmlTest()方法。 前端页面代码。 <!-- index.html --> <!DOCTYPE html> <html> <…
阅读更多...
接口自动化框架篇：Pytest + Allure报告企业定制化实现！

接口自动化框架篇：Pytest + Allure报告企业定制化实现！

接口自动化框架是现代软件开发中的重要组成部分&#xff0c;能够帮助开发团队提高测试效率和质量。本文将介绍如何使用Pytest作为测试框架&#xff0c;并结合Allure报告进行企业定制化实现。 目标规划 在开始编写接口自动化测试框架之前&#xff0c;我们需要先进行目标规划。…
阅读更多...
超分辨率重建——BSRN网络训练自己数据集并推理测试（详细图文教程）

超分辨率重建——BSRN网络训练自己数据集并推理测试（详细图文教程）

目录 一、BSRN网络总结二、源码包准备三、环境准备3.1 报错KeyError: "No object named BSRN found in arch registry!"3.2 安装basicsr源码包3.3 参考环境 四、数据集准备五、训练5.1 配置文件参数修改5.2 启动训练5.2.1 命令方式训练5.2.2 配置Configuration方式训…
阅读更多...
zTasker v1.88.1一键定时自动化任务

zTasker v1.88.1一键定时自动化任务

软件介绍 zTasker是一款完全免费支持定时、热键或条件触发的方式执行多种自动化任务的小工具&#xff0c;支持win7-11。其支持超过100种任务类型&#xff0c;50种定时/条件执行方法&#xff0c;而且任务列表可以随意编辑、排列、移动、更改类型&#xff0c;支持任务执行日志&a…
阅读更多...
SEED-X：多模态智能助手

SEED-X：多模态智能助手

SEED-X&#xff1a;多模态智能助手 SEED-X 是一个多模态智能助手&#xff0c;已经将所有的模型和代码开源了&#xff01;它是一个统一且多用途的多模态基础模型&#xff0c;最新开放了图像编辑模型。 相较于传统的多模态交互框架&#xff0c;SEED-X 具有以下优点&#xff1a;…
阅读更多...
【请投票】嘉立创EDA中LED发光二极管是否应有统一的引脚定义？

【请投票】嘉立创EDA中LED发光二极管是否应有统一的引脚定义？

LED发光二极管的引脚定义应该是唯一的吗&#xff1f; 从下面原理图可以看到&#xff0c;器件型号仅尾缀不同,R代表RED红色发光二极管&#xff0c;W代表WHITE指白色发光二极管&#xff0c;是同一家制造商KENTO&#xff0c; 左侧红色发光二极管的1脚是阴极K&#xff0c;2脚是阳极…
阅读更多...
Android关于SparseArray面试题

Android关于SparseArray面试题

问题1: 什么是SparseArray&#xff0c;它与HashMap有什么不同&#xff1f; 回答&#xff1a; SparseArray是一个用于优化特定情况下内存使用的数据结构&#xff0c;主要用于替代HashMap<Integer, Object>。SparseArray使用两个数组分别存储键和值&#xff0c;而不是使用…
阅读更多...
初识Linux -- Linux的背景和发展史介绍

初识Linux -- Linux的背景和发展史介绍

点赞关注不迷路&#xff01;&#xff0c;本节涉及初识Linux&#xff0c;主要为背景介绍和xshell登录主机。 1.Linux背景 1.1 发展史 Linux从哪里来&#xff1f;它是怎么发展的&#xff1f;在这里简要介绍Linux的发展史。 要说Linux&#xff0c;还得从UNIX说起。 1.2 UNIX发…
阅读更多...
【Linux】掌握Linux系统编程中的权限与访问控制

【Linux】掌握Linux系统编程中的权限与访问控制

&#x1f49e;&#x1f49e; 前言 hello hello~ &#xff0c;这里是大耳朵土土垚~&#x1f496;&#x1f496; &#xff0c;欢迎大家点赞&#x1f973;&#x1f973;关注&#x1f4a5;&#x1f4a5;收藏&#x1f339;&#x1f339;&#x1f339; &#x1f4a5;个人主页&#x…
阅读更多...
博客网站SpringBoot+Vue项目练习

博客网站SpringBoot+Vue项目练习

博客网站SpringBootVue简单案例 前言 学了vue后一直没用找到应用的机会&#xff0c;在Github上找到了一个看起来比较友好的项目&#xff08;其实具体代码我还没看过&#xff09;。而且这个项目作者的readme文档写的也算是比较好的了。 项目链接&#xff1a;https://github.c…
阅读更多...
Docker入门指南：Docker容器的部署(一)

Docker入门指南：Docker容器的部署(一)

&#x1f340; 前言 博客地址&#xff1a; CSDN&#xff1a;https://blog.csdn.net/powerbiubiu &#x1f44b; 简介 当今软件开发领域中&#xff0c;Docker 成为了一种流行的容器化技术。Docker 可以帮助开发者将应用程序及其依赖项打包到一个独立且可移植的容器中&#xf…
阅读更多...
AAA、RADIUS、TACACS、Diameter协议介绍

AAA、RADIUS、TACACS、Diameter协议介绍

准备软考高级时碰到的一个概念&#xff0c;于是搜集网络资源整理得出此文。 概述 AAA是Authentication、Authorization、Accounting的缩写简称&#xff0c;即认证、授权、记帐。Cisco开发的一个提供网络安全的系统。AAA协议决定哪些用户能够访问服务&#xff0c;以及用户能够…
阅读更多...
面试集中营—Spring篇

面试集中营—Spring篇

Spring 框架的好处 1、轻量&#xff1a;spring是轻量的&#xff0c;基本的版本大约2MB&#xff1b; 2、IOC&#xff1a;控制反转&#xff0c;Spring的IOC机制使得对象之间的依赖不再需要我们自己来控制了&#xff0c;而是由容易来控制&#xff0c;一个字&#xff1a;爽&#xf…
阅读更多...
【c++】Resharper 去掉中文注释拼写

【c++】Resharper 去掉中文注释拼写

参考大神&#xff1a; Resharper 去掉注释拼写 reshaper的中文注释一堆下划线&#xff0c;看的很累、很乱&#xff1a; options 里 在code inspetion里 搜索 去掉 Typo in comment 就可以不在中文注释提示 重启vs reshaperd 中文注释下划线没了。小番茄的还在。
阅读更多...
数智先锋 | 多场景数据治理案例，释放数据要素生产力

数智先锋 | 多场景数据治理案例，释放数据要素生产力

数据作为第五大生产要素&#xff0c;成为释放新质生产力的关键基础。 当前各个行业数字化建设如火如荼&#xff0c;全力挖掘数据价值以驱动行业高质量应用发展。数据治理成为数据要素价值发挥的重要基础和前提。 数据治理不单是技术问题&#xff0c;不是依赖工具就能解决的&a…
阅读更多...
数据结构学习/复习8--树与二叉树的概念与基本性质练习

数据结构学习/复习8--树与二叉树的概念与基本性质练习

一、树 1.概念 2.树的表示 二、二叉树 1.二叉树的概念 2.与性质相关的题
阅读更多...
如何选择最适合企业的项目管理方法

如何选择最适合企业的项目管理方法

企业的项目管理应该采取综合性的方式&#xff0c;结合多种工具和方法来确保项目的成功。甘特图 是其中一种非常有用的工具&#xff0c;它可以帮助项目经理和团队成员可视化地展示项目的时间线和进度。以下是采取合适项目管理方式时需要考虑的几个关键点&#xff0c;结合甘特图的…
阅读更多...
Python项目实战，用Python实现2048游戏

Python项目实战，用Python实现2048游戏

目录 写在前言项目介绍项目思路环境搭建项目实现初始化Python类初始化游戏窗口定义游戏棋盘和方块移动和合并游戏主循环 进一步探索 写在前言 hello&#xff0c;大家好&#xff0c;我是一点&#xff0c;专注于Python编程&#xff0c;如果你也对感Python感兴趣&#xff0c;欢迎…
阅读更多...
2024年5月6日优雅草蜻蜓API大数据服务中心v2.0.3更新

2024年5月6日优雅草蜻蜓API大数据服务中心v2.0.3更新

v2.0.3更新 2024年5月6日优雅草蜻蜓API大数据服务中心v2.0.3更新-修复改版后搜索框漏掉的bug-增加搜索框 提示&#xff1a;优雅草大数据中心已经 上线137天 稳定运行 1181555 次 累积调用 目前大数据中心用户呈现增长趋势&#xff0c;目标2024年11月底突破1亿次调用&#xf…
阅读更多...
2023ccpc深圳G题相似基因序列问题

2023ccpc深圳G题相似基因序列问题

样例&#xff1a; 6 4 4 1 kaki kika manu nana tepu tero kaka mana teri anan 输出&#xff1a; 2 2 1 0 解析&#xff1a; 如果是用暴力的话是 300*300*6000&#xff0c;这样子一定会超时。 这时候我们可以利用hash函数进行处理&#xff0c;对比一个字符串的小于为O&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023