之前在做数据分析的时候,用过一个自动化生成数据探索报告的Python库:ydata_profiling
一般我们在做数据处理前会进行数据探索,包括看统计分布、可视化图表、数据质量情况等,这个过程会消耗很多时间,可能需要上百行代码才能实现。
ydata_profiling能够直接完成数据探索的工作,只需要几行代码,它会生成互动网页形式的报告,里面包含数据概览、字段分布、统计学特征、相关性、缺失值、样本信息等。
# 导入库
from ydata_profiling import ProfileReport
import pandas as pd
# 读取数据
df = pd.read_csv('housing.csv')
# 自动生成数据探索报告
profile = ProfileReport(df, title="Profiling Report")
profile
以上代码在Jupyter notebook中执行,生成数据探索报告如下
ydata_profiling文档提了几个用途,我觉得还是比较实在
- 提供数据概览: 包括广泛的统计数据和可视化图表,提供数据的整体视图。该报告可以作为html文件共享,也可以作为小部件集成在Jupyter笔记本中。
- 数据质量评估: 识别缺失数据、重复数据和异常值。这些对于数据清理和准备很重要,确保分析的可靠性,并及早发现问题。
- 易于与其他流集成: 数据分析的所有度量都可以以标准JSON格式使用。
- 大型数据集的数据探索: 即使体量很大的数据集,ydata_profiling也可以轻松生成报告,它同时支持Pandas数据帧和Spark数据帧。
数据集概览 Overview
这个可以看到数据集的整体信息,包括字段数、缺失值行、重复行、占内存大小等等
字段详细信息 Variables
你可以看到所有字段的统计学特征以及分布情况,包括均值、分位值、最大最小值
字段分布关系 Interactions
这是个交互可视化图,可以选择任意两个字段,看他们的散点分布关系,通过这个你可以很直观的知道各个字段的关联关系是什么样的,正相关、负相关、无相关等
字段相关性 Correations
这里通过热力图展示每个字段的相关性,也可以看到具体的值
缺失值 Missing values
通过柱状图可以清晰看到每个字段缺失值情况
样本
可以展示前10、尾10的样本数据
如果你想加快数据分析的速度,可以好好把ydata_profiling利用起来,前期数据探索阶段可以省很多时间。
Python 的迅速崛起对整个行业来说都是极其有利的 ,但“人红是非多
”,导致它平添了许许多多的批评,不过依旧挡不住它火爆的发展势头。
如果你对Python感兴趣,想要学习python,这里给大家分享一份Python全套学习资料,都是我自己学习时整理的,希望可以帮到你,一起加油!
😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
点击这里
1️⃣零基础入门
① 学习路线
对于从来没有接触过Python的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
② 路线对应学习视频
还有很多适合0基础入门的学习视频,有了这些视频,轻轻松松上手Python~
③练习题
每节视频课后,都有对应的练习题哦,可以检验学习成果哈哈!
2️⃣国内外Python书籍、文档
① 文档和书籍资料
3️⃣Python工具包+项目源码合集
①Python工具包
学习Python常用的开发软件都在这里了!每个都有详细的安装教程,保证你可以安装成功哦!
②Python实战案例
光学理论是没用的,要学会跟着一起敲代码,动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。100+实战案例源码等你来拿!
③Python小游戏源码
如果觉得上面的实战案例有点枯燥,可以试试自己用Python编写小游戏,让你的学习过程中增添一点趣味!
4️⃣Python面试题
我们学会了Python之后,有了技能就可以出去找工作啦!下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
5️⃣Python兼职渠道
而且学会Python以后,还可以在各大兼职平台接单赚钱,各种兼职渠道+兼职注意事项+如何和客户沟通,我都整理成文档了。
上述所有资料 ⚡️ ,朋友们如果有需要的,可以扫描下方👇👇👇二维码免费领取🆓