【Pandas驯化-04】Pandas中drop_duplicates、describe、翻转操作
本次修炼方法请往下查看
🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 相关内容文档获取 微信公众号
🎇 相关内容视频讲解 B站
🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。
🔧 技术专长： 在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。
📝 博客风采： 积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。
🌵文章目录🌵
- 🎯 1. 基本介绍
- 💡 2. 使用方法
- 2.1 去重drop_duplicates
- 2.2 描述信息describe
- 2.3 行列的翻转
- 🔍 3. 高阶用法
- 3.1 describe高阶用法
- 🔍 4. 注意事项
- 🔧 5. 总结
下滑查看解决方法
🎯 1. 基本介绍
在处理数据集时，我们经常需要执行一些基本操作，如去除重复项、获取数据的描述性统计信息，以及对数据进行翻转操作。本文将介绍 Pandas 中的 drop_duplicates、describe 函数以及翻转操作的使用方法。
💡 2. 使用方法
2.1 去重drop_duplicates
drop_duplicates 函数用于删除 DataFrame 中的重复行。默认情况下，它会检查所有列，找出重复的行，并只保留第一次出现的行。
import pandas as pd
# 创建一个包含重复行的 DataFrame
data = {'Name': ['Alice', 'Bob', 'Alice', 'David'],
'Age': [24, 27, 24, 32]}
df = pd.DataFrame(data)
# 去除重复项，默认保留第一个出现的重复项
df_unique = df.drop_duplicates()
print(df_unique)
# 删除数据中的重复项数据
df.drop_duplicated() # 有subset， keep等参数可以选择，
# 对哪些列重复数据 进行操作，保留最重复项中的哪一个
# 输出所以数据中重复的数据
df[df.duplicated()],
#原理和上述输出空值差不多，都是将重复的数据转为True和False来提取为True的数据
2.2 描述信息describe
describe 函数提供了一个快速的方法来获取 DataFrame 中数值列的描述性统计信息，包括计数、平均值、标准差、最小值、四分位数和最大值。
import pandas as pd
# 使用 describe 获取描述性统计信息
desc_stats = df.describe()
print(desc_stats)
2.3 行列的翻转
Pandas 中的翻转操作包括轴向翻转（transpose）和行或列的反转。transpose 方法用于交换 DataFrame 的行和列，而行或列的反转可以使用 iloc 或布尔索引实现，具体的用法如下所示：
# 使用 transpose 翻转 DataFrame 的行和列
df_transposed = df.transpose()
print(df_transposed)
# 使用 iloc 反转 DataFrame 的行
df_reversed_rows = df.iloc[::-1]
print(df_reversed_rows)
# 使用 iloc 反转 DataFrame 的列
df_reversed_columns = df.iloc[:, ::-1]
print(df_reversed_columns)
🔍 3. 高阶用法
3.1 describe高阶用法
默认情况下，describe()函数只会包括数值类型的列，而会忽略对象类型的列。如果想要包括对象类型的列，可以通过设置参数include='all’来实现。下面是一个示例代码，演示如何使用describe()函数包括对象类型的列：
import pandas as pd
# 创建示例数据
data = {'Name': ['Alice', 'Bob', 'Charlie'],
'Age': [25, 30, 35],
'City': ['Beijing', 'Shanghai', 'Guangzhou']}
df = pd.DataFrame(data)
# 默认describe()
print(df.describe())
# 包括对象类型的列
print(df.describe(include='all'))
Age
count 3.000000
mean 30.000000
std 5.000000
min 25.000000
25% 27.500000
50% 30.000000
75% 32.500000
max 35.000000
Name Age City
count 3 3.000000 3
unique 3 NaN 3
top Bob NaN Shanghai
freq 1 NaN 1
mean NaN 30.000000 NaN
std NaN 5.000000 NaN
min Alice 25.000000 NaN
25% NaN 27.500000 NaN
50% NaN 30.000000 NaN
75% NaN 32.500000 NaN
max Charlie 35.000000 NaN
🔍 4. 注意事项
对上述的各个函数在使用的过程中需要注意的一些事项，不然可能会出现error，具体主要为：
- 使用 drop_duplicates 时，可以指定 subset 参数来只对某些列进行去重。
- describe 默认不包括对象类型的列，如果需要包括，可以设置 include=‘all’。
- 在执行翻转操作时，要确保索引的使用是正确的，以避免出现错误或不符合预期的结果。
🔧 5. 总结
本文介绍了 Pandas 中的 drop_duplicates、describe 函数以及翻转操作的使用方法。这些功能在日常的数据分析工作中非常有用，可以帮助我们快速去除数据中的重复项，获取数据的描述性统计信息，以及对数据进行必要的翻转操作。通过实际的代码示例，我们可以看到这些操作是如何简单而有效地应用于实际的数据集上的。希望这篇博客能够帮助你更好地利用 Pandas 进行数据分析。
