大家好，在数据处理和分析的过程中，重复数据是一个常见的问题。重复的数据不仅会影响数据的准确性，还可能导致模型训练中的偏差。因此，检测并清理重复数据是数据清洗中的重要步骤。Python 的 Pandas 提供了强大的功能来检测、标记和删除重复数据，同时可以灵活设置规则以满足各种场景需求。本文将深入讲解 Pandas 中重复数据处理的常用方法，包括duplicated方法检测重复、drop_duplicates方法删除重复数据，并结合实际案例展示不同的清理策略。
重复数据可能由多种原因引起，例如数据录入错误、重复采集或合并数据集时的重复记录。处理重复数据主要是减少数据中的冗余信息，确保数据一致性，提高分析效率，避免重复数据导致的结果偏差，优化存储空间减少存储资源的浪费。无论是数据分析还是机器学习，处理重复数据都是保证数据可靠性的关键步骤。
1.数据准备
以一个包含重复数据的示例数据集为例，演示重复数据的检测和删除方法：
import pandas as pd
# 示例数据
data = {
"Name": ["Alice", "Bob", "Alice", "David", "Bob", "Eve", "Alice"],
"Age": [25, 30, 25, 35, 30, 40, 25],
"City": ["NY", "LA", "NY", "SF", "LA", "NY", "NY"]
}
df = pd.DataFrame(data)
print("原始数据：\n", df)
输出如下所示：
Name Age City
0 Alice 25 NY
1 Bob 30 LA
2 Alice 25 NY
3 David 35 SF
4 Bob 30 LA
5 Eve 40 NY
6 Alice 25 NY
2.检测重复数据：duplicated方法
duplicated方法用于检测数据框中重复的行，它会标记出除了第一次出现外的重复行。
2.1 基本用法
# 检测重复行
df["Is_Duplicate"] = df.duplicated()
print("标记重复行后的数据：\n", df)
输出如下所示：
Name Age City Is_Duplicate
0 Alice 25 NY False
1 Bob 30 LA False
2 Alice 25 NY True
3 David 35 SF False
4 Bob 30 LA True
5 Eve 40 NY False
6 Alice 25 NY True
可以看到，duplicated方法标记了所有重复行中除了第一行外的重复记录。
2.2 根据特定列检测重复
如果只想根据某些列检测重复，可以指定subset参数。例如：
# 根据Name和City列检测重复
df["Is_Duplicate_Subset"] = df.duplicated(subset=["Name", "City"])
print("根据特定列标记重复行后的数据：\n", df)
输出如下所示：
Name Age City Is_Duplicate Is_Duplicate_Subset
0 Alice 25 NY False False
1 Bob 30 LA False False
2 Alice 25 NY True True
3 David 35 SF False False
4 Bob 30 LA True True
5 Eve 40 NY False False
6 Alice 25 NY True True
3.删除重复数据：drop_duplicates方法
drop_duplicates方法用于删除重复行，并返回一个去重后的数据框。
3.1 基本用法
# 删除重复行
df_deduplicated = df.drop_duplicates()
print("删除重复行后的数据：\n", df_deduplicated)
输出如下所示：
Name Age City Is_Duplicate Is_Duplicate_Subset
0 Alice 25 NY False False
1 Bob 30 LA False False
3 David 35 SF False False
5 Eve 40 NY False False
默认情况下，drop_duplicates会保留重复行的第一个记录。
3.2 保留最后一条记录
可以通过设置keep参数为last来保留重复记录的最后一条：
# 保留最后一条记录
df_last = df.drop_duplicates(keep="last")
print("保留最后一条重复记录后的数据：\n", df_last)
输出如下所示：
Name Age City Is_Duplicate Is_Duplicate_Subset
2 Alice 25 NY True True
4 Bob 30 LA True True
3 David 35 SF False False
5 Eve 40 NY False False
3.3 根据特定列删除重复
与duplicated方法类似，drop_duplicates也支持按特定列删除重复数据：
# 根据Name和City列删除重复
df_deduplicated_subset = df.drop_duplicates(subset=["Name", "City"])
print("根据特定列去重后的数据：\n", df_deduplicated_subset)
输出如下所示：
Name Age City Is_Duplicate Is_Duplicate_Subset
0 Alice 25 NY False False
1 Bob 30 LA False False
3 David 35 SF False False
5 Eve 40 NY False False
4.删除重复数据后重置索引
删除重复数据后，原始的索引可能不连续。可以通过reset_index方法重置索引：
# 重置索引
df_cleaned = df_deduplicated.reset_index(drop=True)
print("重置索引后的数据：\n", df_cleaned)
输出如下所示：
Name Age City
0 Alice 25 NY
1 Bob 30 LA
2 David 35 SF
3 Eve 40 NY
5.实际案例：清洗用户数据
以下是一个结合duplicated和drop_duplicates的实际案例，展示如何处理重复的用户注册数据。
5.1 示例数据
user_data = {
"UserID": [101, 102, 103, 101, 104, 102],
"Name": ["Alice", "Bob", "Charlie", "Alice", "David", "Bob"],
"SignupDate": ["2023-01-01", "2023-01-02", "2023-01-03", "2023-01-04", "2023-01-05", "2023-01-06"]
}
user_df = pd.DataFrame(user_data)
print("用户注册数据：\n", user_df)
5.2 按UserID检测并保留最后一次注册
# 保留每个UserID的最新注册记录
user_df_cleaned = user_df.drop_duplicates(subset=["UserID"], keep="last")
print("清洗后的用户注册数据：\n", user_df_cleaned)
输出如下所示：
UserID Name SignupDate
1 102 Bob 2023-01-06
2 103 Charlie 2023-01-03
3 101 Alice 2023-01-04
4 104 David 2023-01-05
5.3 按UserID和Name检测重复
如果用户可能因拼写错误多次注册，可以同时基于UserID和Name检测重复：
# 标记重复记录
user_df["Is_Duplicate"] = user_df.duplicated(subset=["UserID", "Name"])
print("标记重复后的用户注册数据：\n", user_df)
输出如下所示：
UserID Name SignupDate Is_Duplicate
0 101 Alice 2023-01-01 False
1 102 Bob 2023-01-02 False
2 103 Charlie 2023-01-03 False
3 101 Alice 2023-01-04 True
4 104 David 2023-01-05 False
5 102 Bob 2023-01-06 True
在数据分析和清洗中，重复数据处理是确保数据质量的重要步骤。Python Pandas 提供了强大的工具来高效检测和删除重复数据，其中duplicated方法可标记重复行，而drop_duplicates方法用于清理重复记录并保留指定的记录。通过灵活设置参数，用户可以基于特定列检测重复数据，选择保留第一条或最后一条记录，甚至结合自定义逻辑进行深度清洗。在实际应用中，如用户注册数据清理，可以根据业务需求合理使用这些方法，快速消除冗余数据，确保分析结果的准确性和可靠性。
