概要
重复值处理主要涉及两个部分，一个是找出重复值，第二个是删除重复值，也就是根据自己设定的条件进行删除操作。本次来介绍关于重复数据处理的几个常用方法。
定位重复值
对于重复值，我们首先需要查看这些重复值是什么样的形式，然后确定删除的范围，而查询重复值需要用到duplicated函数。
duplicated的返回值是布尔值，返回True和False，默认情况下会按照一行的所有内容进行查重。
主要参数：
-
subset：如果不按照全部内容查重，那么需要指定按照哪些列进行查重。比如按照姓名进行查重subset=['name']，那么具有相同名字的人就只会保留一个，但很可能只是重名的原因，而并非真正同一个人，所以可以按照姓名和出生日期两列查重，subset=['name','birthday']，同理还可以再添加列，这样就可以基本保证去重效果了。 -
keep：用来确定要标记的重复值，可以设置为first、last、False。-
first：除第一次出现的重复值，其他都标记为True -
last：除最后一次出现的重复值，其他都标记为True -
False：所有重复值都标记为True
-
实例：
import pandas as pd
import numpy as np
data = {
'user' : ['zszxz','zszxz','rose'],
'price' : [100, 200, -300],
'hobby' : ['reading','reading','hiking']
}
frame = pd.DataFrame(data)
print(frame)
------------------------
user price hobby
0 zszxz 100 reading
1 zszxz 200 reading
2 rose -300 hiking
------------------------
frame.duplicated()
----------
0 False
1 False
2 False
dtype: bool
-----------
上面提到duplicated返回布尔值，所以如果要想输出这些重复值，还需要和查询的方法配合使用df[df.duplicated()]，比如：
# 1、按user变量筛选重复值
frame[frame.duplicated(subset=['user'])]
-------------------
user price hobby
1 zszxz 200 reading
-------------------
上面按user一个变量进行查重，但没有设置keep参数，所以默认筛选出除了第一个以外的其它重复值。
# 2、按user变量筛选重复值,保留全部重复值
frame[frame.duplicated(subset=['user'], keep=False)]
-------------------
user price hobby
0 zszxz 100 reading
1 zszxz 200 reading
-------------------
上面按user一个变量进行查重，并设置keep参数为False，所以保留了全部的重复值。
# 3、按user和hobby变量筛选重复值,筛选出除最后一个重复值以外的其它重复值
frame[frame.duplicated(subset=['user','hobby'], keep='last')]
-------------------
user price hobby
0 zszxz 100 reading
-------------------
上面按user和hobby两个变量进行查重，并设置keep参数为last，所以筛选出了除最后一个重复值以外的其它重复值。
通过两个参数的设置就可以查看自己想要的重复值了，以此判断要删除哪个，保留哪个。
删除重复值
当确定好需要删除的重复值后，就进行进行删除的操作了。
删除重复值会用到drop_duplicates函数。
和duplicated()函数参数类似，主要有3个参数：
-
subset：同duplicated()，设置去重的字段 -
keep: 这里稍有不同，duplicated()中是将除设置值以外重复值都返回True，而这里是保留的意思。同样可以设置first、last、False-
first：保留第一次出现的重复行，删除其他重复行 -
last：保留最后一次出现的重复行，删除其他重复行 -
False：删除所有重复行
-
-
inplace：布尔值，默认为False，是否直接在原数据上删除重复项或删除重复项后返回副本。
实例：
1、全部去重
# 按全部字段删除，在原数据frame上生效
frame.drop_duplicates(inplace=True)
print(frame)
------------------------
user price hobby
0 zszxz 100 reading
1 zszxz 200 reading
2 rose -300 hiking
------------------------
因为上面数据中没有全部重复的，因此没有可删除行。
2、指定列去重
# 按user字段删除，在原数据frame上生效
frame.drop_duplicates(subset=['user'],inplace=True)
print(frame)
------------------------
user price hobby
0 zszxz 100 reading
2 rose -300 hiking
------------------------
上面按user字段删除重复行，保留第一个重复行，因此第二行被删除了。但这里大家注意下，执行删除重复行操作后，表的索引也会被删掉。
如需要重置可以加上reset_index()，设置drop=True，用索引替代被打乱的索引。
frame.drop_duplicates(subset=['user'],inplace=True)
frame.reset_index(drop=True)
------------------------
user price hobby
0 zszxz 100 reading
1 rose -300 hiking
------------------------keep默认为first，下面手动设置为last，只保留最后一个重复行。
# 按全部字段删除，在原数据frame上生效
frame.drop_duplicates(subset=['user','hobby'],keep='last',inplace=True)
print(frame)
------------------------
user price hobby
1 zszxz 200 reading
2 rose -300 hiking
------------------------
keep手动设置为False，全部删除，这种一般很少用。
# 按全部字段删除，在原数据frame上生效
frame.drop_duplicates(subset=['user','hobby'],keep=False,inplace=True)
print(frame)
------------------------
user price hobby
2 rose -300 hiking
------------------------
以上就是重复值相关的所有操作。
注意事项
在删除重复值时，要注意下删除的逻辑。
因为很多时候我们需要把这些离线的清洗操作在线上复现。
如果我们随机地删除重复行，没有明确的逻辑，那么对于这种随机性线上是无法复现的，即无法保证清洗后的数据一致性。
所以我们在删除重复行前，可以把重复判断字段进行排序处理。
比如上面例子中，如果要对user和price去重，那么比较严谨的做法是按照user和price进行排序。
frame.sort_values(by=['user','price'],ascending=True).reset_index(drop=True)
--------------------
user price hobby
0 rose -300 hiking
1 zszxz 100 reading
2 zszxz 200 reading
--------------------
因为有了排序性，只要按这个逻辑它的顺序是固定的，而不是随机的。所以无论我们设置keep为first还是last，都没有任何影响。
欢迎点赞收藏转发，感谢🙏
