文章目录
- 1. 使用集合(Set)
- 2. 使用列表推导式 + `in` 关键字
- 3. 使用`OrderedDict`(Python 3.7+ 中字典已保持插入顺序)
- 4. 使用`dict.fromkeys()`(Python 3.7+)
- 总结
在Python中,列表去重是一个常见的操作,有多种方法可以实现。以下是几种常用的去重方法:
1. 使用集合(Set)
集合(Set)是一个无序的不重复元素集,所以可以利用集合的这个特性来去重。但是,需要注意的是,集合不保留元素的顺序,且集合中的元素必须是可哈希的(即不可变类型,如整数、浮点数、字符串、元组等)。
my_list = [1, 2, 2, 3, 4, 4, 5]
my_set = set(my_list)
my_list_unique = list(my_set)
print(my_list_unique) # 输出: [1, 2, 3, 4, 5],但顺序可能不同
2. 使用列表推导式 + in
关键字
这种方法会遍历原列表,对于每个元素,检查它是否已经存在于结果列表中。如果不存在,则添加到结果列表中。但这种方法的时间复杂度较高(O(n^2)),在列表较大时不推荐使用。
my_list = [1, 2, 2, 3, 4, 4, 5]
my_list_unique = [x for x in my_list if x not in my_list[:x]]
# 注意:上面的方法并不总是有效,因为它依赖于元素值的顺序和可比较性
# 更正确的做法是使用一个辅助集合来跟踪已见过的元素
seen = set()
my_list_unique = [x for x in my_list if not (x in seen or seen.add(x))]
print(my_list_unique) # 输出: [1, 2, 3, 4, 5],但顺序可能不同
# 注意:由于seen.add(x)没有返回值(返回None),且`not`运算符会短路,这种方法实际上是有效的
3. 使用OrderedDict
(Python 3.7+ 中字典已保持插入顺序)
从Python 3.7开始,字典保持插入顺序,这意味着我们可以使用collections.OrderedDict
(但在Python 3.7+中,直接使用dict
即可)来保持元素的顺序,同时去重。
from collections import OrderedDict
my_list = [1, 2, 2, 3, 4, 4, 5]
my_list_unique = list(OrderedDict.fromkeys(my_list))
print(my_list_unique) # 输出: [1, 2, 3, 4, 5],保持原顺序
4. 使用dict.fromkeys()
(Python 3.7+)
与OrderedDict.fromkeys()
类似,但直接利用Python 3.7+中字典的插入顺序特性。
my_list = [1, 2, 2, 3, 4, 4, 5]
my_list_unique = list(dict.fromkeys(my_list))
print(my_list_unique) # 输出: [1, 2, 3, 4, 5],保持原顺序(Python 3.7+)
总结
对于大多数去重需求,使用集合(set
)是最简单直接的方法,但如果你需要保持元素的原始顺序,那么OrderedDict.fromkeys()
(或在Python 3.7+中直接使用dict.fromkeys()
)会是更好的选择。列表推导式虽然灵活,但在处理大数据集时可能不够高效。