HyperLogLog

HyperLogLog 不是一种新的数据结构 ， 本质上是字符串类型。 是一种基数算法。 通过 HyperLogLog 可以节省内存空间，并完成独立总数的统计。

HyperLogLog 数据结构可用于仅使用少量恒定内存来计算集合中的唯一元素，具体而言，每个 HyperLogLog 为 12k 字节（加上键本身的几个字节）。

HyperLogLog 相关命令：

• PFADD： 将所有元素参数添加到存储在作为第一个参数指定的变量名中的HyperLogLog数据结构中。
• PFCOUNT： 使用单个键调用时，返回存储在指定变量处的HyperLogLog数据结构计算的近似基数，如果该变量不存在，则返回0。
• PFDEBUG：是一个内部命令。它是用来开发和测试Redis的。
• PFMERGE： 将多个HyperLogLog值合并为一个唯一的值，该值将近似于源HyperLogLog结构的观察集的并集的基数。
• PFSELFTEST： 是一个内部命令。它是用来开发和测试Redis的。

PFADD

添加元素，复杂度 O(1), 用于向 HyperLogLog 添加 元素 ， 如果成功返回 1 ：

PFADD key [element [element ...]]

向 键 2023_12-11:user 添加 元素

192.168.88.11:6380> PFADD 2023_12-11:user "user1" "user2" "user3" "user4" "user5" "user6"
(integer) 1

192.168.88.11:6380> PFADD 2023_12-12:user "user1" "user3" "user5" "user7" "user8" "user9"
(integer) 1

HyperLogLog 不是一种新的数据结构 ， 本质上是字符串类型。 HyperLogLog 是一个 Redis 字符串，可以使用 GET 检索 和 SET 恢复。

192.168.88.11:6380> type 2023_12-11:user
string

192.168.88.11:6380> get 2023_12-11:user
"HYLL\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x80WR\x80F\x19\x80E\xed\x8cF\x10\x84N\x92\x80@\xfc\x80F\xfd"

192.168.88.11:6380> type 2023_12-12:user
string

192.168.88.11:6380> get 2023_12-12:user
"HYLL\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x80WR\x80F\x19\x80[\x91\x80B\xb9\x8cA\x7f\x84Ab\x88A]"

PFCOUNT

用于计算一个或多个HyperLogLog的独立总数， 当使用单个键调用时，复杂度 O(1)，平均时间非常小。当调用多个键时，复杂度O(N)，其中N是键的个数，时间要大得多。

如： 计算 2023_12-11:user 、 2023_12-12:user 的独立总数

192.168.88.11:6380> PFCOUNT 2023_12-11:user
(integer) 6

192.168.88.11:6380> PFCOUNT 2023_12-12:user
(integer) 6

往 2023_12-11:user 、 2023_12-12:user 插入新的元素：

192.168.88.11:6380> PFADD 2023_12-11:user "user10" "user11"
(integer) 1

192.168.88.11:6380> PFADD 2023_12-12:user "user15" "user16" "user20" "user21"
(integer) 1

再次 计算 2023_12-11:user 、 2023_12-12:user 的独立总数

192.168.88.11:6380> PFCOUNT 2023_12-11:user
(integer) 8

192.168.88.11:6380> PFCOUNT 2023_12-12:user
(integer) 10

计算 两个键 2023_12-11:user 、 2023_12-12:user 的独立总数 （3个重复用户： user1、user3、user5）

当使用多个键调用时，通过在内部将存储在提供键处的HyperLogLog合并为临时HyperLogLog，返回传递的HyperLogLog联合的近似基数。

返回的观察集基数并不精确，而是近似值，标准误差为 0.81%。

当PFCOUNT使用多个键调用时，会执行 HyperLogLogs 的即时合并，这很慢，而且联合的基数无法缓存，因此当使用多个键时PFCOUNT可能需要大约时间毫秒级，不应滥用。

192.168.88.11:6380> PFCOUNT 2023_12-11:user 2023_12-12:user 
(integer) 15

PFMERGE

pfmerge 可以合并多个 HyperLogLog的并集赋值给 destkey

将多个 HyperLogLog 值合并为一个唯一值，该值将近似观察到的源 HyperLogLog 结构集的并集基数。

计算出的合并 HyperLogLog 设置为目标变量，如果不存在则创建该变量（默认为空 HyperLogLog）。

如合并 两个键 2023_12-11:user 、 2023_12-12:user 的独立总数：

192.168.88.11:6380> PFMERGE 2023_12-11-12:user  2023_12-11:user 2023_12-12:user
OK

192.168.88.11:6380> PFCOUNT 2023_12-11-12:user
(integer) 15

Memory

分别向 HyperLogLog、 Set 插入10万个 用户，并对比内存使用量，如下：

• 插入 10 万用户到 HyperLogLog:2023_12:users

192.168.88.11:6380> eval "for i=1,100000\ndo\n  redis.call('pfadd', 'HyperLogLog:2023_12:users', 'user'..i)\nend\n" 0 
(nil)
(0.63s)

# 返回的观察集基数并不精确，而是近似值,  即 ： 99725/100000=99.7%, 误差： 0.27% 
192.168.88.11:6380> PFCOUNT HyperLogLog:2023_12:users
(integer) 99725

# 内存使用量 12KB
192.168.88.11:6380> MEMORY USAGE HyperLogLog:2023_12:users
(integer) 12377

• 同样插入 10 万用户到 Set:2023_12:users

192.168.88.11:6380> eval "for i=1,100000\ndo\n  redis.call('sadd', 'Set:2023_12:users', 'user'..i)\nend\n" 0 
(nil)
(0.74s)

# 数量精确
192.168.88.11:6380> SCARD Set:2023_12:users
(integer) 100000

# 内存使用量 4.8MB 
192.168.88.11:6380> MEMORY USAGE Set:2023_12:users
(integer) 5033019

小结

• HyperLogLog 数据结构可用于仅使用少量恒定内存来计算集合中的唯一元素, 内存占用非常小。 但是存在错误率。
• 可以容忍一定的错误率，返回的观察集基数并不精确，而是近似值，标准误差为 0.81%。
• 只是想统计独立总数、而不需要获取具体的单条数据。