Redis BitMap（位图）

news2024/11/25 2:39:42

这里是小咸鱼的技术窝（CSDN板块），我又开卷了

在这里插入图片描述

之前经手的项目运行了10多年，基于重构，里面有要实现一些诸如签到的需求，以及日历图的展示，可以用将签到信息存到传统的关系型数据库（MySql、Oracle）然后用 Sql 进行统计、也可以借助 Redis 中的 BitMap来实现签到需求。俩者的区别就在于，一个签到了100万年的项目，你用Mysql无论如何进行分库分表，落地到磁盘的上的数据体量都很大，且查询速度会变慢，但是用 Redis 存储数据占用的内存小，且统计效率更快。当然如果你怕Redis挂，也可以存俩份数据，一份放Mysql一份放Redis，利用 Redis 缓存考勤结果加快查询效率，但是占用的机器磁盘过大的问题还是没解决，下面介绍用 BitMap 如何实现下面这个签到日历。

在这里插入图片描述

这个项目的签到用到了海康的人脸识别SDK靠每天进行人脸识别打卡，然后记录签到信息的，就拿手动点击签到来说。整个流程如下。

用户点击签到按钮，发起一个签到请求给我们，先调用 getbit 命令，判断今天有没有进行签到过，没有然后调用 setbit 命令，把签到结果存入 BitMap（期间用户重复点击签到也没事，BitMap多次重复设置值的操作是幂等的）

BitMap 介绍 https://redis.io/commands/bitop/

下面的这段洋文是官网对BitMap的介绍

Bitmaps are not an actual data type, but a set of bit-oriented operations defined on the String type which is treated like a bit vector. Since strings are binary safe blobs and their maximum length is 512 MB, they are suitable to set up to 2^32 different bits.

在这里插入图片描述

位图不是实际的数据类型，而是在字符串类型上定义的一组面向位的操作，该操作被视为位向量。由于字符串是二进制安全blob，字符串最大为512 MB，因此它们适合设置为2^32个不同的位。从这段话中我们可以知道，BitMap 其实就是一个二进制的容器，并且他的二进制位最大为 2^32 位（512Mb = 512 * 1024 * 1024 * 8 = 2^32个bit位），当然我们签到只用的到31 bit 位，因此针对于签到需求来说，Bitmap初始结构长这样

0000000000｜0000000000｜0000000000｜0

联想一下我们一个月最大 31 天，1号签到了我们在第一bit位设置为1就好了，同理在第2，3，4，5天签到了，在对应的bit位设置值为1就好了，BitMap是不是很适合签到场景。并且它提供了很多统计API。

在这里插入图片描述

SETBIT key offset value：将指定偏移量上的位设置为1或0。
GETBIT key offset：获取指定偏移量上的位的值。
BITCOUNT key start end：计算指定key的Bitmap中1的数量。
BITOP operation destkey key [key...]：对多个key进行位运算，并将结果存储到destkey中。operation可以是AND、OR、XOR、NOT等。
BITPOS key 1 start end：查找指定key的Bitmap中第一个1的偏移量。
BITPOS key 0 start end：查找指定key的Bitmap中第一个0的偏移量。
BITPOS key 0 start：从start的位置开始，查找指定key的Bitmap中第一个0的偏移量。
SET key value：将指定key的Bitmap设置为指定的值。
GET key：获取指定key的Bitmap的值。
//类型u代表无符号十进制，i代表带符号十进制
BITFIELD key get u3 0：从偏移量offset=0开始取3位，获取无符号整数的值，返回的值是一个十进制数
INCRBY u4 4 1：从偏移量offset=4后开始取4位，得到一个对应的二进制数，然后转换成10进制加1

利用 bitcount 命令我们可以快速统计出用户，本月签到了多少天
利用 setbit 命令我们可以快速记录签到信息
利用 getbit 命令我们可以快速判断用户今天是否已经签到

值得注意的是 BITCOUNT key start end 命令中的 start end 指的是 byte 的区间，而 1 byte = 8 bit。那么执行如下命令

BITCOUNT key start end

bitcount char 0 8的结果是10就不奇怪了，统计范围是 0-8 byte区间，转换成 bit 区间就是 0-64。0-64范围内有 10个1。因此结果是10而不是3！！！！！

在这里插入图片描述

签到场景里面一般都不会直接去给Bitmap设置字符串，设置字符串还要去转换成对应的ACSII码然后存入BitMap，而是用 setbit 命令按bit设置值。

在这里插入图片描述

注意点二例如执行 setbit key 8 1 命令，存储的是 0000000010000000 而不是 000000001，低bit 位会用 0 补齐，因为 byte 是最小的存储单元。这些个个细节要搞清楚哦。

在这里插入图片描述

另外BitMap也支持二进制数（与、或运算），平常很少用这个。跟着我大声朗读运算法则，与运算都是1才为1，或运算有1就是1。

mac:0>set a a (01100001)
"OK"
mac:0>set b b (01100010)
"OK"
mac:0>bitop and andres a b (a、b与运算，结果设置到anres)
"1"
mac:0>bitop or orres a b （a、b或运算，结果设置到orres）

BitMap的源码，自行去翻阅redis安装目录下的 src里面的c文件，蹲一个c语言大佬

在这里插入图片描述

BitMap签到脚手架

接着用Jedis实现，因为Api命名和原始redis命令很接近。实际开发中合理织入自己的业务逻辑即可。

@Slf4j
@Api(tags = "Bit签到")
@RestController
@RequestMapping("/bit")
public class BitController {

    @Autowired
    private Jedis jedis;

    @ApiOperation("获取签到天数")
    @PostMapping("/userSignCount")
    public Result userSignCount(@RequestBody RedisRequest redisRequest) {
        //相当于执行 bitcount user:sign:uid:yyyyMM 0 31 命令
        return Result.success(jedis.bitcount(buildSignKey(redisRequest.getUid(),
                getDate(redisRequest.getDateStr())), 0, 31));
    }

    @ApiOperation("签到/补签")
    @PostMapping("/userSign")
    public Result sign(@RequestBody RedisRequest redisRequest) {
        //日期字符串转Date
        Date date = getDate(redisRequest.getDateStr());
        //该日期该月的第几天
        int offset = DateUtil.dayOfMonth(date) - 1;
        //user:sign:uid:yyyyMM
        String signKey = buildSignKey(redisRequest.getUid(), date);
        Assert.isFalse(jedis.getbit(signKey, offset), "今天以及签到过了");
        //相当于执行 setbit user:sign:uid:yyyyMM offset 1 命令
        jedis.setbit(signKey, offset, true);
        return Result.success(getContinuousSignCount(redisRequest.getUid(), date));
    }
    /**
     * 统计截止日之前连续签到的天数
     * @param userId 用户id
     * @param date 截止日
     * @return
     */
    private int getContinuousSignCount(Integer userId, Date date) {
        int dayOfMonth = DateUtil.dayOfMonth(date);
        //相当于执行 bitfield user:sign:uid:yyyyMM u10 0 命令
        List<Long> list = jedis.bitfield(buildSignKey(userId, date), "get", "u" + dayOfMonth, "0");
        if (list == null || list.isEmpty()) {
            return 0;
        }
        int signCount = 0;
        long v = list.get(0) == null ? 0 : list.get(0);
        // i 表示位移操作次数
        for (int i = dayOfMonth; i > 0; i--) {
            // 右移再左移，如果等于自己说明最低位是 0，表示未签到
            if (v >> 1 << 1 == v) {
                // 低位 0 且非当天说明连续签到中断了
                if (i != dayOfMonth) {
                    break;
                }
            } else {
                signCount++;
            }
            // 右移一位并重新赋值，相当于把最低位丢弃一位
            v >>= 1;
        }
        return signCount;
    }

    private String buildSignKey(Integer userId, Date date) {
        return String.format("user:sign:%d:%s", userId,
                DateUtil.format(date, "yyyyMM"));
    }

    /**
     * 获取日期
     */
    private Date getDate(String dateStr) {
        if (StrUtil.isBlank(dateStr)) {
            return new Date();
        }
        try {
            return DateUtil.parseDate(dateStr);
        } catch (Exception e) {
            throw new RuntimeException("请传入yyyy-MM-dd的日期格式");
        }
    }

}

BitMaq去重

因为字符串最大为512mb，因此可以算出BitMap的最大长度是2的32次方。约42亿个bit位。去重也很简单，就拿我的QQ号去重来说，QQ: 3273448110，在 3273448110 的bit位置上设置为1就好了，同理其他QQ号在自己的Bit位上设置为1，最终统计BitMap有多少个1就得到了，不重复QQ号的个数。