1000W用户1Wqps高并发签到系统的架构和实操

说在前面

在尼恩的（50+）读者社群中，经常有小伙伴面试的时候，遇到一个一个高并发架构方面的问题，比如：

(1) 高并发秒杀系统如何架构？

(2) 高并发签到系统如何架构？

(3) 等等等等…

刚刚，在尼恩的读者社区（50+）中，有小伙伴又问了这个问题。 尼恩作为技术中台的架构师，高并发架构是尼恩架构的重点，所以，一直想带大家从架构到实操，这里，带大家完成一个1000W用户1Wqps+ 签到系统的架构和实操。

本文也一并收入咱们的《尼恩Java面试宝典》PDF，供后面的小伙伴参考，提升大家的 3高架构、设计、开发水平。

当然，作为一篇文章，仅仅是抛砖引玉，后面有机会，带大家做一下这个高质量的实操，并且指导大家写入简历。

注：本文以 PDF 持续更新，最新尼恩架构笔记、面试题的PDF文件，请到文末公号【技术自由圈】获取。

文章目录

- 说在前面
- 签到场景业务需求分析
- 1000W级用户场景的签到优化
- - 优化1：利用Bitmap实现用户签到存储优化
  - 优化2：利用Redis Bitmap实现用户签到的性能优化
  - 优化3：利用Nginx +lus 实现更进一步的用户签到的性能优化
- 基础知识：什么是Bitmap
- - Bitmap的使用场景
- Redis 中Bitmap的相关命令
- - 客户端连接 redis
  - 指定key中的offset位设置为value
  - 获取指定 key 中的offset位的值
  - 统计指定key中值为1的位的数量。
  - 对多个Bitmap进行位运算，并将结果保存到destkey中。
  - 查找指定key中第一个值为bit（0或1）的位的位置
  - BITFIELD：在位图中存储整数值
  - 根据偏移量对区域进行设置
  - - 参数1：offset参数用于指定设置的起始偏移量。
    - 参数2：type参数用于指定等待设置的值类型，
    - 参数3：value参数用于指定被设置的整数值
    - 设置的结果
  - 批量操作：一次调用中执行多个子命令
  - 获取区域存储的值
  - 执行加法操作或减法操作
  - 处理溢出
  - 其他命令
  - 尼恩建议，优先使用位图存储整数
- 使用SpringCloud+Redis BitMap 用户场景的签到实操
- - 实操包括以下的操作：
  - 用户签到实操
  - 用户签到查询
  - 查询获取本月签到信息签到
- 本文的版本计划和基础学习资料
- 技术自由的实现路径 PDF：
- - - 实现你的架构自由：
    - 实现你的响应式自由：
    - 实现你的 spring cloud 自由：
    - 实现你的 linux 自由：
    - 实现你的网络自由：
    - 实现你的分布式锁自由：
    - 实现你的王者组件自由：
    - 实现你的面试题自由：

签到场景业务需求分析

一般像微博，各种社交软件，游戏等APP，都会有一个签到功能，连续签到多少天，送什么东西，比如：

签到1天送10积分，连续签到2天送20积分，3天送30积分，4天以上均送50积分等
如果连续签到中断，则重置计数，每月初重置计数
显示用户某个月的签到次数

1000W级用户场景的签到优化

优化1：利用Bitmap实现用户签到存储优化

为了实现用户的签到功能，通过mysql来完成，

为了实现签到的存储，可以设计一个类似下面的表

假如有1000万用户，平均每人每年签到次数为10次，一年下来，则这张表数据量为多少呢？

数据比较吓人： 1亿条

每签到一次需要使用（8 + 8 + 1 + 1 + 3 + 1）共22 字节的内存，一个月则最多需要600多字节

我们如何能够简化一点呢？

其实可以考虑小时候一个挺常见的方案，就是小时候，咱们准备一张小小的卡片，你只要签到就打上一个勾，我最后判断你是否签到，其实只需要到小卡片上看一看就知道了。

我们可以采用类似这样的方案来实现我们的签到需求。

我们按月来统计用户签到信息，签到记录为1，未签到则记录为0。

把每一个bit位对应当月的每一天，形成了映射关系。用0和1标示业务状态，这种思路就称为位图（BitMap）。

这样我们就用极小的空间，来实现了大量数据的表示。

那么，一个月的签到数据，可以使用一个无符号整数来存储

之前一个月要 600个字节，现在保存一个人一个月的签到数据，只要 24个字节，一下就提升了 25倍

注意：是存储空间，节约了25倍哈

优化2：利用Redis Bitmap实现用户签到的性能优化

刚好redis 有Bitmap结构。

可以利用Redis Bitmap实现用户签到的性能优化，将当前用户当天签到信息保存到Redis中。

具体的架构如下：

redis的吞吐量为 2Wqps以上，完全可以满足 1000W用户签到的需求。

但是 SpringCloud 微服务够呛，怎么办呢？

优化3：利用Nginx +lus 实现更进一步的用户签到的性能优化

SpringCloud 微服务够呛，但是nginx可以，

nignx的吞吐量为 2Wqps以上，完全可以满足 1000W用户签到的需求。

具体的架构如下：

架构介绍完了，接下来就开始实操。

但是，在开始实操之前，咱们得补一下基础知识。

基础知识：什么是Bitmap

Bitmap是一种位图数据结构，它用来表示一个集合中每个元素是否出现。

在Bitmap中，每个元素都与一个位（bit）相对应，如果元素出现，则对应位的值为1，否则为0。

Bitmap可以用来进行快速的集合运算，如并集、交集、差集等操作。

Bitmap的优点在于它的空间利用率非常高，通常只需要占用一个二进制位来表示一个元素是否出现，因此对于稀疏的数据集合，Bitmap可以显著减少存储空间的使用。

此外，由于Bitmap的位运算操作非常高效，因此它也能够快速地进行集合运算操作。

Redis中是利用string类型数据结构实现BitMap，因此最大上限是512M，转换为bit则是 2^32个bit位。

Bitmap的使用场景

Bitmap可以应用于许多场景，主要包括以下几个方面：

去重：
可以使用Bitmap去重，将出现的元素映射到Bitmap中，若Bitmap中对应的位置已经被标记为1，即表示该元素已经出现过，可以避免重复。
排序：
可以使用Bitmap实现排序，将元素映射到Bitmap中，遍历Bitmap中的所有位，对于值为1的位，输出对应元素。
数据库查询：
在数据库中，可以使用Bitmap对记录进行索引，
例如，在一个表中记录用户的性别，可以使用Bitmap将每个用户的性别映射到Bitmap中，然后通过位运算来查询特定性别的用户。
网络流量分析：
在网络流量分析中，可以使用Bitmap来记录每个IP地址的访问情况，然后通过位运算进行流量统计和分析。
压缩编码：
可以使用Bitmap进行数据压缩编码，将数据压缩为一系列0和1的位序列，通过位运算进行解码。

总的来说，Bitmap具有高效、灵活、易用等优点，在许多数据处理和分析的场景中都有广泛的应用。

Redis 中Bitmap的相关命令

客户端连接 redis

docker exec -it redis-standalone  redis-cli  

auth 123456

Redis提供了一系列Bitmap相关的指令，包括以下几个：

指定key中的offset位设置为value

将指定key中的offset位设置为value（0或1），若key不存在，则会自动创建一个新的空Bitmap。

SETBIT key offset value

例：SETBIT mybitmap 1001 1 将mybitmap的第1001位设置为1。

127.0.0.1:6379> setbit mybitmap 1001 1
(integer) 0

获取指定 key 中的offset位的值

获取指定key中的offset位的值（0或1），若key不存在或offset超出范围，则返回0。

GETBIT key offset

例如：GETBIT mybitmap 1001将返回mybitmap的第1001位的值。

127.0.0.1:6379> getbit mybitmap 1001
(integer) 1

统计指定key中值为1的位的数量。

BITCOUNT key [start end]

可以通过可选参数start和end指定统计的范围（单位是位），若不指定，则默认统计整个Bitmap。

例如：BITCOUNT mybitmap 100 1000 将统计mybitmap中第100位到第1000位值为1的位的数量。

127.0.0.1:6379> bitcount mybitmap 100 1000
(integer) 1

对多个Bitmap进行位运算，并将结果保存到destkey中。

BITOP operation destkey key [key ...]

operation可以是AND、OR、XOR和NOT中的一个，表示进行与、或、异或和非运算。

例如：BITOP AND mybitmap1 mybitmap2 mybitmap3将mybitmap2和mybitmap3进行与运算，并将结果保存到mybitmap1中。

127.0.0.1:6379> bitop and mybitmap1 mybitmap2 mybitmap3
(integer) 0

查找指定key中第一个值为bit（0或1）的位的位置

查找指定key中第一个值为bit（0或1）的位的位置，并返回其索引（单位是位）。

BITPOS key bit [start] [end]

可以通过可选参数start和end指定查找的范围。若bit不存在于指定范围内，则返回-1。

例如：BITPOS mybitmap 1 100 1000将在mybitmap的第100位到第1000位中查找值为1的位的位置。

127.0.0.1:6379> bitpos mybitmap 1 100 1000
(integer) 1001

BITFIELD：在位图中存储整数值

BITFIELD命令允许用户在位图中的任意区域（field）存储指定长度的整数值，并对这些整数值执行加法或减法操作。

BITFIELD命令支持SET、GET、INCRBY、OVERFLOW这4个子命令，接下来将分别介绍这些子命令。

语法：

官方文档

BITFIELD key [GET encoding offset | [OVERFLOW <WRAP | SAT | FAIL>]
  <SET encoding offset value | INCRBY encoding offset increment>
  [GET encoding offset | [OVERFLOW <WRAP | SAT | FAIL>]
  <SET encoding offset value | INCRBY encoding offset increment>
  ...]]

根据偏移量对区域进行设置

除了根据偏移量对位图进行设置之外，SET子命令还允许用户根据给定类型的位长度，对位图在指定索引上存储的整数值进行设置。

通过使用BITFIELD命令的SET子命令，用户可以在位图的指定偏移量offset上设置一个type类型的整数值value，

来一个列子，从第0位开始，设置 sign:1880000000::202305 的值为 198 ：

BITFIELD  sign:1880000000::202306   set u8  0 198

主要的参数如下：

offset 操作的偏移量
type 操作的值的数值类型
value 要操作的值

对于参数的介绍如下：

参数1：offset参数用于指定设置的起始偏移量。

这个偏移量从0开始计算，偏移量为0表示设置从位图的第1个二进制位开始。

如果被设置的值长度不止一位，那么设置将自动延伸至之后的二进制位。

参数2：type参数用于指定等待设置的值类型，

type参数的值需要以i或者u为前缀，后跟被设置值的位长度，

其中i表示被设置的值为有符号整数，而u则表示被设置的值为无符号整数。

比如i8表示被设置的值为有符号8位整数，

而u16则表示被设置的值为无符号16位整数，诸如此类。

BITFIELD的各个子命令目前最大能够对64位长的有符号整数（i64）和63位长的无符号整数（u63）进行操作。

参数3：value参数用于指定被设置的整数值

这个值的类型应该和type参数指定的类型一致。

如果给定值的长度超过了type参数指定的类型，那么SET命令将根据type参数指定的类型截断给定值。

比如，如果用户尝试将整数123（二进制表示为01111011）存储到一个u4类型的区域中，那么命令会先将该值截断为4位长的二进制数字1011（即十进制数字11），然后再进行设置。

设置的结果

设置 sign:1880000000::202305 的值为 198 ：

BITFIELD  sign:1880000000::202306   set u8  0 198

通过命令，我们可以从偏移量0开始，设置一个8位长的无符号整数值198（二进制表示为11000110）：

从子命令返回的结果可以看出，该区域被设置之前存储的整数值为0。下图展示了执行设置命令之后的位图：

批量操作：一次调用中执行多个子命令

尼恩提示：高并发场景，为了减少io 次数，一般都是建议批量操作。

BITFIELD命令允许用户在一次调用中执行多个子命令，比如，通过在一次BITFIELD调用中使用多个SET子命令，我们可以同时对位图的多个区域进行设置：

BITFIELD  sign:1880000000::202306   SET u8 0 123 SET i32 20 10086

第1个子命令SET u8 0 123从偏移量0开始，设置一个8位长无符号整数值123。
第2个子命令SET i32 20 10086从偏移量20开始，设置一个32位长有符号整数值10086。

对于这2个子命令，BITFIELD命令返回了一个包含2个元素的数组作为命令的执行结果，

这2个元素分别代表2个指定区域被设置之前存储的整数值，比如第一个子命令返回的结果就是我们之前为该区域设置的值123。

下图展示了这个BITFIELD命令创建出的位图以及被设置的3个整数值在位图中所处的位偏移量。

上图也展示了SET子命令的两个特点：

设置可以在位图的任意偏移量上进行，被设置区域之间不必是连续的，也不需要进行对齐（align）。

各个区域之间可以有空洞，即未被设置的二进制位，这些二进制位会自动被初始化为0。
在同一个位图中可以存储多个不同类型和不同长度的整数。

虽然这两个特点可以带来很大的灵活性，但是从节约内存、避免发生错误等情况考虑，我们一般还是应该：

以对齐的方式使用位图，并且让位图尽可能地紧凑，避免包含过多空洞。
每个位图只存储同一种类型的整数，并使用int-8bit、unsigned-16bit这样的键名前缀来标识位图中存储的整数类型。

获取区域存储的值

通过使用BITFIELD命令的GET子命令，用户可以从给定的偏移量或者索引中取出指定类型的整数值：

GET子命令各个参数的意义与SET子命令中同名参数的意义完全一样。

执行加法操作或减法操作

除了设置和获取整数值之外，BITFIELD命令还可以对位图存储的整数值执行加法操作或者减法操作，

这两个操作都可以通过INCRBY子命令实现。

语法：

BITFIELD命令并没有提供与INCRBY子命令相对应的DECRBY子命令，但是用户可以通过向INCRBY子命令传入负数增量来达到执行减法操作的效果。

INCRBY子命令在执行完相应的操作之后会返回整数的当前值作为结果。例子如下：

处理溢出

BITFIELD命令除了可以使用INCRBY子命令来执行加法操作和减法操作之外，还可以使用OVERFLOW子命令去控制INCRBY子命令在发生计算溢出时的行为。

语法：

OVERFLOW子命令的参数可以是WRAP、SAT或者FAIL中的一个：

WRAP表示使用回绕（wrap around）方式处理溢出，这也是C语言默认的溢出处理方式。在这一模式下，向上溢出的整数值将从类型的最小值开始重新计算，而向下溢出的整数值则会从类型的最大值开始重新计算。
SAT表示使用饱和运算（saturation arithmetic）方式处理溢出，在这一模式下，向上溢出的整数值将被设置为类型的最大值，而向下溢出的整数值则会被设置为类型的最小值。
FAIL表示让INCRBY子命令在检测到计算会引发溢出时拒绝执行计算，并返回空值表示计算失败。

OVERFLOW子命令在执行时将不产生任何回复。此外，如果用户在执行BITFIELD命令时没有指定具体的溢出处理方式，那么INCRBY子命令默认使用WRAP方式处理计算溢出。

需要注意的是，因为OVERFLOW子命令只会对同一个BITFIELD调用中排在它之后的那些INCRBY子命令产生效果，所以用户必须把OVERFLOW子命令放到它想要影响的INCRBY子命令之前。

其他命令

除此之外，还有其他一些Bitmap相关的指令，如BITMAP等，可以根据实际需求进行选择。

redis bitmap 常用命令：

#向指定位置（offset）存入0或1
SETBIT key offset value
 
#获取指定位置（offset）的bit值
GETBIT key offset
 
#统计bitmap中(从start到end，如果不写起始位置，就统计整个key)值为1的bit数量
BITCOUNT key [start end]
 
#操作（查询，修改，自增）Bitmap中指定的位置（offset）的值
BITFIELD key [GET type offset] [SET type offset value] [INCRBY type offset increment] [OVERFLOW WRAP|SAT|FAIL]
 
#获取Bitmap中的bit数组，并以十进制返回
BITFIELD_RO