一、redis

1.1 redis概述

redis（ Remote Dictionary Service – 远程字典服务），它是一款开源、高性能的键值存储数据库。它支持各种数据结构，包括**字符串(String)、哈希(Hash)、列表(List)、集合(Set)、有序集合(ZSet)**等，并提供了丰富的操作命令，可以对这些数据结构进行灵活的读写操作。

redis以内存为主要存储介质，这使得它具有非常快速的读写性能。同时，Redis也支持将数据持久化到磁盘，以便在重启或崩溃恢复后保留数据。它采用了单线程的事件循环模型，通过异步IO和多路复用技术实现了高并发处理能力。

总结来说，redis是内存数据库、Key-Value数据库、数据结构数据库
1）远程字典服务：节点通过tcp，与redis建立连接交互。并且是请求回应模型，即节点发送请求命令到redis --> redis回复请求结果

2）内存数据库：指的是redis以内存为主要存储介质，数据都在内存中，不可能出现数据不在内存中，而磁盘有这个数据。

2）Key-Value数据库：redis是以KV方式存储的，其中key是string类型，而value多种数据结构。操作方式是redis通过key操作或者查询value。

详细的命令可以查阅redis命令中心

1.2 redis安装

1）安装redis-server

sudo apt-get install redis-server

2）查看redis服务的状态

ps -ef|grep redis

3）查看配置文件所在位置

whereis redis
# 结果是redis: /etc/redis

4）修改配置文件
先备份

# 以管理员身份登录
sudo -i

cd /etc/redis/

# 备份
cp redis.conf redis.conf.copy

修改配置文件

 sudo vim /etc/redis/redis.conf

修改内容为

# 守护进程，修改为yes后即可后台运行
daemonize yes 

# 监听的地址，默认是127.0.0.1，会导致只能在本地访问。修改为0.0.0.0则可以在任意IP访问
bind 0.0.0.0

# 其他修改（可选）

# 密码，设置后访问 redis 必须输入密码
requirepass 123456

# 监听端口号，默认为 6379
port 6379

5）重启redis

sudo service redis restart

6）客户端连接

redis-cli [options] [commonds]
-h 指定要连接的redis节点的IP地址，默认是127.0.0.1
-p 指定要连接的redis节点的端口，默认是6379
-a 指定redis的访问密码 

比如

redis-cli -h 127.0.0.1 -a 123456

二、string

string字符数组，该字符串是动态字符串 raw，字符串长度小于1M时，加倍扩容；超过 1M 每次只多扩 1M；字符串最大长度为512M；
注意：redis 字符串是二进制安全字符串；可以存储图片，二进制协议等二进制数据；

2.1 基础命令

# 设置 key 的 value 值
SET key val
# 获取 key 的 value
GET key
# 一次为多个字符串键设置值
MSET key value
# 一次获取多个字符串键的值
MGET key [key...]
# 将key设置值为value，如果key不存在，这种情况下等同SET命令。 当key存在时，什么也不做。SETNX是”SET if Not eXists”的简写。
SETNX key value
MSETNC key value [key value ...]

# 返回key对应的字符串value的子串，这个子串是由start和end位移决定的（两者都在string内）
GETRANGE key start end
# 覆盖key对应的string的一部分，从指定的offset处开始，覆盖value的长度。
SETRANGE key start end
# 追加新内容到值的末尾
APPEND key suffix

# 执行原子+1的操作
INCR key 
# 执行原子加一个整数的操作
INCRBY key increment
# 执行原子加一个浮点数的操作
INCRBYFLOAT key increment
# 执行原子-1的操作
DECR key
# 执行原子减一个整数的操作
DECR key decrement

# 删除字符串键值对
DEL key

# 设置或者清空key的value(字符串)在offset处的bit值。
SETBIT key offset value
# 返回key对应的string在offset处的bit值
GETBIT key offset
# 统计字符串设置为1的bit数.
BITCOUNT key

# 清除所有键值对
FLUSHALL

2.2 存储结构

• 字符串长度小于等于 20 且能转成整数，则使用 int 存储；
• 字符串长度小于等于 44，则使用 embstr 存储；
• 字符串长度大于44，则使用 raw 存储；

embstr ：是一种字符串编码方式，用于表示较短且不包含二进制数据的字符串。它是 Redis 用于优化内存使用的一种编码方式。使用 embstr 编码可以减少字符串对象在内存中的空间占用。对于符合条件的短字符串，Redis 会直接将字符串值存储在字符串对象的结构体中，而不是额外分配内存来保存字符串数据。

raw：是一种字符串编码方式，用于表示较长或包含二进制数据的字符串。使用 raw 编码方式存储字符串时，Redis 会分配额外的内存来保存字符串数据。这意味着 raw 编码的字符串对象在内存中占用更多的空间，但同时具有更大的灵活性，可以处理更长的字符串和包含二进制数据的字符串。

2.3 应用

1）对象存储。存储的数据不能改变，如果是需要改变的数据，使用hash来存储

127.0.0.1:6379> set role:1001 'name:jack  sex:man  age:30'
OK
127.0.0.1:6379> get role:1001
"name:jack  sex:man  age:30"

2）累加器

127.0.0.1:6379> set read 100
OK
127.0.0.1:6379> incr read
(integer) 101
127.0.0.1:6379> incrby read 50
(integer) 151

3）分布式锁，redis 实现的是非公平锁

# 加锁（不存在才能设置），EX 设置过期时间为 30 秒
set lock uuid nx ex 30
# 解锁
if (get(lock) == uuid)
 	del(lock);

4）位运算。比如实现签到功能。

127.0.0.1:6379> setbit sign:1001:202307 1 1  # 2023年7月1日 签到
(integer) 0
127.0.0.1:6379> setbit sign:1001:202307 2 1  # 2023年7月2日 签到
(integer) 0
127.0.0.1:6379> setbit sign:1001:202307 3 0  # 2023年7月1日 未来签到
(integer) 0
127.0.0.1:6379> bitcount sign:1001:202307    # 获取该用户2023年7月签到次数
(integer) 2
127.0.0.1:6379> getbit sign:1001:202307 2    # 获取该用户2023年7月2日签到情况
(integer) 1

三、list

双向链表实现，列表首尾操作（删除和增加）时间复杂度O(1)；查找中间元素时间复杂度为O(n)；

列表中数据是否压缩的依据：
1）元素长度小于 48，不压缩；
2）元素压缩前后长度差不超过 8，不压缩；

3.1 基础命令

# 从队列的左侧入队一个或多个元素
LPUSH key value [value ...]
# 从队列的左侧弹出一个元素
LPOP key 

# 从队列的右侧入队一个或多个元素
RPUSH key value [value ...]
# 从队列的右侧弹出一个元素
RPOP key 

# 获取队列的长度
LLEN key 
# 获取队列指定索引上的元素
LINDEX key index
# 返回从队列的 start 和 end 之间的元素
LRANGE key start end
# 设置队列里面一个元素的值
LSET key index value

# 把 value 插入存于 key 的列表中在基准值 pivot 的前面或后面。
LINSERT key BEFORE|AFTER pivot value
# 修剪一个已存在的 list，这样 list 就会只包含指定范围的指定元素。
LTRIM key start stop
# 从存于 key 的列表里移除前 count 次出现的值为 value 的元素。
LREM key count value


# 它是 RPOP 的阻塞版本，因为这个命令会在给定list无法弹出任何元素的时候阻塞连接
BRPOP list timeout  # 超时时间 + 延时队列
BLPOP list timeout  # 超时时间 + 延时队列

3.2 应用

1）实现数据结构
栈（先进后出 FILO）

LPUSH + LPOP
# 或者
RPUSH + RPOP

队列（先进先出 FIFO）

LPUSH + RPOP
# 或者
RPUSH + LPOP

阻塞队列（blocking queue）

LPUSH + BRPOP
# 或者
RPUSH + BLPOP

2）获取固定窗口记录
在某些业务场景下，需要获取固定数量的记录；比如游戏里显示最近50条战绩；这些记录需要按照插入的先后顺序返回。

127.0.0.1:6379> lpush scores game1 game2 game3 game4 game5 game6 game7 game8
(integer) 8
127.0.0.1:6379> ltrim scores 0 5
OK
127.0.0.1:6379> lrange scores 0 -1
1) "game8"
2) "game7"
3) "game6"
4) "game5"
5) "game4"
6) "game3"

实际项目中需要保证命令的原子性，所以一般用 lua 脚本 或者使用 pipeline 命令。

# redis lua脚本

# 将传入的记录值保存在 record 变量中
local record = KEYS[1]
# 使用 LPUSH 命令将 record 的值插入到名为 "scores" 的列表的左侧，即将记录值添加到列表的开头。
redis.call("LPUSH", "scores", record)
# 使用 LTRIM 命令对 "scores" 列表进行修剪（trim），指定保留列表的起始索引为 0，结束索引为 4，即保留列表的前 5 个元素。
redis.call("LTRIM", "scores", 0, 4)

四、hash

散列表，查询修改 O(1)

4.1 基础命令

# 获取 key 对应 hash 中的 field 对应的值
HGET key field
# 设置 key 对应 hash 中的 field 对应的值
HSET key field value
# 设置多个hash键值对
HMSET key field value [field value ...]
# 获取多个field的值
HMGET key field [field ...]
# 给 key 对应 hash 中的 field 对应的值加一个整数值
HINCRBY key field increment
# 给 key 对应 hash 中的 field 对应的值加一个float类型的值
HINCRBYFLOAT key field increment
# 获取 key 对应的 hash 有多少个键值对
HLEN key
# 返回hash里面field是否存在
HEXISTS key field
# 删除 key 对应的 hash 的键值对，该键为field
HDEL key field

4.2 存储结构

节点数量大于 512（hash-max-ziplist-entries） 或所有字符串长度大于 64（hash-max-ziplist-value），则使用 dict 实现；

节点数量小于等于 512 且有一个字符串长度小于 64，则使用ziplist 实现；

4.3 应用

1）存储对象
hash 可以存储需要频繁修改的对象。若为 string 类型首先把获得的字符串 json 反序列化，修改后，再用 json 序列化，操作繁琐。

127.0.0.1:6379> hmset role:1001 name jack sex man age 30
OK
127.0.0.1:6379> hmget role:1001 age
1) "30"
127.0.0.1:6379> hset role:1001 age 40
(integer) 0
127.0.0.1:6379> hmget role:1001 age
1) "40"

而如果是string，一般使用的是json格式

set hash:10001 '{["name"]:"jack",["sex"]:"man",["age"]:30}'
# 假设现在修改 jack的年龄为40岁
# string:
get role:10001
# 将得到的字符串调用json解密，取出字段，修改 age 值
# 再调用json加密
set role:10001 '{["name"]:"jack",["sex"]:"man",["age"]:40}'

2）购物车：hash + list
hash：管理购物车中商品的具体信息
list：管理购物车中的商品，按照添加顺序来显示的

# 将用户id作为 key
# 商品id作为 field，商品数量作为 value
# 商品结构cost作为 field，具体金额作为 value
# 注意：这些物品是按照我们添加顺序来显示的；

# 添加商品：
 hset MyCart:10001 40001 1 cost 6000  # 用户id:10001 商品id：40001 数量：1  价格cost：6000
 lpush MyItem:10001 40001
# 增加数量：
 hincrby MyCart:10001 40001 1
 hincrby MyCart:10001 40001 -1 // 减少数量1
# 显示所有物品数量：
 hlen MyCart:10001
# 删除商品：
 hdel MyCart:10001 40001
 lrem MyItem:10001 1 40001
# 获取所有物品：
 lrange MyItem:10001
 # 40001 40002 40003
 hget MyCart:10001 40001
 hget MyCart:10001 40002
 hget MyCart:10001 40003

五、set

集合，用来存储唯一性字段，不要求有序。

5.1 基础命令

# 添加一个或多个指定的member元素到集合的 key中
SADD key member [member ...]
# 计算集合元素个数
SCARD key
# 列出所有的数据
SMEMBERS key
# 返回成员 member 是否是存储的集合 key的成员
SISMEMBER key member
# 随机返回key集合中的一个或者多个元素，不删除这些元素
SRANDMEMBER key [count]
# 从存储在key的集合中移除并返回一个或多个随机元素
SPOP key [count]
# 返回一个集合与给定集合的差集的元素
SDIFF key [key ...]
# 返回指定所有的集合的成员的交集
SINTER key [key ...]
# 返回给定的多个集合的并集中的所有成员
SUNION key [key ...]

5.2 存储结构

元素都为整数且节点数量小于等于 512（set-max-intset-entries），则使用整数数组存储；
元素当中有一个不是整数或者节点数量大于 512，则使用字典存储；

5.3 应用

# 添加抽奖用户
127.0.0.1:6379> sadd Award:1 101 102 103 104 105 106 107 108 109 110
(integer) 10
# 查看抽奖用户
127.0.0.1:6379> smembers Award:1
 1) "101"
 2) "102"
 3) "103"
 4) "104"
 5) "105"
 6) "106"
 7) "107"
 8) "108"
 9) "109"
10) "110"
# 抽取多名获奖用户
127.0.0.1:6379> srandmember Award:1 2
1) "109"
2) "105"
# 抽取一等奖1名，二等奖2名，三等奖3名
127.0.0.1:6379> spop Award:1 1
1) "109"
127.0.0.1:6379> spop Award:1 2
1) "102"
2) "106"
127.0.0.1:6379> spop Award:1 3
1) "107"
2) "104"
3) "105"

2）共同关注，推荐好友

127.0.0.1:6379> sadd user:A jack mark rose taylor
(integer) 4
127.0.0.1:6379> sadd user:B tom jack taylor alex
(integer) 4
# 获取共同关注
127.0.0.1:6379> sinter user:A user:B
1) "jack"
2) "taylor"
# 向 B 推荐 A 的好友
127.0.0.1:6379> sdiff user:A user:B
1) "rose"
2) "mark"
# 向 A 推荐 B 的好友
127.0.0.1:6379> sdiff user:B user:A
1) "tom"
2) "alex"

六、zset

有序集合；它是有序且唯一。zset是实时有序的，zset内部是使用调表实现的。可以用来实现排行榜

6.1 基础命令

# 添加到键为key有序集合（sorted set）里面
# XX: 仅仅更新存在的成员，不添加新成员。
# NX: 不更新存在的成员。只添加新成员。
# CH: 修改返回值为发生变化的成员总数
# INCR: 当ZADD指定这个选项时，成员的操作就等同ZINCRBY命令
ZADD key [NX|XX] [CH] [INCR] score member [score member ...]
# 从键为key有序集合中删除 member 的键值对
ZREM key member [member ...]
# 返回有序集key中，成员member的score值
ZSCORE key member
# 为有序集key的成员member的score值加上增量increment
ZINCRBY key increment member
# 返回key的有序集元素个数
ZCARD key
# 返回有序集key中成员member的排名。按score值从小到大排列
ZRANK key member
# 返回有序集key中成员member的排名。按score值从大到小排列
ZREVRANK key member
# 返回存储在有序集合key中的指定范围的元素(升序)
ZRANGE key start stop [WITHSCORES]
# 返回存储在有序集合key中的指定范围的元素(逆序)
ZREVRANGE key start stop [WITHSCORES]
# 返回有序集key中，score值在min和max之间(默认包括score值等于min或max)的成员。
ZCOUNT key min max
# 移除有序集key中，指定排名(rank)区间内的所有成员。
ZREMRANGEBYRANK key start stop
# 移除有序集key中，所有score值介于min和max之间(包括等于min或max)的成员。
ZREMRANGEBYSCORE key min max

6.2 存储结构

节点数量大于 128 或者有一个字符串长度大于 64，则使用跳表（skiplist）；

节点数量小于等于 128（zset-max-ziplist-entries）且所有字符串长度小于等于 64（zset-max-ziplist-value），则使用ziplist 存储；

6.3 应用

1）热搜排行榜

#  点击量 + 热搜id
127.0.0.1:6379> zadd hot:20230719 0 1001 0 1002 0 1003 0 1004 0 1005
(integer) 5
# 点击热搜
127.0.0.1:6379> zincrby hot:20230719 1 1001
"1"
127.0.0.1:6379> zincrby hot:20230719 1 1002
"1"
127.0.0.1:6379> zincrby hot:20230719 1 1003
"1"
127.0.0.1:6379> zincrby hot:20230719 1 1004
"1"
127.0.0.1:6379> zincrby hot:20230719 1 1005
"1"
# 获取热搜排行榜
127.0.0.1:6379> zrevrange hot:20230719 0 -1 withscores
 1) "1005"
 2) "1"
 3) "1004"
 4) "1"
 5) "1003"
 6) "1"
 7) "1002"
 8) "1"
 9) "1001"
10) "1"

2）延时队列
将消息序列化成一个字符串作为 zset 的 member；这个消息的到期处理时间作为 score，然后用多个线程轮询 zset 获取到期的任务进行处理。

// 添加延时消息
def delay(msg):
    msg.id = str(uuid.uuid4()) // 保证 member 唯一
    value = json.dumps(msg)
    retry_ts = time.time() + 5 // 当前时间 + 5s后重试
    redis.zadd("delay-queue", retry_ts, value)

def loop():
    while True:
	   // 获取到期的消息
        values = redis.zrangebyscore("delay-queue", 0, time.time(), start=0, num=1)
        if not values:
            time.sleep(1)
            continue
        value = values[0]
        // 从延时队列中移除过期消息，并执行
        success = redis.zrem("delay-queue", value)
        if success:
            msg = json.loads(value)
            handle_msg(msg)
/*
缺点：loop 是多线程竞争，每个线程都从zrangebyscore获取到数据，只有一个能 zrem 成功。
优化：为了避免多余的操作，可以使用lua脚本原子执行这两个命令。
*/

3）分布式定时器
生产者将定时任务 hash 到不同的 redis 实体中，为每一个redis 实体分配一个 dispatcher 进程，用来定时获取 redis 中超时事件并发布到不同的消费者中

4）时间窗口限流

在 Redis 中，可以使用 EXPIRE 命令为指定的键设置过期时间。一旦过期时间到达，Redis 将自动删除该键。

EXPIRE key seconds

假设我们有一个键名为 “mykey” 的键，现在我们想要给它设置一个过期时间为 60 秒

> SET mykey "Hello, world!"
OK
> EXPIRE mykey 60
(integer) 1

系统限定用户的某个行为在指定的时间范围内（动态）只能发生 N 次。通过时间窗口限流实现

// 指定用户 user_id 的某个行为 action 在特定时间内period 允许发生 max_count 次
// 维护一次时间窗口，将窗口外的记录全部清理掉，只保留窗口内的记录
local function is_action_allowed(red, userid,action, eriod, max_count)
local key = tab_concat({"hist", userid,action}, ":")
    local now = zv.time()
    red:init_pipeline()
    // 记录行为
    red:zadd(key, now, now)
    // 移除时间窗口之前的行为记录，剩下的都是时间窗口内的记录
    red:zremrangebyscore(key, 0, now - period*100)
    // 获取时间窗口内的行为数量
    red:zcard(key)
    // 设置过期时间，避免冷用户持续占用内存 时间窗口的长度+1秒
    red:expire(key, period + 1)
    // 提交
    local res = red:commit_pipeline()
    // 不超过次数返回 ture，超过返回 false
    return res[3] <= max_count
end

维护一次时间窗口，将窗口外的记录全部清理掉，只保留窗口内的记录；

缺点：记录了所有时间窗口内的数据，如果这个量很大，不适合做这样的限流；漏斗限流。
注意：如果用 key + expire 操作也能实现，但是实现的是熔断限流，这里是时间窗口限流的功能；

漏斗限流算法基于一个类似漏斗的数据结构，来控制请求的流量。
熔断限流是一种机制，用于在系统达到一定阈值时快速停止对其的请求。