【Redis】Redis 典型应用 - 分布式锁原理与实现

news2024/12/24 13:01:41

目录

    • Redis 典型应⽤ - 分布式锁
      • 什么是分布式锁
      • 分布式锁的基础实现
      • 引⼊过期时间
      • 引⼊校验 id
      • 引⼊ lua
      • 引⼊ watch dog (看⻔狗)
      • 引⼊ Redlock 算法
      • 其他功能


Redis 典型应⽤ - 分布式锁

什么是分布式锁

在⼀个分布式的系统中, 也会涉及到多个节点访问同⼀个公共资源的情况。此时就需要通过 锁 来做互斥控制, 避免出现类似于 “线程安全” 的问题

线程安全问题:多个线程并发执行的时候,执行先后顺序是不确定的。就需要保证程序在任意执行顺序下执行逻辑都是OK的

⽽ Java 的 synchronized 或者 C++ 的 std::mutex, 这样的锁都是只能在当前进程中⽣效, 在分布式的这种多个进程多个主机的场景下就⽆能为⼒了。

此时就需要使⽤到分布式锁。

本质上就是使⽤⼀个公共的服务器, 来记录 加锁状态

这个公共的服务器可以是 Redis, 也可以是其他组件(⽐如 MySQL 或者 ZooKeeper 等), 还可以是我们⾃⼰写的⼀个服务

分布式锁的基础实现

思路⾮常简单,本质上就是通过⼀个键值对来标识锁的状态

举个例⼦:考虑买票的场景, 现在⻋站提供了若⼲个⻋次, 每个⻋次的票数都是固定的

现在存在多个服务器节点, 都可能需要处理这个买票的逻辑:先查询指定⻋次的余票, 如果余票 > 0, 则设置余票值 -= 1

显然上述的场景是存在 “线程安全” 问题的, 需要使⽤锁来控制

否则就可能出现 “超卖” 的情况

此时如何进⾏加锁呢?我们可以在上述架构中引⼊⼀个 Redis,作为分布式锁的管理器

此时, 如果 买票服务器1 尝试买票, 就需要先访问 Redis, 在 Redis 上设置⼀个键值对。⽐如 key 就是⻋次, value 随便设置个值 (⽐如 1)

如果这个操作设置成功, 就视为当前没有节点对该 001 ⻋次加锁, 就可以进⾏数据库的读写操作。操作完成之后, 再把 Redis 上刚才的这个键值对给删除掉

如果在 买票服务器1 操作数据库的过程中, 买票服务器2 也想买票, 也会尝试给 Redis 上写⼀个键值对,key 同样是⻋次。但是此时设置的时候发现该⻋次的 key 已经存在了, 则认为已经有其他服务器正在持有锁, 此时 服务器2 就需要等待或者暂时放弃

Redis 中提供了 setnx 操作, 正好适合这个场景。即:key 不存在就设置, 存在则直接失败

但是上述⽅案并不完整

某个服务器加锁成功了(setnx 成功),执行后续逻辑过程中,程序崩溃了(没有执行到解锁)

这里不能通过在 finally 的方式解锁,这只是对进程内的锁有效,这对分布式系统的无效的,比如服务器直接断电,进程就直接异常终止了

引⼊过期时间

当 服务器1 加锁之后, 开始处理买票的过程中, 如果 服务器1 意外宕机了, 就会导致解锁操作 (删除该key) 不能执⾏。就可能引起其他服务器始终⽆法获取到锁的情况

为了解决这个问题, 可以在设置 key 的同时引⼊过期时间。即这个锁最多持有多久,就应该被释放

可以使⽤ set ex nx 的⽅式, 在设置锁的同时把过期时间设置进去

注意! 此处的过期时间只能使⽤⼀个命令的⽅式设置

如果分开多个操作, ⽐如 setnx 之后, 再来⼀个单独的 expire, 由于 Redis 的多个指令之间不存在关联, 并且即使使⽤了事务也不能保证这两个操作都⼀定成功, 因此就可能出现 setnx 成功, 但是 expire 失败的情况

此时仍然会出现⽆法正确释放锁的问题

引⼊校验 id

对于 Redis 中写⼊的加锁键值对, 其他的节点也是可以删除的。

⽐如 服务器1 写⼊⼀个 “001”: 1 这样的键值对, 服务器2 是完全可以把 “001” 给删除掉的。

当然, 服务器2 不会进⾏这样的 “恶意删除” 操作, 不过不能保证因为⼀些 bug 导致 服务器2 把锁误删除。

为了解决上述问题, 我们可以引⼊⼀个校验 id

⽐如可以把设置的键值对的值, 不再是简单的设为⼀个 1, ⽽是设成服务器的编号. 形如 “001”: “服务器1”。

这样就可以在删除 key (解锁)的时候, 先校验当前删除 key 的服务器是否是当初加锁的服务器, 如果是,才能真正删除;不是, 则不能删除

逻辑⽤伪代码描述如下:

String key = "[要加锁的资源 id]";
String serverId = "[服务器的编号]";

// 加锁, 设置过期时间为 10s
redis.set(key, serverId, "NX", "EX", "10s");

// 执行各种业务逻辑, 比如修改数据库数据. 
doSomeThing();

// 解锁, 删除 key. 但是删除前要检验下 serverId 是否匹配. 
if (redis.get(key).equals(serverId)) {
    redis.del(key);
}

但是很明显,解锁逻辑是两步操作 “get” 和 “del”,这样做并⾮是原⼦的

引⼊ lua

为了使解锁操作原⼦,可以使⽤ Redis 的 Lua 脚本功能

使用事务能解决这些问题,但实践中往往用更好的方案,就说 lua 脚本,这是 redis 内嵌的脚本。Redis 官方也明确说 lua 就是事务的替代方案

Lua 也是⼀个编程语⾔。读作 “撸啊”。是葡萄⽛语中的 “⽉亮” 的意思。(出⾃于 Lua 官⽅⽂档 https://www.lua.org/about.html )

Lua 的语法类似于 JS, 是⼀个动态弱类型的语⾔。Lua 的解释器⼀般使⽤ C 语⾔实现。Lua 语法简单精炼, 执⾏速度快, 解释器也⽐较轻量(Lua 解释器的可执⾏程序体积只有 200KB 左右)

因此 Lua 经常作为其他程序内部嵌⼊的脚本语⾔。Redis 本⾝就⽀持 Lua 作为内嵌脚本

很多程序都⽀持内嵌脚本, ⽐如 MySQL 8 ⽀持 JS 作为内嵌脚本, ⽐如 Vim ⽀持 VimScript和 Python 作为内嵌脚本… 通过内嵌脚本来实现更复杂的功能, 提供更强的扩展性。

Lua 除了和 Redis 搭伙之外, 在很多场景也会作为内嵌脚本。⽐如在游戏开发领域常常作为编写逻辑的语⾔。(⽐如魔兽世界, ⼤话西游等)

使⽤ Lua 脚本完成上述解锁功能

if redis.call('get', KEYS[1]) == ARGV[1] then
    return redis.call('del', KEYS[1])
else
    return 0
end;

上述代码可以编写成⼀个 .lua 后缀的⽂件, 由 redis-cli 或者 redis-plus-plus 或者 jedis 等客⼾端加载, 并发送给 Redis 服务器, 由 Redis 服务器来执⾏这段逻辑

⼀个 lua 脚本会被 Redis 服务器以原⼦的⽅式来执⾏

redis-plus-plusjedis 如何调⽤ lua, 咱们此处不做过多介绍. 具体 api 的写法⼤家可以⾃⾏研究

引⼊ watch dog (看⻔狗)

上述⽅案仍然存在⼀个重要问题。当我们设置了 key 过期时间之后 (⽐如 10s), 仍然存在⼀定的可能性,当任务还没执⾏完, key 就先过期了。这就导致锁提前失效。

把这个过期时间设置的⾜够⻓, ⽐如 30s, 是否能解决这个问题呢? 很明显, 设置多⻓时间合适, 是⽆⽌境的。即使设置再⻓, 也不能完全保证就没有提前失效的情况

⽽且如果设置的太⻓了, 万⼀对应的服务器挂了, 此时其他服务器也不能及时的获取到锁

因此相⽐于设置⼀个固定的⻓时间, 不如动态的调整时间更合适

所谓 watch dog, 本质上是加锁的服务器上的⼀个单独的线程, 通过这个线程来对锁过期时间进⾏ “续约”

注意, 这个线程是业务服务器上的, 不是 Redis 服务器的

举个具体的例⼦:

初始情况下设置过期时间为 10s,同时设定看⻔狗线程每隔 3s 检测⼀次

那么当 3s 时间到的时候, 看⻔狗就会判定当前任务是否完成

如果任务已经完成, 则直接通过 lua 脚本的⽅式, 释放锁(删除 key)

如果任务未完成, 则把过期时间重写设置为 10s(即 “续约”)

这样就不担⼼锁提前失效的问题了。⽽且另⼀⽅⾯, 如果该服务器挂了, 看⻔狗线程也就随之挂了, 此时⽆⼈续约, 这个 key ⾃然就可以迅速过期, 让其他服务器能够获取到锁了

引⼊ Redlock 算法

高可用机制主要是:

  • 主从复制
  • 哨兵
  • 集群

实践中的 Redis ⼀般是以集群的⽅式部署的 (⾄少是主从的形式, ⽽不是单机)。那么就可能出现以下⽐较极端的⼤冤种情况:

服务器1 向 master 节点进⾏加锁操作。这个写⼊ key 的过程刚刚完成, master 挂了;slave 节点升级成了新的 master 节点。但是由于刚才写⼊的这个 key 尚未来得及同步给 slave 呢, 此时就相当于 服务器1 的加锁操作形同虚设了, 服务器2 仍然可以进⾏加锁 (即给新的 master 写⼊ key。因为新的 master 不包含刚才的 key)

作为分布式系统,就需要随时考虑某个节点挂了的情况,需要保证某个节点挂不会影响到大局

为了解决这个问题, Redis 的作者提出了 Redlock 算法

我们引⼊⼀组 Redis 节点。其中每⼀组 Redis 节点都包含⼀个主节点和若⼲从节点,并且组和组之间存储的数据都是⼀致的, 相互之间是 “备份” 关系(⽽并⾮是数据集合的⼀部分, 这点有别于 Redis cluster)

加锁的时候, 按照⼀定的顺序, 写多个 master 节点(针对这些组 redis 都加锁)。在写锁的时候需要设定操作的 “超时时间”。⽐如50ms。即如果 setnx 操作超过了 50ms 还没有成功, 就视为加锁失败。

如果给某个节点加锁失败, 就⽴即再尝试下⼀个节点

当加锁成功的节点数超过总节点数的⼀半, 才视为加锁成功

如上图, ⼀共五个节点, 三个加锁成功, 两个失败, 此时视为加锁成功

这样的话, 即使有某些节点挂了, 也不影响锁的正确性

那么是否可能出现上述节点都同时遇到了 “⼤冤种” 情况呢?

理论上这件事是可能发⽣的, 但是概率太⼩了。⼯程上就可以忽略不计了

同理, 释放锁的时候, 也需要把所有节点都进⾏解锁操作。(即使是之前超时的节点, 也要尝试解锁, 尽量保证逻辑严密)

简⽽⾔之, Redlock 算法的核⼼就是, 加锁操作不能只写给⼀个 Redis 节点, ⽽要写个多个!! 分布式系统中任何⼀个节点都是不可靠的。最终的加锁成功结论是 “少数服从多数的”。

由于⼀个分布式系统不⾄于⼤部分节点都同时出现故障, 因此这样的可靠性要⽐单个节点来说靠谱不少

其他功能

上述描述中我们解释了基于 Redis 的分布式锁的基本实现原理

上述锁只是⼀个简单的互斥锁。但是实际上我们在⼀些特定场景中, 还有⼀些其他特殊的锁, ⽐如:

  • 可重⼊锁
  • 公平锁
  • 读写锁

基于 Redis 的分布式锁, 也可以实现上述特性。(当然了对应的实现逻辑也会更复杂)

此处我们不做过多讨论了

实际开发中, 我们也并不会真的⾃⼰实现⼀个分布式锁。已经有很多现成的库帮我们封装好了, 我们直接使⽤即可

⽐如 Java 中的 Redisson, C++ 中的 redis-plus-plus。当然, 有些⼤⼚也会有⾃⼰版本的分布式锁的实现

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2130728.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

YOLOv5改进:CA注意力机制【注意力系列篇】(附详细的修改步骤,以及代码)

如果实验环境尚未搭建成功,可以参考这篇文章 ->【YOLOv5超详细环境搭建以及模型训练(GPU版本)】 文章链接为:http://t.csdnimg.cn/Ke0bb ---------------------------------------------------------------------------​ 1…

09-排序1 排序(C)

这一节,测试各类排序算法的运行速度(没有基数排序(桶) 其实在实际学习中,还是有意义的 给定 n 个(长整型范围内的)整数,要求输出从小到大排序后的结果。 本题旨在测试各种不同的排序…

Unity Addressables 使用说明(三)构建内容(Build Content)

Build Content 【概述】Build Content 内容构建会处理 Addressables 组,生成内容目录(content catalog)、运行时设置以及包含你的资源的 AssetBundles。Addressables 使用这些文件在运行时加载内容。 你可以配置 Addressables 系统将 Addr…

重磅!OpenAI正式发布博士水平的推理模型o1!附详细说明

大家好,我是木易,一个持续关注AI领域的互联网技术产品经理,国内Top2本科,美国Top10 CS研究生,MBA。我坚信AI是普通人变强的“外挂”,所以创建了“AI信息Gap”这个公众号,专注于分享AI全维度知识…

【android10】【binder】【2.servicemanager启动——全源码分析】

系列文章目录 可跳转到下面链接查看下表所有内容https://blog.csdn.net/handsomethefirst/article/details/138226266?spm1001.2014.3001.5501文章浏览阅读2次。系列文章大全https://blog.csdn.net/handsomethefirst/article/details/138226266?spm1001.2014.3001.5501 目录 …

登山第九梯:稀疏点云实例分割——又快又准

文章:Fast Range Image-Based Segmentation of Sparse 3D Laser Scans for Online Operation 代码:https://github.com/PRBonn/depth_clustering 1)摘要 从 3D 距离数据中分割对象是移动机器人领域的一个重要主题。在动态环境中导航的机器人需…

C51单片机-单按键输入识别,键盘消抖

【实验目的】 独立按键的识别方法、键盘消抖等。 【实验现象】 每按一次独立键盘的S2键,与P1口相连的八个发光二极管中点亮的一个往下移动一位。 【实验说明】 关于按键去抖动的解释,我们在手动按键的时候,由于机械抖动或是其它一些非人为的因…

NR PDSCH/PUSCH支持的maxMIMO layers

这里不考虑UE支持的具体MIMO能力,仅仅讨论协议上定的maxMIMO layers。 PDSCH 根据上面38.331中的结构,PDSCH max MIMO layers 为8 layers,进行8 layers传输时 要enable two codewords,因为 one codeword只能支持4 layers传输&…

【信创】Linux系统如何配置USB存储禁用及例外 _ 统信 _ 麒麟 _ 方德

原文链接:【信创】Linux系统如何配置USB存储禁用及例外 | 统信 | 麒麟 | 方德 Hello,大家好啊!今天给大家带来一篇关于如何在Linux系统中配置USB存储禁用及例外的文章。禁用USB存储可以有效防止未经授权的人员从系统中复制数据或注入恶意软件…

CSS——盒子模型

首先CSS将所有的元素都看成一个盒子 盒子的组成: content —— 内容区域padding —— 内边距(边框与内容间的距离)border —— 边框线margin —— 外边距(盒子盒子间的距离) 这里着重说一下margin: 水平方向&#xff…

Kafka 基础与架构理解

目录 前言 Kafka 基础概念 消息队列简介:Kafka 与传统消息队列(如 RabbitMQ、ActiveMQ)的对比 Kafka 的组件 Kafka 的工作原理:消息的生产、分发、消费流程 Kafka 系统架构 Kafka 的分布式架构设计 Leader-Follower 机制与…

新品|瑞芯微RK3588工控机IPC8801适用AI算力、边缘计算、工业视觉

深圳触觉智能重磅推出旗舰级工控机IPC8801,搭载瑞芯微RK3588 ⼋核处理器;全铝紧凑机身、支持无风扇被动散热低噪音,确保设备在恶劣工业环境下稳定运行。 作为AI算力、边缘计算及工业视觉领域的高性能工控机,在国产化智能硬件与系统…

Axure PR 9 标签 设计交互

大家好,我是大明同学。 这期内容,我们将深入探讨Axure中可编辑标签元件设计与交互技巧。 可移除标签元件 创建可移除标签所需的元件 1.打开一个新的 RP 文件并在画布上打开 Page 1。 2.在元件库中拖出一个文本框元件。 3.选中文本框元件&#xff0c…

视频服务器:GB28181网络视频协议

一、前言 某项目中需要集成视频管理平台,实现分布在各省公司的摄像及接入,对视频进行统一管理。本项目中视频管理平台采用GB/T28181实现的监控设备接入管理平台,支持在开放互联网和局域网对监控设备进行远程接入、远程管理、远程调阅、录像回…

【文件包含】——日志文件注入

改变的确很难,但结果值得冒险 本文主要根据做题内容的总结,如有错误之处,还请各位师傅指正 一.伪协议的失效 当我们做到关于文件包含的题目时,常用思路其实就是使用伪协议(php:filter,data,inpput等等)执行…

【NOI-题解】1407. 图像相似度1330. 求最大梯形的面积1384. 靶心数1398. 奇偶统计

文章目录 一、前言二、问题问题:1407. 图像相似度问题:1330. 求最大梯形的面积问题:1384. 靶心数问题:1398. 奇偶统计 三、感谢 一、前言 欢迎关注本专栏《C从零基础到信奥赛入门级(CSP-J)》 本章节主要对…

优秀的安防视频监控平台应该具备怎样的视频编解码能力?

随着安防技术的飞速发展,监控平台作为保障公共安全、维护社会秩序的重要工具,其性能与效率日益成为行业关注的焦点。其中,监控平台的视频编码能力在视频监控系统中扮演着至关重要的角色,视频编码技术作为监控系统的核心组成部分&a…

200美元/月的ChatGPT Pro版上线?OpenAI草莓模型曝两周内发布,但模型表现要打个问号?

夕小瑶科技说 原创 作者 | 海野 现在看到“草莓”两个字,我已经条件反射了,已经不再是之前单纯的香香甜甜的草莓了。 一早醒来,又发生了两件“大事”: 一个是OpenAI的草莓(strawberry)被曝要提前了&#xf…

Xorbits Inference(Xinference):一款性能强大且功能全面的大模型部署与分布式推理框架

大模型部署与分布式推理框架Xinference Xinference的基本使用概述安装启动服务模型部署模型参数配置说明 API接口概述对话接口模型列表嵌入模型Rerank模型使用Xinference SDK使用OpenAI SDK 命令行工具概述启动模型引擎参数其他操作 集成LoRA启动时集成LoRA应用时集成LoRA 部署…

Stable Diffusion绘画 | ControlNet应用-Tile(分块)—tile_resample(分块-重采样)

要想使用 SD 生成高品质图片,放大增加分辨率是必不可少的环节。 tile_resample(分块-重采样) 主要是将图片切分成很多个分块,并识别每个分块的信息,最终通过特定算法把分块的信息重组起来。 能有效避免直接对一整张图片统一处理&#xff0c…