Redlock算法实现Redis分布式锁

news2024/11/28 0:10:51

Redlock算法实现Redis分布式锁

为什么基于故障转移的实现还不够

使用 Redis 锁定资源的最简单方法是在实例中创建密钥。密钥通常是在有限的生存时间内创建的,使用 Redis 过期功能,以便最终它被释放(我们列表中的属性 2)。当客户端需要释放资源时,它会删除密钥。

从表面上看,这很好用,但有一个问题:这是我们架构中的单点故障。如果 Redis 主节点出现故障会怎样? 好吧,让我们添加一个副本!如果主站不可用,请使用它。不幸的是,这是不可行的。这样一来,我们就无法实现互斥的安全属性,因为 Redis 复制是异步的

此模型存在竞争条件:

  1. 客户端 A 获取主服务器中的锁。
  2. 在对密钥的写入传输到副本之前,主服务器崩溃。
  3. 复制副本将升级为主副本。
  4. 客户端 B 获取 A 已为其持有锁的同一资源的锁。违反安全规定!

在这里插入图片描述

如何实现单个实例的Redis分布式锁

  SET resource_name my_random_value NX PX 30000

仅在秘钥不存在时生成秘钥,并且其中的值my_random_value是全局唯一的,并设置过期时间30000ms

使用随机值是为了以安全的方式释放锁,并带有一个脚本告诉 Redis:仅当密钥存在并且存储在密钥中的值正是我期望的值时才删除密钥。这是通过以下 Lua 脚本完成的:

if redis.call("get",KEYS[1]) == ARGV[1] then
    return redis.call("del",KEYS[1])
else
    return 0
end

使用lua脚本是为了保证语句的原子性;

防止误删key为了避免删除由其他客户端创建的锁,这一点很重要。例如,客户端可能会获取锁,在超过锁有效期(密钥过期的时间)的运行时间长于某些操作时被阻止,然后删除已由其他客户端获取的锁。 仅使用 DEL 是不安全的,因为客户端可能会删除另一个客户端的锁。使用上面的脚本,每个锁都使用随机字符串进行“签名”,因此只有当它仍然是客户端尝试删除它时设置的锁才会被删除。

这个随机字符串应该是什么?我们假设它是 的 20 个字节,但您可以找到更便宜的方法来使其对您的任务足够独特。 例如,一个安全的选择是用 为 RC4 提供种子,并从中生成伪随机流。 更简单的解决方案是使用具有微秒精度的 UNIX 时间戳,将时间戳与客户端 ID 连接起来。它不那么安全,但对于大多数环境来说可能已经足够了

Redlock算法

用来实现基于多个实例的分布式锁。

锁变量由多个实例维护,即使有实例发生了故障,锁变量仍然是存在的,客户端还是可以完成锁操作。

该方案也是基于(set 加锁、Lua 脚本解锁)进行改良的,所以redis之父antirez 只描述了差异的地方,大致方案如下。

假设我们有N个Redis主节点,例如 N = 5这些节点是完全独立的,我们不使用复制或任何其他隐式协调系统,确保它们以几乎独立的方式失败

为了取到锁客户端执行以下操作:

1获取当前时间,以毫秒为单位;
2依次尝试从5个实例,使用相同的 key 和随机值(例如 UUID)获取锁。当向Redis 请求获取锁时,客户端应该设置一个请求超时时间,这个超时时间应该小于锁的失效时间。例如你的锁自动失效时间为 10 秒,则超时时间应该在 5-50 毫秒之间。这样可以防止客户端在试图与一个宕机的 Redis 节点对话时长时间处于阻塞状态。如果一个实例不可用,客户端应该尽快尝试去另外一个 Redis 实例请求获取锁;
3客户端通过当前时间减去步骤 1 记录的时间来计算获取锁使用的时间。当且仅当从大多数(N/2+1,这里是 3 个节点)的 Redis 节点都取到锁,并且获取锁使用的时间小于锁失效时间时,锁才算获取成功;
4如果取到了锁,其真正有效时间等于初始有效时间减去获取锁所使用的时间(步骤 3 计算的结果)。
5如果由于某些原因未能获得锁(无法在至少 N/2 + 1 个 Redis 实例获取锁、或获取锁的时间超过了有效时间),客户端应该在所有的 Redis 实例上进行解锁(即便某些Redis实例根本就没有加锁成功,防止某些节点获取到锁但是客户端没有得到响应而导致接下来的一段时间不能被重新获取锁)。

该方案为了解决数据不一致的问题,直接舍弃了异步复制只使用 master 节点,同时由于舍弃了 slave,为了保证可用性,引入了 N 个节点,官方建议是 5。

客户端只有在满足下面的这两个条件时,才能认为是加锁成功。

条件1:客户端从超过半数(大于等于N/2+1)的Redis实例上成功获取到了锁;

条件2:客户端获取锁的总耗时没有超过锁的有效时间。

N = 2X + 1 (N是最终部署机器数,X是容错机器数)

Redlock的实现之Redisson

Redisson 是一个在 Redis 的基础上实现的 Java 驻内存数据网格(In-Memory Data Grid)

加锁:
在这里插入图片描述

在这里插入图片描述
通过redisson新建出来的锁默认是30s过期时间
在这里插入图片描述

可重入:
在这里插入图片描述
采用hset,如果所不存在则创建锁并设置过期时间,如果key存在则锁的值递增,如果锁已存在但并非本线程则返回过期时间
续期:

额外起一个线程,定期检查线程是否还持有锁,如果有则延长过期时间。

Redisson 里面就实现了这个方案,使用“看门狗”定期检查(每1/3的锁时间检查1次),如果线程还持有锁,则刷新过期时间;

在这里插入图片描述

在这里插入图片描述
这里面初始化了一个定时器,dely 的时间是 internalLockLeaseTime/3。
在 Redisson 中,internalLockLeaseTime 是 30s,也就是每隔 10s 续期一次,每次 30s。
客户端A加锁成功,就会启动一个watch dog看门狗,他是一个后台线程,会每隔10秒检查一下,如果客户端A还持有锁key,那么就会不断的延长锁key的生存时间,默认每次续命又从30秒新开始
自动续期的lua脚本
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1286556.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

老师需要具备的能力

作为一名老师,需要具备许多能力,来有效地教授学生知识和技能。本文将从以下几个方面探讨老师所需具备的能力。 一、教学能力 教学是老师工作的核心,因此老师需要具备高超的教学能力。这包括了开展教学计划、教学设计、授课技巧和引导学生思考…

数据分享 I 各类制造业企业进入数量数据,shp/excel格式数据,覆盖2002-2019年数据,已可视化处理

随着经济的发展和社会的进步,制造业作为国民经济的重要支柱,一直保持着快速的发展态势。近年来,随着国家对制造业的大力扶持,各类制造业企业如雨后春笋般涌现出来,为经济的发展注入了新的活力。 各类制造业企业进入…

CAD画图-模型和布局区别,视图命令MV使用(用于局部放大显示)

模型和布局的图像区别 模型的图像: 是我们常编辑的cad文件,我们可以对里面内容进行编辑和测量等操作 布局的图像:为了可以更好的看到每个部件的相对位置,但对于里面的点位的标注就不行了,但可以对图像中的某些部位进行…

【多线程】-- 12 线程协作之生产者消费者问题及解决办法

多线程 9 线程协作 “生产者消费者问题” ——并非二十三种设计模式之一 9.1 生产者消费者问题 “线程通信” 应用场景:生产者和消费者问题 假设仓库中只能存放一件产品,生产者将生产出来的产品放入仓库,消费者将仓库中产品取走消费如果…

【6】PyQt信号和槽

1. 信号和槽简介 信号和槽机制是 QT 的核心机制,应用于对象之间的通信 信号和槽是用来在对象间传递数据的方法当一个特定事件发生的时候,signal会被emit出来,slot调用是用来响应相应的signal的Qt中对象已经包含了许多预定义的 signal&#…

从开发到测试,你需要掌握哪些必备测试技能?

一、为什么从开发转测试 我从2019年5月开始从一名java开发女程序猿正式转为测试开发工程师,原因除了机缘凑巧之外,当然是因为这个行业对测试工程师的要求已经越来越高,简单做些UI脚本录制和回放的自动化,参考度娘写出框架demo却不…

【ecology】通过F12抓取页面SQL

1、点击流程监控,打开浏览器的”开发者工具“(F12); 2、点击搜索,在开发者工具中找到sessionkey,复制后面的值。 3、http://58.213.83.186:8081/api/ec/dev/table/getxml?dataKey 上面的网址的IP地址修改…

变电站设计综合应用软件

产品概述 变电站设计综合应用软件,以下称为软件,是一款面向智能变电站虚拟二次回路设计和光纤回路设计的单机版桌面应用软件。软件为用户提供了直观易用、一键安装、功能齐全的轻量级的设计支撑。像常规的工具化软件一样,该软件在开始设计时需要通过新建一个项目,开启一段…

widnows 使用cprofile、gprof2dot、graphviz对python项目进行可视化性能分析

1. 运行cprofile生成python方法调用信息 pr cProfile.Profile() pr.enable() # 开始记录# 要执行的代码 res your_method()pr.disable() # 结束记录 pr.dump_stats(your/path/restats.dump) #写入dump文件 pr.print_stats() #打印 2. 安装gprof2dot和graphviz 2.1 安装gpr…

【亲测有效,超详细】收到微信小程序限期完成微信认证通知怎么处理?微信小程序年审认证都需要哪些资料?

背景:近期部分微信小程序管理员最近收到了年审认证通知如下图 微信官方通知 微信小程序认证流程 第一步:登录微信公众平台 网址:微信公众平台 第二步:登录进入后会看到年审通知弹窗,点击去年审 第二步:登…

JAVA-JVM 之Class字节码文件的组成 【下篇】

字节码 类元数据接口元数据字段元数据方法元数据属性元数据 主页传送门:📀 传送 类元数据 此部分元数据主要包含类索引(This_Class)和父类索引(Super_Class)。 类索引:指向Class字节码常量池表…

UDP数据报套接字

文章目录 DatagramSocket APIDatagramPacket API示例一: 请求响应UDP服务端UDP客户端 DatagramSocket API Socket是操作系统中的一个概念,本质上是一种特殊的文件,Socket就属于把“网卡”这个设备给抽象成了文件。往 Socket 文件中写数据,就…

Qt 中的窗口类

目录 QWidget 设置父对象 窗口位置 测试代码 窗口尺寸 窗口标题和图标 信号 槽函数 QDialog 常用API QDialog的子类 QMessageBox QFileDialog QFontDialog QFontDialog类的静态API QColorDialog 颜色类 QColor 静态API函数 测试代码 QInputDialog 静态函数…

花店小程序商城制作攻略教程分享

现如今,随着互联网的快速发展,越来越多的实体店面对客流量不足的问题。特别是对于花店来说,客流量的多少直接影响着销售额和收益。为了解决这一问题,开发一个花店小程序商城成为了不可忽视的选择。 为了开发花店小程序商城&#x…

10倍提升启动的时间?Graalvm打包Springboot+MyBatis实测

graalvm使用前后对比图 相关代码博客:https://blog.csdn.net/weixin_43914278/article/details/134446327 工具大小时间graalvm打包的exe文件84.14MB0.251秒graalvm打包的docker文件121.27MB0.253秒jar包51.34MB2.153秒 解析 文件大小: graalvm打包的Docker文件…

【数电笔记】09-逻辑代数的基本定律、常用公式

目录 说明: 逻辑代数的基本定律 1. 常量间的运算 2. 逻辑变量与常量的运算 3. 与普通代数相似的定律 4. 摩根定律(反演律) 5. 等式证明方法例题 逻辑代数的常用公式 1. 吸收律 2. 冗余律 3. 示例应用 4. 关于异或运算的一些公式 …

【深度学习笔记】08 欠拟合和过拟合

08 欠拟合和过拟合 生成数据集对模型进行训练和测试三阶多项式函数拟合(正常)线性函数拟合(欠拟合)高阶多项式函数拟合(过拟合) import math import numpy as np import torch from torch import nn from d…

动态类型语言与静态类型语言的对比与比较

编程语言可以根据类型系统和类型检查时机分为动态编程语言和静态编程语言两大类,它们在运行时的代码检查方式、变量类型的使用方式等方面有很大的区别。这一块你知道吗? 本文将为您详细讲解两种编程语言的优缺点,以及它们的应用场景。 动态编…

洗地机好用吗?口碑好的洗地机有哪些?

自从洗地机开始引入市场以来,它一直受到人们的关注。它在解放家庭清洁劳动力和提供快速方便的清洁方面表现出色,超越了多年来传统的拖把清洁方式。越来越多的人选择使用洗地机来完成家庭清洁任务。如果你也对洗地机产生了浓厚的兴趣,并想购买…

【精选】ATKCK红队评估实战靶场二 (超详细过程思路)

🍬 博主介绍👨‍🎓 博主介绍:大家好,我是 hacker-routing ,很高兴认识大家~ ✨主攻领域:【渗透领域】【应急响应】 【ATK&CK红队评估实战靶场】 【VulnHub靶场复现】【面试分析】 &#x1f…