【Redis】如何实现一个合格的分布式锁

news2024/11/25 23:24:52

文章目录

    • 参考
    • 1、概述
    • 2、Redis粗糙实现
    • 3、遗留问题
      • 3.1、误删情况
      • 3.2、原子性保证
      • 3.3、超时自动解决
      • 3.4、总结
    • 4、Redis实现优缺
    • 5、集群问题
      • 5.1、主从集群
      • 5.2、集群脑裂
    • 6、RedLock
    • 7、Redisson
      • 7.1、简单实现
      • 7.2、看门狗机制

参考

  1. Redisson实现Redis分布式锁的N种姿势 (qq.com)
  2. 小林coding (xiaolincoding.com)

1、概述

在多线程的环境下,为了保证一个代码块在同一时间只能由一个线程访问,Java中我们一般可以使用 synchronized 语法和 ReetrantLock 去保证,这实际上是本地锁的方式。而在如今分布式架构的热潮下,如何保证不同节点的线程同步执行呢?

实际上,对于分布式场景,我们可以使用分布式锁,分布式锁是用于分布式环境下并发控制的一种机制,用于控制某个资源在同一时刻只能被一个应用所使用。如下图所示:

img

分布式锁一般有如下的特点:

  • 互斥性: 同一时刻只能有一个线程持有锁
  • 可重入性: 同一节点上的同一个线程如果获取了锁之后能够再次获取锁
  • 锁超时:和J.U.C中的锁一样支持锁超时,防止死锁
  • 高性能和高可用: 加锁和解锁需要高效,同时也需要保证高可用,防止分布式锁失效
  • 具备阻塞和非阻塞性:能够及时从阻塞状态中被唤醒

2、Redis粗糙实现

Redis 本身可以被多个客户端共享访问,正好就是一个共享存储系统,可以用来保存分布式锁,而且 Redis 的读写性能高,可以应对高并发的锁操作场景。

Redis 的 SET 命令有个 NX 参数可以实现「key不存在才插入」,所以可以用它来实现分布式锁:

  • 如果key不存在,则显示插入成功,可以用来表示加锁成功;

  • 如果key存在,则会显示插入失败,可以用来表示加锁失败;

  • 当需要解锁时,将对应的key删除即可解锁成功;

  • 同时为了避免死锁,我们还需要加上过期时间。

针对以上过程描述,我们就可以得到一个十分粗糙的分布式锁实现:

// 尝试获得锁
if (setnx(key, 1) == 1){
    // 获得锁成功,设置过期时间
    expire(key, 30)
    try {
        //TODO 业务逻辑
    } finally {
        // 解锁
        del(key)
    }
}

但这种实现方式就是合格的分布式锁了吗?相信大家都注意到了我在说这种方式的时候,是说这种方式是一种十分粗糙的实现方式,这主要存在以下问题:

  1. 多条命令的操作是非原子性的,可能会导致死锁的产生;
  2. 存在锁误解除的可能;
  3. 业务超时自动解锁导致并发问题;
  4. 实现的分布式锁不可重入

针对上述问题,下面将会一一解决得到一个合格的分布式锁。

3、遗留问题

3.1、误删情况

在以下情况下会出现误删情况:

  • 持有锁的线程1在锁的内部出现了阻塞,导致他的锁TTL到期从而锁自动释放;
  • 此时线程2也来尝试获取锁,由于线程1已经释放了锁,所以线程2可以拿到;
  • 但是现在线程1阻塞完了,继续往下执行,要开始释放锁了;
  • 那么此时就会将属于线程2的锁释放,这就是误删别人锁的情况。

img

对应的解决方案也很简单,既然是一个线程误删了别人的锁,就相当于把别人的厕所门给误开了,那么在开门之前校验一下这扇门是不是自己关上的不就好了:

  • 在存入锁的时候,放入自己的线程标识,在删除锁的时候,判断当前这把锁是不是自己存入的;
  • 如果是,则进行删除;
  • 如果不是,则不进行删除。
// 尝试获得锁
if (setnx(key, "当前线程号") == 1){
    // 获得锁成功,设置过期时间
    expire(key, 30);
    try {
        //TODO 业务逻辑
    } finally {
        // 解锁
        if ("当前线程号".equals(get(key))) {
        	del(key);
        }
    }
}

以上便是解决误删方案的伪代码实现。

同时,这种方式也能够将分布式锁改造成可重入的分布式锁,在获取锁的时候判断一下是否是当前线程获取的锁,锁标识自增便可。

3.2、原子性保证

前面说到,SETNXEXPIRE 操作是非原子性的,那么如果 SETNX 成功,还未设置锁超时时间时,由于服务器挂掉、重启或网络问题等原因,导致 EXPIRE 命令没有执行,锁没有设置超时时间就有可能会导致死锁产生。

同时,对于上面解决的误删问题,如果以下极端情况同样会出现并发问题:

  • 假设线程1已经获取了锁,在判断标识一致之后,准备释放锁的时候,又出现了阻塞(例如JVM垃圾回收机制);
  • 于是锁的TTL到期了,自动释放了;
  • 那么现在线程2趁虚而入,拿到了一把锁;
  • 但是线程1的逻辑还没执行完,那么线程1就会执行删除锁的逻辑;
  • 但是在阻塞前线程1已经判断了标识一致,所以现在线程1把线程2的锁给误删了;
  • 那么就相当于判断标识那行代码没有起到作用;
  • 因为线程1的拿锁,判断标识,删锁,不是原子操作,所以我们要防止刚刚的情况。

img

对于Redis中并没有对应的原子性API提供给我们进行调用,但是我们可以通过Lua脚本对Redis功能进行拓展。

-- 过期时间设置
if (redis.call('setnx', KEYS[1], ARGV[1]) < 1) then 
    return 0;
end;
redis.call('expire', KEYS[1], tonumber(ARGV[2]));
return 1;

-- 删除锁
-- 比较锁中的线程标识与线程标识是否一致
if (redis.call('get', KEYS[1]) == ARGV[1]) then
    -- 一致则释放锁
    return redis.call('del', KEYS[1])
end;
return 0

以上就是原子性保证的lua脚本实现,通过Java调用call方法执行lua脚本即可通过lua脚本实现原子性操作从而解决该问题。

3.3、超时自动解决

虽然上面解决误删和原子性问题,但是如果获取锁的线程阻塞时间超过了设置的TTL,那么该自动解锁还是得自动解锁。

对于这种情况,一个简单粗暴的方法就是把过期时间设置的长长的,在设置的TTL内,能够保证我这个逻辑一定能够执行完。但是这种方式和不设置TTL一个鬼样,如果发生意外宕机之类的话,下一个线程将会阻塞很长时间,十分不优雅。

因此针对这个问题,我们可以给线程单独开一个守护线程,去检测当前线程运行情况,如果TTL即将到期,由守护线程对TTL进行续期,保证当前线程能够正确的执行完业务逻辑。

img

3.4、总结

综上所述,基于 Redis 节点实现分布式锁时,我们至少需要实现以下需求:

  • 加锁/解锁包括了读取锁变量、检查锁变量值和设置锁变量值三个操作,但需要以原子操作的方式完成;
  • 锁变量需要设置过期时间,以免客户端拿到锁后发生异常,导致锁一直无法释放出现死锁,所以,我们在 SET 命令执行时加上 EX/PX 选项,设置其过期时间;
  • 锁变量的值需要能区分来自不同客户端的加锁操作,以免在释放锁时,出现误释放操作,所以,我们使用 SET 命令设置锁变量值时,每个客户端设置的值是一个唯一值,用于标识客户端;

4、Redis实现优缺

基于 Redis 实现分布式锁的优点

  1. 性能高效。这是选择缓存实现分布式锁最核心的出发点。
  2. 实现方便。很多研发工程师选择使用 Redis 来实现分布式锁,很大成分上是因为 Redis 提供了 setnx 方法,实现分布式锁很方便。
  3. 避免单点故障。因为 Redis 是跨集群部署的,自然就避免了单点故障。

基于 Redis 实现分布式锁的缺点

  • 超时时间不好设置。如果锁的超时时间设置过长,会影响性能,如果设置的超时时间过短会保护不到共享资源。对于这种情况可以使用前面提及到的守护线程进行续期操作使得锁得过期时间得到保障;
  • Redis 主从复制模式中的数据是异步复制的,这样导致分布式锁的不可靠性。如果在 Redis 主节点获取到锁后,在没有同步到其他节点时,Redis 主节点宕机了,此时新的 Redis 主节点依然可以获取锁,所以多个应用服务就可以同时获取到锁。

5、集群问题

5.1、主从集群

为了保证 Redis 的可用性,一般采用主从方式部署。主从数据同步有异步和同步两种方式,Redis 将指令记录在本地内存 buffer 中,然后异步将 buffer 中的指令同步到从节点,从节点一边执行同步的指令流来达到和主节点一致的状态,一边向主节点反馈同步情况。

如果这个master节点由于某些原因发生了主从切换,那么就会出现锁丢失的情况:

  1. 在Redis的master节点上拿到了锁;
  2. 但是这个加锁的key还没有同步到slave节点;
  3. master故障,发生故障转移,slave节点升级为master节点;
  4. 导致锁丢失。

5.2、集群脑裂

集群脑裂指因为网络问题,导致 Redis master 节点跟 slave 节点和 sentinel 集群处于不同的网络分区,因为 sentinel 集群无法感知到 master 的存在,所以将 slave 节点提升为 master 节点,此时存在两个不同的 master 节点。Redis Cluster 集群部署方式同理。

总结来说脑裂就是由于网络问题,集群节点之间失去联系。主从数据不同步;重新平衡选举,产生两个主服务。等网络恢复,旧主节点会降级为从节点,再与新主节点进行同步复制的时候,由于会从节点会清空自己的缓冲区,所以导致之前客户端写入的数据丢失了。

当不同的客户端连接不同的 master 节点时,两个客户端可以同时拥有同一把锁。

6、RedLock

为了保证集群环境下分布式锁的可靠性,Redis 官方已经设计了一个分布式锁算法 Redlock(红锁)。

它是基于多个 Redis 节点的分布式锁,即使有节点发生了故障,锁变量仍然是存在的,客户端还是可以完成锁操作。官方推荐是至少部署 5 个 Redis 节点,而且都是主节点,它们之间没有任何关系,都是一个个孤立的节点。

Redlock 算法的基本思路,是让客户端和多个独立的 Redis 节点依次请求申请加锁,如果客户端能够和半数以上的节点成功地完成加锁操作,那么我们就认为,客户端成功地获得分布式锁,否则加锁失败

这样一来,即使有某个 Redis 节点发生故障,因为锁的数据在其他节点上也有保存,所以客户端仍然可以正常地进行锁操作,锁的数据也不会丢失。

为了取到锁,客户端应该执行以下操作:

  • 获取当前Unix时间,以毫秒为单位。
  • 依次尝试从5个实例,使用相同的key具有唯一性的value(例如UUID)获取锁。当向Redis请求获取锁时,客户端应该设置一个网络连接和响应超时时间,这个超时时间应该小于锁的失效时间。例如你的锁自动失效时间为10秒,则超时时间应该在5-50毫秒之间。这样可以避免服务器端Redis已经挂掉的情况下,客户端还在死死地等待响应结果。如果服务器端没有在规定时间内响应,客户端应该尽快尝试去另外一个Redis实例请求获取锁。
  • 客户端使用当前时间减去开始获取锁时间(步骤1记录的时间)就得到获取锁使用的时间。当且仅当从大多数N/2+1,这里是3个节点)的Redis节点都取到锁,并且使用的时间小于锁失效时间时,锁才算获取成功
  • 如果取到了锁,key的真正有效时间等于有效时间减去获取锁所使用的时间(步骤3计算的结果)。
  • 如果因为某些原因,获取锁失败(没有在至少N/2+1个Redis实例取到锁或者取锁时间已经超过了有效时间),客户端应该在所有的Redis实例上进行解锁,这是因为即便某些Redis实例根本就没有加锁成功,防止某些节点获取到锁但是客户端没有得到响应而导致接下来的一段时间不能被重新获取锁

可以看到,加锁成功要同时满足两个条件:

  1. 客户端从超过半数(大于等于N/2+1)的 Redis 节点上成功获取到了锁;
  2. 客户端从大多数节点获取锁的总耗时(t2-t1)小于锁设置的过期时间。

简单来说就是:如果有超过半数的 Redis 节点成功的获取到了锁,并且总耗时没有超过锁的有效时间,那么就是加锁成功。

7、Redisson

7.1、简单实现

Redisson 是 Redis 的 Java 客户端之一,提供了丰富的功能和高级抽象,包括分布式锁、分布式集合、分布式对象等。因此我们能够很简单的通过Redisson实现分布式锁,而不用自己造轮子。

与此同时,Redisson是支持原子性加/解锁、锁重试、可重入锁、RedLock等功能的,感兴趣的话可以自行了解。

// 获取分布式锁
RLock lock = redissonClient.getLock("myLock");

try {
    // 尝试加锁,最多等待 10 秒,加锁后的锁有效期为 30 秒
    boolean locked = lock.tryLock(10, 30, TimeUnit.SECONDS);
    if (locked) {
        // 成功获取锁,执行业务逻辑
        System.out.println("获取锁成功,执行业务逻辑...");
    } else {
        // 获取锁失败,可能是超时等待或者其他原因
        System.out.println("获取锁失败...");
    }
} catch (InterruptedException e) {
    e.printStackTrace();
} finally {
    // 释放锁
    lock.unlock();
    // 关闭 Redisson 客户端
    redissonClient.shutdown(); 
}

对了这里提一嘴,Redisson存储分布式锁是通过Hash结构进行存储的,内置的键值对是<线程标识,重入次数>,其中重入次数便可用于实现可重入机制。

7.2、看门狗机制

在 Redisson 中,看门狗机制(Watchdog)是用于维持 Redis 键的过期时间的一种机制。

通常情况下,当我们给 Redis 中的键设置过期时间后,Redis 会自动管理键的生命周期,并在键过期时通过过期删除策略对其进行处理。然而,如果 Redis 进程崩溃或者网络故障导致 Redis 服务器与客户端连接中断,那么键的过期时间可能无法得到及时删除,从而导致键仍然存在于 Redis 中。

为了解决这个问题,Redisson 引入了看门狗机制。当 Redisson 客户端为一个键设置过期时间时,它会启动一个看门狗线程,该线程会监视键的过期时间,并在过期时间快到期时自动对键进行续期操作。这样,即使因为 Redis 进程崩溃或者网络故障导致连接中断,看门狗仍然可以继续维护键的过期时间。

看门狗机制的工作原理如下:

  1. 当客户端获取分布式锁时,Redisson 会在 Redis 服务器中创建一个对应的键值对,并给这个键值对设置一个过期时间(通常是锁的持有时间);
  2. 同时,Redisson 会启动一个看门狗线程,在分布式锁的有效期内定时续期锁的过期时间;
  3. 看门狗线程会周期性地检查客户端是否还持有锁,如果持有锁,则会为锁的键值对设置新的过期时间,从而延长锁的有效期;
  4. 如果客户端在锁的有效期内未能续期,即看门狗线程无法找到对应的锁键值对,那么锁会自动过期,其他客户端就可以获取这个锁。

在Redisson中,默认续约时间是30s(可配置),即每隔30s续约一次,延长30s。

设置较短的续约时间可以更快地释放锁,但可能会增加续约的频率;较长的续约时间可以减少续约的次数,但会使得锁的有效期更长。

看门狗机制的好处是保证了在获取分布式锁后,业务逻辑可以在锁的有效期内运行,不会因为锁的过期而导致锁失效。当业务逻辑执行时间超过锁的过期时间时,看门狗线程会自动延长锁的过期时间,从而避免了锁的自动释放。

需要注意的是,看门狗线程是后台线程(守护线程),不会影响到客户端的正常业务逻辑。同时,为了避免看门狗线程过多占用 Redis 的 CPU 资源,Redisson 会动态调整看门狗的检查周期,使得看门狗线程在不影响性能的情况下维持锁的有效性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/794496.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

第六章 复合查询

第六章 复合查询 一、前言二、笛卡尔积三、多表查询1、多表查询的理解2、笛卡尔积与多表拼接3、多表查询示例&#xff08;1&#xff09;显示雇员名、雇员工资以及所在部门的名字&#xff08;2&#xff09;显示部门号为10的部门名&#xff0c;员工名和工资&#xff08;3&#xf…

力扣热门100题之缺失的第一个正数【困难】

题目描述 给你一个未排序的整数数组 nums &#xff0c;请你找出其中没有出现的最小的正整数。 请你实现时间复杂度为 O(n) 并且只使用常数级别额外空间的解决方案。 示例 1&#xff1a; 输入&#xff1a;nums [1,2,0] 输出&#xff1a;3 示例 2&#xff1a; 输入&#xff1…

Linux学习之while循环和until循环

while while的格式如下&#xff1a; while 条件表达式 do指令集 done若是条件表达式为真&#xff0c;那么才能执行do和done之间的指令集。若是第一次都不符合条件&#xff0c;就不会执行指令集。每次循环都会判断条件表达式&#xff0c;只要不符合&#xff0c;就会退出循环。…

【前端学JAVA】java的基础语法

theme: cyanosis 作为一个前端程序员&#xff0c;其发展前途是远不及后端程序员的。因此&#xff0c;只有了解后端&#xff0c;才能让自己更加具备核心竞争力。本系列教程将以一个前端程序员的角度快速学习JAVA。 新建项目 开发JAVA程序&#xff0c;我们第一步是使用IDEA新建…

VAE-根据李宏毅视频总结的最通俗理解

1.VAE的直观理解 先简单了解一下自编码器&#xff0c;也就是常说的Auto-Encoder。Auto-Encoder包括一个编码器&#xff08;Encoder&#xff09;和一个解码器&#xff08;Decoder&#xff09;。其结构如下&#xff1a; 自编码器是一种先把输入数据压缩为某种编码, 后仅通过该编…

CMU 15-445 -- Timestamp Ordering Concurrency Control - 15

CMU 15-445 -- Timestamp Ordering Concurrency Control - 15 引言Basic T/OBasic T/O ReadsBasic T/O WritesBasic T/O - Example #1Basic T/O - Example #2 Basic T/O SummaryRecoverable Schedules Optimistic Concurrency Control (OCC)OCC - ExampleSERIAL VALIDATIONOCC …

Linux:ELK:日志分析系统(使用elasticsearch集群)

原理 1. 将日志进行集中化管理&#xff08;beats&#xff09; 2. 将日志格式化&#xff08;logstash&#xff09; 将其安装在那个上面就对那个进行监控 3. 对格式化后的数据进行索引和存储&#xff08;elasticsearch&#xff09; 4. 前端数据的展示&#xff08;kibana&…

【MySQL】基本查询(表的增删查改)

目录 一、插入操作 --- insert1.1 单行指定列插入&&单行全列插入1.2 多行指定列插入&&多行全列插入1.3 插入否则更新 duplicate key update1.4 删除并替换 replace 二、查询操作 --- select2.1 基本查询2.2 where条件2.3 案例演示2.4 排序&#xff08;order by…

HDFS异构存储详解

异构存储 HDFS异构存储类型什么是异构存储异构存储类型如何让HDFS知道集群中的数据存储目录是那种类型存储介质 块存储选择策略选择策略说明选择策略的命令 案例&#xff1a;冷热温数据异构存储对应步骤 HDFS内存存储策略支持-- LAZY PERSIST介绍执行使用 HDFS异构存储类型 冷…

【代码随想录day20】二叉搜索树的最小绝对差

题目 给你一个二叉搜索树的根节点 root &#xff0c;返回 树中任意两不同节点值之间的最小差值 。 差值是一个正数&#xff0c;其数值等于两值之差的绝对值。 思路 最简单的一个思路是使用中序遍历&#xff0c;从二叉排序树中得到有序序列&#xff0c;存储到self.elem中&…

静态 链接

1、空间与地址的分配 现在的链接器空间分配的策略基本上都采用 “相似段合并” 的方式。通过将所有相同类型的 section 合并到一起&#xff0c;例如将所有输入目标文件的 .text 合并&#xff08;按顺序合并&#xff09;到输出文件的 .text 节中&#xff1b;然后&#xff0c;链接…

EasyExcel实现多sheet excel导出

EasyExcel简介 Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行&#xff0c;但是一旦并发上来后一定会OOM或 者JVM频繁的full gc。 EasyExcel是阿里巴巴开源的一个excel处理框架…

eNSP的安装【最全最详细教程】

目录 一、下载软件和插件二、VirtualBox安装步骤三、WinPcap安装步骤四、Wireshark安装步骤五、eNSP安装步骤六、eNSP测试安装eNSP可能失败的原因 一、下载软件和插件 在安装eNSP之前分别要下载三个插件&#xff1a;VirtualBox、WinPcap、Wireshark 下载软件链接&#xff1a;…

集成学习概述

集成学习 1. 集成学习概念 集成学习是解决有监督机器学习任务的一类方法,它的思路是基于多个学习算法的集成来提升预测结果,它通过多个模型的组合形成一个精度更高的模型,参与组合的模型成为弱学习器(基学习器)。训练时,使用训练集依次训练出这些弱学习器,对未知的样本…

PLC编程:关键在于模拟操作流程和实现控制

PLC编程的核心是通过程序描述流程&#xff0c;完成控制过程。因此&#xff0c;掌握PLC编程语言和基本功能实现是必要的。 PLC语言主要分为梯形图、语句和功能图。梯形图适合基本逻辑描述&#xff0c;语句表用于数据处理&#xff0c;相对较难理解。步进式功能图的状态函数描述很…

[NLP]LLaMA与LLamMA2解读

摘要 Meta最近提出了LLaMA(开放和高效的基础语言模型)模型参数包括从7B到65B等多个版本。最值得注意的是&#xff0c;LLaMA-13B的性能优于GPT-3&#xff0c;而体积却小了10倍以上&#xff0c;LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞争性。 一、引言 一般而言&#xff0…

IT 资产管理功能

ServiceDesk Plus 支持ITIL流程&#xff0c;帮助管理员制定明智的业务决策&#xff0c;在整个生命周期中跟踪所有资产的硬件和软件。 ServiceDesk Plus 中的资产管理模块包含多种功能&#xff0c;例如&#xff1a;多种扫描资产的方法&#xff1b;基于代理和无代理的方法&#…

新老联手,火花四溅?大众汽车与小鹏汽车达成长期合作框架协议

7 月 26 日资讯&#xff0c;大众汽车宣布与小鹏汽车达成长期合作框架协议&#xff0c;并在官网中正式宣布&#xff0c;大众是老牌油车领军代表&#xff0c;小鹏则是新势力中的佼佼者&#xff0c;新老强强联手&#xff0c;又会碰撞出怎样的火花呢&#xff1f; 现阶段大众计划与…

凭借一份深入解析 Java 虚拟机 HotSpot 手册,让我卷成美团架构师

前言 Java 语言已经走过了 20 多个年头&#xff0c;在此期间虽然新语言层出不穷&#xff0c;但是都没有撼动 Java 的位置。可能是历史选择了 Java&#xff0c;也可能是 Java 改变了历史&#xff0c;总之&#xff0c;Java 无疑是一门成功的编程语言。这门语言之所以能如此成功&…

MODBUS RTU转 EtherNet/IP 网关连接森兰变频器与欧姆龙系统通讯配置案例

捷米特JM-EIP-RTU&#xff08;Modbus转Ethernet/Ip&#xff09;网关&#xff0c;用于将多个 MODBUS 从站设备接入 ETHERNET/IP 主站网络&#xff0c;实现 MODBUS 转 ETHERNET/IP 功能。配上 捷米特JM-EIP-RTU网关专用的 EDS 文件,实现 ETHERNET/IP 主 站对 MODBUS 从站设备的控…