利用etcd实现分布式锁

news2025/2/7 7:16:22

python etcd3模块的lock使用

观察lock的加解锁影响

在python中已经自带了分布式锁的实现方式,下面我们尝试一下加锁与解锁的流程

在运行该demo同时也对lock对应的key进行watch,观察其变化,注意python-etcd3在实现分布式锁的时候,采用的key需要加上prefix:
在这里插入图片描述
在这里插入图片描述

结果如下:

当获取到锁的时候value改变,当release的时候锁value为空,此时cancel掉对当前key的watch
在这里插入图片描述

使用

下面的例子中,我们在程序1中先获取分布式锁,之后启动程序2进行尝试获取锁,根据is_acquired结果可知,没有获取成功。
在这里插入图片描述

注意,这里无论try-lock的key是不是和其他程序一样,都会失败

在这里插入图片描述

因为底层判断是否获取到锁,是看同目录下自己操作的revision是不是最小。而底层的目录都是/locks

实现学习

尽管etcd3模块集成了分布式锁,但是我们可以学习一下其实现方式,从而熟悉etcd的接口,以后可以借此组合出其他的应用。

我们需要依赖etcd的如下特性:

  • lease机制,为存储的kv设置租约,当租约到期,kv失效删除,同时也支持续租

  • revision机制,每一个key带有一个revision属性,etcd每进行一次事务,对应的全局revision都会+1,因此每个key对应的revision属性值都为全局唯一,比较revision大小可以知道写操作的顺序(需要验证一下)

    如下,我们顺序进行两次put操作:

import etcd3
import json
import time
etcd = etcd3.client(host='127.0.0.1', port=2379)

print(etcd.put('demo/key1', 'doot'))
print(etcd.put('demo/key2', 'doot'))
结果如下,可以看到revision也是递增的
header {
  cluster_id: 17237436991929493444
  member_id: 9372538179322589801
  revision: 71
  raft_term: 11
}

header {
  cluster_id: 17237436991929493444
  member_id: 9372538179322589801
  revision: 72
  raft_term: 11
}

  • 在实现分布式锁时,多个程序同时枪锁,根据revision值大小依次获得锁,避免惊群效应
  • prefix机制,根据前缀目录获取该目录下所有的key以及对应的属性(key、value、revision)
  • watch机制,watch某个key或者目录,当被watch的key或者目录发生变化,客户端收到通知

实现逻辑

1、客户端连接etcd,以lock/mylock为前缀创建全局唯一的key

假设第一个client对应的key为:key = lock/mylock/uuid1

第二个client对应的key为:key = lock/mylock/uuid2

每个客户端分别为自己的key创建lease,租约的ttl取决于业务耗时,这里假设为15s

2、创建定时任务作为续租的心跳

当一个client持有锁期间了,其他客户端只能等待,为了避免等待期间租约失效,客户端需要创建一个定时任务作为心跳进行续约。

若持有锁期间client崩溃,心跳停止,key会因为租约到期而被删除,从而锁释放,避免死锁

3、client将自己全局唯一的key写入etcd

进行put操作,将1中创建的key与lease绑定写入etcd。

根据revision机制,假设两个client的put操作返回的revision分别为1,2;客户端需要记录revision用以接下来判断自己是否获得锁

4、client判断是否获得锁

client以前缀lock/mylock读取kv列表,判断自己的key的revision是否为当前列表中最小的;

如果是,认为获得锁;

如果不是,监听列表中前一个revision比自己小的key的删除事件,一旦监听到删除事件或者因lease失效而删除的事件,则自己获得锁

5、执行业务

获得锁后,操作共享资源,执行业务代码

6、释放锁

完成业务流程后,删除对应的key,释放锁。

参考

http://www.xuyasong.com/?p=1789#_ETCD-2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/646662.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

前端终止请求的三种方式(ajax、axios)

一、原生ajax终止请求 1、abort() ​ XMLHttpRequest.abort() 方法用于终止 XMLHttpRequest 对象的请求,该方法没有参数,也没有返回值。当调用该方法时,如果对应 XMLHttpRequest 对象的请求已经被发送并且正在处理中,则会中止该…

一个专科生的 Python 转行之路,虽然很难,但如今月薪1w,一切值得

一个专科生的 Python 转行之路,虽然很难,但如今月薪1w,一切值得 相信每个转 IT 的人, 大部分是兴趣驱动。然而我并不是, 只能说是不反感。一开始接触编程, 是一位同事,他会 java ,也会一点前端。 印象最深刻的一次&…

前端如何处理「并发」问题?

🐱 个人主页:不叫猫先生,公众号:前端舵手 🙋‍♂️ 作者简介:2022年度博客之星前端领域TOP 2,前端领域优质作者、阿里云专家博主,专注于前端各领域技术,共同学习共同进步…

Avalon 学习系列(四)—— 循环遍历

Avalon2 的 ms-for 绑定集齐了 ms-repeat, ms-each, ms-with 的所有功能&#xff0c; 更加好用&#xff0c; 性能也提升了很多。 Avalon 不需要 vue 或 react 那样使用 key 属性来提高性能&#xff0c;内部已经帮你搞定了。 循环数组 ms-for 循环数组示例&#xff1a; <…

运维圣经:勒索病毒应急响应指南

目录 勒索病毒简介 常见勒索病毒种类 WannaCry Globelmposter Crysis/ Dharma 攻击特点 应急响应方法指南 一. 隔离被感染的服务器/主机 二. 排查业务系统 三. 确定勒索病毒种类&#xff0c; 进行溯源分析 四. 恢复数据和业务 五. 清理加固 病毒清理及加固 感染文…

零基础也能懂的python办公自动化教程,从此上班摸鱼轻轻松松

前言 如今Python在自动化办公领域的表现越来越亮眼&#xff0c;受到了很多非IT的职场人士的推崇&#xff0c;也引得更多的人去了解、学习Python。但是很多初学者都会面临这么一个困惑&#xff1a;想把Python应用在工作中&#xff0c;却不知从何下手&#xff01;&#xff08;资…

【音视频处理】音频编码AAC详解,低码率提高音质?

大家好&#xff0c;欢迎来到停止重构的频道。 本期我们介绍音频编码格式AAC。 AAC是音频最常用的编码格式之一&#xff0c;几乎所有的播放器都支持这个编码格式。 其他音频编码格式都是类似的&#xff0c;只是某些细节存在差别&#xff0c;如压缩算法、某些音频参数存在限制…

6个ChatGPT4的最佳用途

文章目录 ChatGPT 4’s Current Limitations ChatGPT 4 的当前限制1. Crafting Complex Prompts 制作复杂的提示2. Logic Problems 逻辑问题3. Verifying GPT 3.5 Text 验证 GPT 3.5 文本4. Complex Coding 复杂编码5.Nuanced Text Transformation 细微的文本转换6. Complex Kn…

100天精通Golang(基础入门篇)——第8天:Go语言程序的流程结构和条件语句

&#x1f337; 博主 libin9iOak带您 Go to Golang Language.✨ &#x1f984; 个人主页——libin9iOak的博客&#x1f390; &#x1f433; 《面试题大全》 文章图文并茂&#x1f995;生动形象&#x1f996;简单易学&#xff01;欢迎大家来踩踩~&#x1f33a; &#x1f30a; 《I…

【Unity入门】25.零基础实现游戏Demo--神鸟大战怪兽

【Unity入门】零基础实现游戏Demo--神鸟大战怪兽 大家好&#xff0c;我是Lampard~~ 欢迎来到Unity入门系列博客&#xff0c;所学知识来自B站阿发老师~感谢 (一) 前言 经过了两个月的学习&#xff0c;我们也顺利的完成了入门课程&#xff0c;最后就用一个Demo作为我们的结课句…

动态规划算法(子序列专题1)

动态规划算法专辑之子序列问题&#xff08;1&#xff09; 本专栏将从状态定义、状态转移方程、初始化、填表顺序、返回值这五大细节来详细讲述动态规划的算法的解题思路及代码实现 一、什么是子序列 子数列&#xff0c;又称子序列&#xff0c;在数学中&#xff0c;某个序列的…

工时表:如何跟踪团队进度?

工时表可以记录考勤&#xff0c;但你知道它还能帮助你管理项目和监控团队绩效吗&#xff1f;在本文中&#xff0c;了解如何将在线时间跟踪与你的日常工作流程相结合&#xff0c;以调整你的团队并提高灵活性。 在线时间追踪与手动 传统上&#xff0c;工时表在每天或每周开始时…

基于Java企业办公自动化系统设计实现(源码+lw+部署文档+讲解等)

博主介绍&#xff1a; ✌全网粉丝30W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战 ✌ &#x1f345; 文末获取源码联系 &#x1f345; &#x1f447;&#x1f3fb; 精…

【干货分享】安卓加固原理分享

之前写过几篇ios加固的文章&#xff0c;感兴趣可以看一下。最近攒了一下收集的一些资料&#xff0c;打算简单写一下安卓加固相关的内容。今天先简单写一篇安卓加固原理的分享。 App会面临的风险 我们首先了解一下为什么需要加固&#xff0c;尤其是安卓APP&#xff0c;下面是A…

【网络攻击】面对网络攻击,我们该如何防范?

网络攻击手段的种类繁多&#xff0c;其中主要攻击手段的有钓鱼网站、恶意软件社交媒体欺诈等。在这篇文章中&#xff0c;我们将探讨这些攻击方式&#xff0c;并提供几种有效的防范方法。 一、钓鱼网站 钓鱼网站是一种欺诈行为&#xff0c;攻击者以虚假的方式获取用户的个人信息…

FPC的发展及应用,软板行业未来将持续增长

FPC系列文章目录 1.什么是FPC 2.什么是R-FPC 3&#xff0c;FPC的基材 4.FPC基材压延铜和电解铜的区别 5&#xff0c;FPC的辅材 6&#xff0c;FPC常见的四种类型 7&#xff0c;FPC的生产流程简介 8&#xff0c;R-FPC的生产流程简介 9&#xff0c;FPC的发展及应用 提示&…

【LLM GPT】大型语言模型 理解和实现

目录 1 概述1.1 发展历程1.2 预训练监督学习预训练的好处 1.3 增强式学习1.4 对训练数据的记忆1.5 更新参数1.6 AI内容检测1.7 保护隐私 1 概述 怎么学习&#xff1f;——给定输入和输出&#xff1a; 但是这样做不现实&#xff0c;因为这样输入-输出需要成对的资料&#xff0…

SpringBoot用线程池ThreadPoolTaskExecutor异步处理百万级数据

SpringBoot用线程池ThreadPoolTaskExecutor异步处理百万级数据 更多优秀文章&#xff0c;请扫码关注个人微信公众号或搜索“程序猿小杨”添加。 一、背景&#xff1a; 利用ThreadPoolTaskExecutor多线程异步批量插入&#xff0c;提高百万级数据插入效率。ThreadPoolTaskExecut…

AI+低代码:开发革命的崭新纪元!带你一文速通了解

信息技术、通信技术和计算能力的迅速发展&#xff0c;AI技术在诸多领域中掀起了一股革命浪潮&#xff0c;成为推动社会进步和发展的重要力量&#xff0c;也是许多国家和企业日益重视和投资的方向。 而全球化和技术革新的深入推进&#xff0c;传统产业对劳动力的需求逐渐减少&am…

阿里飞猪三面

&#xff08;有许多人是用青春的幸福作成功的代价的。——莫扎特&#xff09; 背景 该岗位是阿里飞猪的前端部门&#xff0c;岗位名称是node.js高级/专家开发工程师。主要负责用NodeJs作为后端技术&#xff0c;向上层Java&#xff0c;Node等业务服务&#xff0c;提供中间层基础…