Golang使用etcd构建分布式锁案例

news2024/12/22 23:00:54

在本教程中,我们将学习如何使用Go和etcd构建分布式锁系统。分布式锁系统对于管理对分布式系统中共享资源的并发访问至关重要。它有助于维护一致性,防止竞争条件,并确保在任何给定时间只有一个进程独占访问资源。

我们将使用Go作为编程语言,并使用etcd作为分布式键值存储。Go的并发特性和对分布式系统的出色支持使其成为本教程的理想选择。Etcd是一种高度可靠的分布式键值存储,被许多大型系统(如Kubernetes)用于配置管理和服务发现。

在本教程结束时,你将能够构建一个分布式锁系统,Go开发人员可以使用该系统来管理对其应用程序中共享资源的访问。

环境准备

要学习本教程,你应该具备:

  • 具备Go编程语言基础知识
  • 在你的系统上安装Etcd或访问Etcd服务器
  • Go安装在你的系统上(版本1.13或更高版本)

新建Go项目

首先,让我们用必要的依赖项创建一个新的Go项目:

$ mkdir distributed-lock && cd distributed-lock
$ go mod init example.com/distributed-lock
$ go get go.etcd.io/etcd/clientv3

这将设置一个新的Go项目并下载etcd客户端库。
在这里插入图片描述

实现加锁和解锁功能

现在是时候实现Lock和Unlock函数了。我们将创建名为lock的新文件。首先导入必要的包并定义结构来保存锁信息:

package main

import (
	"context"
	"log"
	"time"

	"go.etcd.io/etcd/clientv3"
)

type DistributedLock struct {
	Key        string
	Value      string
	LeaseID    clientv3.LeaseID
	etcdClient *clientv3.Client
}

接下来,我们将实现Lock函数。该函数将执行以下步骤:

  1. 创建具有指定TTL(生存时间)的新租约
  2. 将锁键值对存入附带租约的etcd中
  3. 如果锁已被占用,则处理错误并重试
func (dl *DistributedLock) Lock(ctx context.Context, ttl int64) error {
	lease, err := dl.etcdClient.Grant(ctx, ttl)
	if err != nil {
		return err
	}

	_, err = dl.etcdClient.Put(ctx, dl.Key, dl.Value, clientv3.WithLease(lease.ID))
	if err != nil {
		return err
	}

	dl.LeaseID = lease.ID
	log.Printf("Lock acquired: %s", dl.Key)
	return nil
}
  • ctx context.Context:这是 Go 语言中用于传递上下文信息的参数,常用于控制操作的超时、取消等情况,比如在分布式环境中协调多个操作的生命周期,确保它们能按照预期执行或者在合适的时候被取消。

  • ttl int64:代表 “Time To Live”(存活时间),通常是以秒为单位的时间长度,用于指定分布式锁的有效时长,过了这个时长,锁可能会自动释放,以防止锁被长期占用导致死锁等问题。

  • 这里使用dl.etcdClient再次调用Put方法,它的作用是向etcd中写入键值对(Key-Value)。具体来说,写入的键是dl.Key(从代码推测应该是用于标识这个分布式锁的唯一键,是DistributedLock结构体中的一个字段),值是dl.Value(同样是结构体中的字段,可能是和锁相关的一些其他附属信息等)。

  • 关键的一点是通过clientv3.WithLease(lease.ID)这个选项将前面申请到的租约的ID关联到这个要写入的键值对上,意思是这个键值对的存在时长会受租约的控制,当租约到期(达到ttl设定的时间)时,etcd会自动删除这个键值对,从而实现了分布式锁的自动释放机制。和前面获取租约类似,Put操作也可能出错,所以同样进行错误判断,如果err不为空,就返回错误给调用者。

现在,让我们实现Unlock函数。该函数将执行以下步骤:

  1. 删除etcd中的锁键值对
  2. 解除租赁
func (dl *DistributedLock) Unlock(ctx context.Context) error {
	_, err := dl.etcdClient.Delete(ctx, dl.Key)
	if err != nil {
		return err
	}

	_, err = dl.etcdClient.Revoke(ctx, dl.LeaseID)
	if err != nil {
		return err
	}

	log.Printf("Lock released: %s", dl.Key)
	return nil
}

测试分布式锁

最后,让我们创建一个简单的测试应用程序来查看分布式锁的实际情况。基本上。Go文件,添加以下代码:

package main

import (
	"context"
	"fmt"
	"os"
	"time"

	"go.etcd.io/etcd/clientv3"
)

func main() {
	endpoints := []string{"localhost:2379"}

	cfg := clientv3.Config{
		Endpoints:   endpoints,
		DialTimeout: 5 * time.Second,
	}

	client, err := clientv3.New(cfg)
	if err != nil {
		fmt.Printf("Error connecting to etcd: %v", err)
		os.Exit(1)
	}
	defer client.Close()

	ctx := context.Background()
	lockKey := "my-lock"
	lockValue := "my-value"

	dl := DistributedLock{
		Key:        lockKey,
		Value:      lockValue,
		etcdClient: client,
	}

	err = dl.Lock(ctx, 10)
	if err != nil {
		fmt.Printf("Error acquiring lock: %v", err)
		os.Exit(1)
	}

	// Simulate a critical section
	time.Sleep(5 * time.Second)

	err = dl.Unlock(ctx)
	if err != nil {
		fmt.Printf("Error releasing lock: %v", err)
		os.Exit(1)
	}
}

使用以下命令运行测试应用程序:

$ go run main.go

如果一切正常,您应该看到锁在5秒睡眠后被获取和释放。

重构实现失败重试

以下是在原代码基础上添加申请锁失败重试机制的示例代码,在 Go 语言中可以使用循环结合退避策略等方式来实现,以下是一种常见的实现思路及代码示例,假设使用了time包来进行时间控制以及添加了适当的错误处理和重试次数限制等逻辑:

package main

import (
    "context"
    "fmt"
    "go.etcd.io/etcd/clientv3"
    "log"
    "time"
)

type DistributedLock struct {
    etcdClient *clientv3.Client
    Key        string
    Value      string
    LeaseID    clientv3.LeaseID
}

func (dl *DistributedLock) Lock(ctx context.Context, ttl int64) error {
    maxRetries := 3       // 最大重试次数,可根据实际情况调整
    retryDelay := 1 * time.Second // 初始重试间隔时间,可根据实际情况调整
    for retry := 0; retry < maxRetries; retry++ {
        lease, err := dl.etcdClient.Grant(ctx, ttl)
        if err!= nil {
            if retry == maxRetries-1 {
                return fmt.Errorf("failed to grant lease after %d retries: %v", maxRetries, err)
            }
            // 等待一段时间后重试,这里可以采用退避策略,比如指数退避等,此处简单使用固定间隔
            time.Sleep(retryDelay)
            continue
        }

        _, err = dl.etcdClient.Put(ctx, dl.Key, dl.Value, clientv3.WithLease(lease.ID))
        if err!= nil {
            if retry == maxRetries-1 {
                return fmt.Errorf("failed to put key-value with lease after %d retries: %v", maxRetries, err)
            }
            // 释放本次申请到的租约,避免资源浪费,虽然租约到期也会自动释放,但及时释放更好
            _, _ = dl.etcdClient.Revoke(ctx, lease.ID)
            time.Sleep(retryDelay)
            continue
        }

        dl.LeaseID = lease.ID
        log.Printf("Lock acquired: %s", dl.Key)
        return nil
    }
    return fmt.Errorf("exceeded max retries for lock acquisition")
}

出来重试部分,其他逻辑不变,这里解释第二部分重试逻辑:

  • 当租约申请成功后,尝试将键值对写入etcd并关联租约,若这个操作出现错误(err不为nil),同样有如下处理:
  • 先判断是否达到最大重试次数,如果是,返回带有详细失败信息的error告知调用者设置键值关联租约操作经过多次重试后失败以及具体错误原因。
  • 如果没达到最大重试次数,为了避免已经申请到的租约一直占用资源(虽然租约到期会自动释放,但及时主动释放更合理),调用dl.etcdClient.Revoke方法来撤销(释放)刚刚申请到的租约,然后让当前协程暂停执行retryDelay设定的时间间隔后,通过continue进入下一次循环,再次尝试整个申请锁的流程。

总结

在本教程中,我们使用Go等语言构建了简单分布式锁系统。该系统可用于远程Go开发人员管理对其应用程序中共享资源的访问,确保分布式系统中的一致性和防止竞争条件。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2257859.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

开源数据同步中间件(Dbsyncer)简单玩一下 mysql to mysql 的增量,全量配置

一、什么是Dbsyncer 1、介绍 Dbsyncer是一款开源的数据同步中间件&#xff0c;提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景&#xff0c;支持上传插件自定义同步转换业务&#xff0c;提供监控全量和增量数据统计图、应用性能预警…

element-plus的el-tree的双向绑定

el-tree改造了下 可选可取消 有默认值 不包含父级id&#xff08;也可打开注释 包含父级id&#xff09; 默认展开 点击节点也可触发选择 节点内容自定义 <template><div class"absolute"><el-scrollbar class"pall"><div class"…

微信小程序报错:http://159.75.169.224:7300不在以下 request 合法域名列表中,请参考文档

要解决此问题&#xff0c;需打开微信小程序开发者工具进行设置&#xff0c;打开详情-本地设置重新运行&#xff0c;该报错就没有啦

医疗系统国产数据库高质量发展路径探析

信息工程人员操作数据库 一、国外数据库在医疗系统中的困境 &#xff08;一&#xff09;数据分散与难以整合 在美国&#xff0c;分散式医疗服务成为癌症研究数据库优化的巨大障碍。患者先在社区接受肿瘤科医生常规检查&#xff0c;再到学术医疗中心进行尖端治疗&#xff0c;然…

C语言——验证“哥德巴赫猜想”

问题描述&#xff1a; 验证"哥德巴赫猜想" 任何一个大于2的偶数都可以表示为两个质数之和。例如&#xff0c;4可以表示为22&#xff0c;6可以表示为33&#xff0c;8可以表示为35等 //验证"哥德巴赫猜想" //任何一个大于2的偶数都可以表示为两个质数之和…

Windows平台Unity3D下RTMP播放器低延迟设计探讨

技术背景 好多开发者希望我们分享下大牛直播SDK是如何在Unity下实现低延迟的RTMP播放的&#xff0c;以下是一些降低 Unity 中 RTMP 播放器延迟的方法&#xff1a; 一、选择合适的播放插件或工具 评估和选用专业的流媒体插件 市场上有一些专门为 Unity 设计的流媒体插件&…

速通前端篇 —— CSS

找往期文章包括但不限于本期文章中不懂的知识点&#xff1a; 个人主页&#xff1a;我要学编程程(ಥ_ಥ)-CSDN博客 所属专栏&#xff1a;速通前端 目录 CSS的介绍 基本语法规范 CSS选择器 标签选择器 class选择器 id选择器 复合选择器 通配符选择器 CSS常见样式 颜…

MySQL并发控制(二):锁

只改一行语句&#xff0c;为什么锁那么多 注1&#xff1a;MySQL后面的版本可能会改变加锁策略&#xff0c; 所以这个规则只限于截止到现在的最新版本&#xff0c; 即5.x系列 注2&#xff1a;因为间隙锁在可重复读隔离级别下才有效&#xff0c; 所以本篇文章接下来的描述&#…

从零开始的使用SpringBoot和WebSocket打造实时共享文档应用

在现代应用中&#xff0c;实时协作已经成为了非常重要的功能&#xff0c;尤其是在文档编辑、聊天系统和在线编程等场景中。通过实时共享文档&#xff0c;多个用户可以同时对同一份文档进行编辑&#xff0c;并能看到其他人的编辑内容。这种功能广泛应用于 Google Docs、Notion 等…

PHP保存base64编码图片,图片有一部分是灰色块儿,原因和解决办法

文章目录 场景原因解决方案完整的代码前端代码php代码 场景 我有个需求&#xff0c;移动端h5上传多张的图片。用input file可以上传多张&#xff0c;但是现在照片体积越来越大&#xff0c;同时上传多张会因为体积过大&#xff0c;导致上传失败。如果是小程序会好很多&#xff…

vue图片之放大、缩小、1:1、刷新、左切换、全屏、右切换、左旋咋、右旋转、x轴翻转、y轴翻转

先上效果&#xff0c;代码在下面 <template><!-- 图片列表 --><div class"image-list"><img:src"imageSrc"v-for"(imageSrc, index) in images":key"index"click"openImage(index)"error"handleI…

Oracle EBS FA 如何打开关闭的资产会计期间?

用户“运行折旧”,误勾选为“关闭期间”,还有一部分资产还需要操作报废和调整,希望后台打开关闭的资产会计期 系统环境 RDBMS : 12.1.0.2.0 Oracle Applications : 12.2.9 解决方案 由官方提供SQL脚本代码如下: /*rollback120.sql - for Release 12.X only(based on r…

Hash、HASHTABLE底层原理【Redis对象篇】

&#x1f3c6; 作者简介&#xff1a;席万里 ⚡ 个人网站&#xff1a;https://dahua.bloggo.chat/ ✍️ 一名后端开发小趴菜&#xff0c;同时略懂Vue与React前端技术&#xff0c;也了解一点微信小程序开发。 &#x1f37b; 对计算机充满兴趣&#xff0c;愿意并且希望学习更多的技…

CentOS 二进制安装部署MongoDB 4.0

一、安装MongoDB 1. 下载 MongoDB 二进制文件 前往 MongoDB 官方下载页面(https://www.mongodb.com/try/download/community) 选择对应版本的 tar 包。 wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.28.tgz 2. 解压并移动至目标目录 解压文件&#xff…

Redis篇-5--原理篇4--Lua脚本

1、概述 Redis 支持使用 Lua 脚本来执行复杂的操作&#xff0c;这为 Redis 提供了更强的灵活性和性能优化能力。通过 Lua 脚本&#xff0c;你可以在服务器端执行一系列命令&#xff0c;而不需要多次往返客户端与服务器之间&#xff0c;从而减少了网络延迟并提高了效率。此外&a…

新手上路,学Go还是Python

对于新手来说&#xff0c;Go和Python都是很好的编程语言&#xff0c;它们各有特点&#xff0c;以下是详细的对比来帮助你决定先学哪一个&#xff1a; 一、语法和学习难度 Python 语法简洁易懂&#xff1a;Python以其简洁、优雅的语法而闻名&#xff0c;代码的可读性很高。例如…

OceanBase 社区版 4.0 离线方式升级bp1至bp2 指南(含避坑总结)

注&#xff1a;目前社区版对 4.0 升级 bp1至 bp2也未有完善的文档&#xff0c;本次升级中也是遇到不少坑&#xff0c;写本文也希望对OB感兴趣的可以尝试少些遇坑。 也希望对升级有更好方式建议方式的朋友一起切磋交流&#xff0c;以便再进一步完善升级方案。 第一次做OB的升级&…

python学opencv|读取图像(六)读取图像像素RGB值

【1】引言 前序已经掌握了如何获取灰度图像的像素&#xff0c;文章链接为&#xff1a; python学opencv|读取图像&#xff08;五&#xff09;读取灰度图像像素-CSDN博客 实际上像素就像一个坐标轴&#xff0c;约束了图像的大小。 但实际上我们在学习过程中&#xff0c;对于同…

Linux kill、killall、pkill 命令区别

注&#xff1a;本文为 “Linux kill、killall、pkill” 相关几篇文章合辑。 未整理去重。 kill、killall、pkill、kill -9 区别 区别 进程 ID 唯一&#xff0c;所以 kill 一次只能杀死 1 个进程&#xff0c;其他相同名称的进程仍然存在&#xff0c;而 pkill 和 killall&#…

1139: Coin-row problem

解法&#xff1a; #include <bits/stdc.h> using namespace std; const int N 1e53; int dp[N]; int main() {int n;cin>>n;for (int i1;i<n;i) cin>>dp[i];for (int i2;i<n;i) {dp[i]max(dp[i-1],dp[i-2]dp[i]);}cout<<dp[n]<<endl;retur…