etcd入门指南

news2025/1/21 12:22:16

目录

一.etcd的介绍和发展

1.什么是etcd

2.ecsd的发展历史

3.etcd特点

 4.使用场景

5.关键字

6.工作原理

 7.下载地址

二.将etcd部署到linux

1.etcd安装前介绍

 2.安装etcd

1. 创建并切换到下载目录

​编辑 2.下载或者解压

3切换至etcd根目录,运行查看命令ls

4.将etcd和etcdctl二进制文件复制到/usr/local/bin目录

5.查看版本

 ​编辑

6.启动

3.安装设置etcdctl版本(v2/v3)

4. 常用操作


前言

在数字化时代的浪潮中,随着大数据、云计算和微服务的飞速发展,分布式系统已成为现代软件架构的基石。在构建分布式系统的过程中,如何确保数据的一致性、可靠性和安全性成为了至关重要的问题。etcd,作为一个开源的分布式键值存储系统,凭借其强大的特性和广泛的应用场景,成为了解决这些问题的关键组件之一。

etcd不仅为开发者提供了一个简单、安全、快速和可靠的键值存储解决方案,更成为了服务发现、配置共享和领导者选举等分布式系统核心功能的基石。通过深入了解etcd的工作原理和核心特性,开发者可以更加高效地构建稳定、可扩展的分布式系统,从而推动业务的发展和技术的创新。

在本篇博客中,我们将从etcd的基本概念入手,逐步探讨其核心特性、基本使用方法以及在实际场景中的应用。无论你是初入分布式系统的新手,还是希望深入了解etcd的资深开发者,相信这篇博客都将为你提供有价值的信息和启示。让我们一同踏上etcd的学习之旅,探索分布式系统的奥秘与魅力!

一.etcd的介绍和发展

1.什么是etcd

etcd是一个高可用的分布式键值(key-value)存储系统,用于共享配置和服务发现。它基于Go语言实现,采用Raft一致性算法来确保数据在多个节点之间的强一致性。etcd最初由CoreOS公司开发,现在已经成为许多分布式系统的核心组件,如Kubernetes。

2.ecsd的发展历史

etcd的历史与发展

etcd,这个现今在分布式系统中扮演重要角色的键值存储系统,其诞生和成长的故事充满了技术和协作的魅力。从最初的设想,到如今的广泛应用,etcd的发展历程不仅见证了技术的突破,也反映了开源社区的力量和影响力。

etcd最初是由CoreOS公司开发的。在2013年6月,CoreOS向GitHub提交了etcd的第一个版本的初始代码,这一时间点标志着etcd项目的正式诞生。这个项目的设计初衷,是为了解决集群管理系统中OS升级的分布式并发控制问题,以及配置文件的存储与分发等核心挑战。etcd被设计为一个小型但功能强大的键值(key-value)数据存储服务,强调高可用性和强一致性。

etcd的出现并非偶然,它的诞生和发展与当时的技术环境紧密相连。随着云计算和大数据的兴起,分布式系统成为了处理海量数据和提供高可用服务的关键。在这样的背景下,一个能够确保数据一致性和可靠性的分布式存储系统显得尤为重要。etcd就是在这样的背景下应运而生,并迅速获得了业界的关注。

2014年6月,Kubernetes v0.4版本发布,这是一个由Google开发的容器管理平台。在这个版本中,etcd 0.2版本被用作实验核心元数据的存储服务。这一选择不仅证明了etcd在分布式存储方面的技术实力,也为etcd社区带来了飞速的发展。Kubernetes的广泛采用极大地推动了etcd的应用和普及,使得更多的开发者和企业开始关注和使用etcd。

随着时间的推移,etcd不断迭代和改进。2015年2月,etcd发布了第一个正式的稳定版本2.0。这个版本不仅修复了之前版本中的一些问题,还引入了更多的特性和优化,使得etcd更加成熟和稳定。此后,etcd社区持续发展壮大,吸引了越来越多的贡献者和使用者。

如今,etcd项目已经隶属于CNCF(Cloud Native Computing Foundation)基金会,这是一个由多家大型互联网公司共同支持的开源组织。etcd的广泛使用也证明了其在实际应用中的价值。AWS、Google、Microsoft、Alibaba等大型互联网公司都在使用etcd来构建和管理他们的分布式系统。

3.etcd特点

  • 简单的接口,通过标准的HTTP API进行调用,也可以使用官方提供的 etcdctl 操作存储的数据

  • 键值对存储。

  • 有监听机制,可以监听特定键的变化,并作出响应

 4.使用场景

  • 服务发现(Service Discovery)
  • 消息发布与订阅
  • 负载均衡
  • 分布式通知与协调
  • 分布式锁

5.关键字

Raft:etcd所采用的保证分布式系统强一致性的算法。
Node:一个Raft状态机实例。
Member: 一个etcd实例。它管理着一个Node,并且可以为客户端请求提供服务。
Cluster:由多个Member构成可以协同工作的etcd集群。
Peer:对同一个etcd集群中另外一个Member的称呼。
Client: 向etcd集群发送HTTP请求的客户端。
WAL:预写式日志,etcd用于持久化存储的日志格式。
snapshot:etcd防止WAL文件过多而设置的快照,存储etcd数据状态。
Proxy:etcd的一种模式,为etcd集群提供反向代理服务。
Leader(领导者):Raft算法中通过竞选而产生的处理所有数据提交的节点。
Follower(跟随者):竞选失败的节点作为Raft中的从属节点,为算法提供强一致性保证。
Candidate:当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始Leader竞选。
Term:某个节点成为Leader到下一次竞选开始的时间周期,称为一个Term。
Index:数据项编号。Raft中通过Term和Index来定位数据。

6.工作原理

第1部分是HTTP Server: 用于处理用户发送的API请求,以及其它etcd节点的同步与心跳信息请求
第2部分是Store:用于处理etcd支持的各类功能的事务,包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等,是etcd对用户提供的大多数API功能的具体实现
第3部分是Raft:Raft强一致性算法的具体实现,是etcd的核心
第4部分是WAL:Write Ahead Log(预写式日志),是etcd的数据存储方式。除了在内存中存有所有数据的状态以及节点的索引以外,etcd就通过WAL进行持久化存储。
在WAL中,所有的数据提交前都会事先记录日志。Snapshot是为了防止数据过多而进行的状态快照;Entry表示存储的具体日志内容

 7.下载地址

  • etcd项目地址:https://github.com/coreos/etcd/
  • etcd下载地址:https://github.com/etcd-io/etcd/releases 根据需要查找对应版本下载即可

二.将etcd部署到linux

1.etcd安装前介绍

  • etcd在生产环境中一般推荐集群方式部署
  • etcd使用的2个默认端口号:2379和2380
    2379:用于客户端通信(类似于sqlserver的1433/oracle的1521/mysql的3306)
    2380:用于与集群中的Peer通信
  • 因为etcd是go语言编写的,安装只需要下载对应的二进制文件,并放到合适的路径就行。

 2.安装etcd

1. 创建并切换到下载目录

mkdir /usr/local/mytools && cd /usr/local/mytools

 2.下载或者解压


wget https://github.com/etcd-io/etcd/releases/download/v3.4.3/etcd-v3.4.3-linux-amd64.tar.gz 

这里小编采用的是解压 

tar -zxvf etcd-v3.4.3-linux-amd64.tar.gz

 

3切换至etcd根目录,运行查看命令ls

里面会有一些文档和2个二进制文件etcd和etcdctl。etcd是server端,etcdctl是客户端

cd etcd-v3.4.3-linux-amd64 && ls

 

4.将etcd和etcdctl二进制文件复制到/usr/local/bin目录

这样系统中可以直接调用etcd/etcdctl这两个程序

cp etcd etcdctl /usr/local/bin

 

5.查看版本

etcd --version

 

6.启动

在解压的路径下启动即可

1.name表示节点名称,默认为default。

2.data-dir 保存日志和快照的目录,默认为当前工作目录default.etcd/目录下。

3.在http://localhost:2380和集群中其他节点通信。

4.在http://localhost:2379提供客户端交互。

5.heartbeat为100ms,该参数的作用是leader多久发送一次心跳到followers,默认值是100ms。

6.election为1000ms,该参数的作用是重新投票的超时时间,如果follow在该时间间隔没有收到心跳包,会触发重新投票,默认为1000ms。

7.snapshot count为10000,该参数的作用是指定有多少事务被提交时,触发截取快照保存到磁盘。

8.集群和每个节点都会生成一个uuid。

9.启动的时候会运行raft,选举出leader

3.安装设置etcdctl版本(v2/v3)

注意:etct3.4.3默认使用v3命令所以步骤7可省略,之前版本此步骤不可少,例如:v3.3.10

修改环境变量 

vi /etc/profile

# 最后一行指定etcdctl命令的版本为v3 

export ETCDCTL_API=3

# 刷新环境变量 source /etc/profile

#查看当前etcdctl的版本信息 #

v2版本命令和v3命令是不一样的,

例如: #v2查看版本号 etcdctl -version或 etcdctl -v

#v3查看版本号 etcdctl version

# 更多命令帮助可以查询 etcdctl --help  

4. 常用操作

1) 如何获取帮助

etcdctl -h
  1. put
etcdctl put /testdir/testkey "Hello world"

支持的选项包括
--ttl '0' 该键值的超时时间(单位为秒),不配置(默认为0)则永不超时
--swap-with-value value 若该键现在的值是value,则进行设置操作
--swap-with-index '0' 若该键现在的索引值是指定索引,则进行设置操作

  1. get
etcdctl get /testdir/testkey

--sort 对结果进行排序
--consistent 将请求发给主节点,保证获取内容的一致性。

  1. del
# 清空数据
etcdctl del / --prefix

#删除所有/test前缀的节点
etcdctl del /test --prefix

5)watch

#1. 增加一个key,(客户端窗口1)
etcdctl put key1 "hello"

#2. 打开一个新的客户端窗口2,监听key1的变化
etcdctl watch key1

#3. 回到窗口1,向key1 中put新值
etcdctl put key1 "hello work"

# 4. 此时可以在窗口2中看到监听输出


# 查看版本信息
curl http://127.0.0.1:2379/version

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1495787.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Docker】转存Docker容器镜像

目录 导出 拷贝到其他服务器 导入 启动被导入镜像镜像保存 加载镜像 运行测试 导出 把正在运行中的容器导出到一个文件压缩包,然后可以传输到其他服务器进行运行 #导出容器文件系统成为一个tar文件 docker export #导入tar文件,成为一个镜像 dock…

探索c++——了解c++的魅力

前言:c是一门既面向对象又面向过程的语言。 不同于java纯粹的面向对象和c纯粹的面向过程。 造成c该特性的原因是c是由本贾尼大佬在c的基础上增添语法创建出来的一门新的语言。 它既兼容了c, 身具面向过程的特性。 又有本身的面向对象的特性。 面向对象和…

golang中go build 后读取配置文件

golang打包后读取配置文件 在用go写代码的时候,为了好用经常使用go build 打包,如果我们用到了配置文件,就总是导致不能找到文件所在位置了出现bug,所以以下代码就解决了这个问题。 核心代码: file, err : exec.Look…

【打工日常】Linux实现可回滚的回收站功能

1.为什么创建可回滚的回收站功能? 为了让运维人员可以有回旋的余地,但是也要保证可以清理不需要的文件。 2.涉及到的文件安全概念? Linux的文件安全概念主要涉及到文件权限和文件系统安全两个方面。 那什么是文件权限? 在Linux系统…

第三百八十六回

文章目录 概念介绍使用方法示例代码 我们在上一章回中介绍了Snackbar Widget相关的内容,本章回中将介绍TimePickerDialog Widget.闲话休提,让我们一起Talk Flutter吧。 概念介绍 我们在这里说的TimePickerDialog是一种弹出窗口,只不过窗口的内容固定显示…

LeetCode142题:环形链表II(python3)

代码思路: 双指针的第一次相遇: 设两指针 fast,slow 指向链表头部 head 。 令 fast 每轮走 2 步,slow 每轮走 1 步。 fast 指针走过链表末端,说明链表无环,此时直接返回 null。 如果链表存在环,…

点胶缺陷视觉检测都是怎么检测的?

点胶工艺是许多工业生产中不可或缺的一环,而点胶缺陷的存在往往直接影响到产品质量。为了提升点胶工艺的品质控制,点胶缺陷的视觉检测成为了一个重要的技术手段。 一、点胶缺陷的类型 点胶缺陷主要包括胶点大小不均、位置偏移、漏点、多点等。这些缺陷如…

【Python爬虫实战】抓取省市级城市常务会议内容

🍉CSDN小墨&晓末:https://blog.csdn.net/jd1813346972 个人介绍: 研一|统计学|干货分享          擅长Python、Matlab、R等主流编程软件          累计十余项国家级比赛奖项,参与研究经费10w、40w级横向 文…

引入AndroidUSBCamera-master USB摄像头问题

1,USB摄像头地址 GitHub - jiangdongguo/AndroidUSBCamera: 🔥🔥🔥Flexible and useful UVC camera engine on Android platform, supporting multi-road cameras! 2,下载zip包 引入操作: 1,…

Cloud-Sleuth分布式链路追踪(服务跟踪)

简介 在微服务框架中,一个由客户端发起的请求在后端系统中会经过多个不同的服务节点调用来协同产生最后的请求结果,每一个前端请求都会形成一条复杂的分布式服务调用链路,链路中的任何一环出现高延时或错误都会引起整个请求最后的失败 GitHub - spring-cloud/spring-cloud-sl…

第41期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练Transformer(GPT)、人工智能生成内容(AIGC)以及大语言模型(LLM)等安全领域应用的知识。在这里,您可以找…

政安晨:【深度学习处理实践】(一)—— 卷积神经网络入门

深度学习的卷积神经网络(Convolutional Neural Network,简称CNN)是一种广泛应用于图像识别、计算机视觉和自然语言处理等领域的深度学习模型。 CNN的主要特点是它能够自动从原始数据中学习特征表示,而无需手动特征工程。这是通过…

leetcode 热题 100_合并区间

题解一: 排序:先将区间按左边界从小到大进行排序,假设排序后a区间在b区间之前,根据a区间右边界和b区间左边界的大小判断是否重叠,如果重叠则将区间合并为一个。考虑到区间完全处于另一区间内的情况,合并时应…

vue3的基本使用(1)

Vue3的基本使用(1) 初识vue31. vue3简介2. 性能提升3. 源码升级 Vue3的创建1. vue-cli创建2. vite创建 Composition API的区别(组合式)setup函数响应式数据1. ref响应式2. reactive响应式 toRefs与toRef简单介绍 初识vue3 1. vue…

阿里云一键登录(号码认证服务)

前言 用户登录原来的登录方式如下 1. 手机号验证码 2. 账号密码 运营觉得操作过于复杂, 因此想引入阿里自动登录的逻辑, 也就是号码认证服务,所以才有了这篇问文章 注: 本文只是记录Java端的实现, app端的请自行查询文档实现 官方资料 文档 : 什么是号码认证服务_号码认证服务(…

Flink学习4 - 富函数 + 数据重分区操作 + sink 操作(kafka、redis、jdbc)

1、富函数 - 函数类接口&#xff0c;可以获取运行环境的上下文&#xff0c;实现更复杂的功能 2、数据重分区操作 3、sink操作 sink - kafka 1、引入kafka的pom依赖 <dependency><groupId>org.apache.flink</groupId> <!--<artifactId>flink-conn…

【漏洞复现】网康科技 NS-ASG 应用安全网关 SQL注入漏洞(CVE-2024-2022)

免责声明&#xff1a;文章来源互联网收集整理&#xff0c;请勿利用文章内的相关技术从事非法测试&#xff0c;由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失&#xff0c;均由使用者本人负责&#xff0c;所产生的一切不良后果与文章作者无关。该…

获得店铺的所有商品API接口

使用淘宝淘口令接口的步骤通常包括&#xff1a; 注册成为淘宝开放平台的开发者&#xff1a;在淘宝开放平台网站上注册账号并完成认证。 创建应用以获取API密钥&#xff1a;在您的开发者控制台中创建一个应用&#xff0c;并获取用于API调用的密钥&#xff0c;如Client ID和Clie…

工业以太网交换机助力电力综合自动化系统卓越运行

随着电力行业不断迈向数字化和自动化时代&#xff0c;电力综合自动化系统逐渐成为实现电网智能化管理的核心。在这一复杂而庞大的系统中&#xff0c;工业以太网交换机扮演着至关重要的角色&#xff0c;连接着各种智能设备&#xff0c;实现数据的快速传输和高效管理&#xff0c;…

【python基础学习10课_面向对象、封装、继承、多态】

一、类与对象 1、类的定义 在类的里面&#xff0c;称之为方法。 在类的外面&#xff0c;称之为函数。类&#xff1a;人类&#xff0c;一个族群&#xff0c;是一个群体类的语法规则&#xff1a;class 自定义的类名():属性 -- 变量方法 -- 函数类&#xff0c;首字母大写&#x…