分布式系统常见理论讲解

news2024/9/9 5:26:06

分布式系统是指由多个节点通过网络进行通信和协作的系统,它具有高可用性、高扩展性、高性能等优点,但也面临着一些挑战,如数据一致性、容错性、负载均衡等。为了解决这些问题,分布式系统设计出现了一些经典的理论和方法,如 CAP 理论、BASE 理论、一致性等。

CAP 理论

CAP 理论是指一个分布式系统不可能同时满足以下三个特性:

  • 一致性(Consistency):所有节点访问同一份最新的数据副本

  • 可用性(Availability):每次请求都能获取到非错的响应,不保证获取的数据为最新数据

  • 分区容错性(Partition tolerance):系统在网络分区或故障时仍能继续提供服务

CAP 理论的含义是,在一个分布式系统中,当发生网络分区或故障时,只能在一致性和可用性之间做出权衡,不能同时保证两者。因此分布式系统的设计者需要根据不同的业务场景和需求,选择合适的架构和策略。对于需要强一致性的场景,如银行转账,可以选择 CP 架构,牺牲可用性;对于可以容忍一定程度的数据不一致的场景,如社交网络,面对庞大用户群体要保证可用性,可以选择 AP 架构,牺牲一致性。

BASE 理论

BASE 理论是对 CAP 理论的延伸和补充,它是对大规模分布式系统实践的总结,其核心思想是即使无法做到强一致性(CAP 的一致性是强一致性),但应用可以采用适当的方式来使系统达到最终一致性。BASE 是由 Basically Available(基本可用),Soft state(软状态)和 Eventually consistent(最终一致性)三个短语的缩写。

  • 基本可用(Basically Available):指分布式系统在出现故障时,仍然能够保证核心功能的可用性,但可能会降低服务质量,如响应时间、系统吞吐量等。

  • 软状态(Soft state):指分布式系统中的数据存在中间状态,并且该状态不影响系统整体可用性。软状态主要是由于数据同步存在延时而引起的。

  • 最终一致性(Eventually consistent):指分布式系统中所有节点经过一定时间后,最终能够达到一个一致的状态。最终一致性弱化了对系统实时一致性的要求,允许在特定时间内数据存在不一致。

BASE 理论是对传统事务 ACID 特性(原子性、一致性、隔离性、持久性)的反思和妥协,在牺牲强一致性的前提下,追求更高的可用性和扩展性。

一致性

一致性问题是指在分布式系统中,由于多个节点之间需要通过网络进行通信和协调,而网络本身是不可靠的,可能出现延迟、丢包、重传等现象,导致不同节点上的数据存在不一致或冲突的情况。例如,在一个分布式数据库中,如果一个客户端向一个节点写入了一个新值,而另一个客户端从另一个节点读取了旧值,就出现了一致性问题。一致性问题会影响分布式系统的正确性和可靠性,因此需要采用一些协议和算法来解决。

2PC

两阶段提交(2PC):是一种保证分布式事务强一致性的协议,它将事务的提交过程分为两个阶段:准备阶段和提交阶段。在准备阶段,事务协调者向所有参与者发送准备请求,要求它们执行事务并锁定资源,然后等待它们的响应;在提交阶段,如果协调者收到了所有参与者的同意响应,就向它们发送提交请求,要求它们释放资源并完成事务;如果协调者收到了任何一个参与者的拒绝响应或超时,就向它们发送回滚请求,要求它们释放资源并取消事务。

2PC 的优点是简单和高效,它只需要两个阶段就可以完成事务的提交或回滚,而且可以保证强一致性。2PC 的缺点是容易出现阻塞,如果协调者或参与者在第二阶段发生故障,那么其他节点就无法知道事务的最终状态,只能等待故障恢复或超时。另外 2PC 也会占用较多的资源,因为它需要在第一阶段锁定所有参与者的资源,直到第二阶段结束才释放。

3PC

三阶段提交(3PC):是对 2PC 的改进,它将事务的提交过程分为三个阶段:准备阶段、预提交阶段和提交阶段。在准备阶段,事务协调者向所有参与者发送准备请求,要求它们执行事务并锁定资源,然后等待它们的响应;在预提交阶段,如果协调者收到了所有参与者的同意响应,就向它们发送预提交请求,并进入预提交状态;如果协调者收到了任何一个参与者的拒绝响应或超时,就向它们发送回滚请求,并进入中止状态;在提交阶段,如果协调者收到了所有参与者的确认响应,就向它们发送提交请求,并进入完成状态;如果协调者收到了任何一个参与者的超时或中断消息,就向其余参与者发送回滚请求,并进入中止状态。

3PC 的优点是避免了阻塞,它通过引入一个预提交阶段来降低协调者或参与者在第二阶段发生故障的概率,并且可以在故障发生时快速地进行回滚或提交。3PC 的缺点是增加了网络开销,因为它需要多发送一轮消息,并且需要维护一个超时机制来处理异常情况。而且 3PC 也不能完全保证强一致性。

3PC 强一致性失效是因为它无法处理所有可能发生的异常情况,例如网络分区、协调者故障、参与者故障等。这些异常情况会导致不同的节点之间的信息不同步,从而造成数据或状态的不一致。如果在提交阶段,网络发生了分区,导致协调者和部分参与者与其他参与者失去联系,那么就可能出现不同的分区中有不同的提交决定。这样就会造成数据不一致。

3PC 是一种试图在保证强一致性的同时,避免阻塞和死锁的协议,但是它并不完美,它也有自己的局限性和缺陷。因此在实际的分布式系统中,很少使用 3PC 协议,而是采用其他更先进和通用的一致性算法或协议,如 Paxos 算法、Raft 算法等。这些算法或协议可以容忍任意数量的节点故障,并且可以保证线性一致性或最终一致性。

Paxos

Paxos 算法是由 Leslie Lamport 在 1989 年提出的一种分布式一致性算法,它的目标是在一个由若干个提议者(Proposer)、若干个接受者(Acceptor)和若干个学习者(Learner)组成的系统中,选择一个值作为共识结果。Paxos 算法分为两个子过程:基本 Paxos 和多数派 Paxos。

基本 Paxos 是指在一个由若干个提议者和若干个接受者组成的系统中,选择一个值作为共识结果。基本 Paxos 的过程如下:

  • 首先,每个提议者选择一个提案编号(Proposal Number)和一个提案值(Proposal Value),并向所有接受者发送 Prepare 消息;

  • 然后,每个接受者收到 Prepare 消息后,如果提案编号大于它之前看到的任何编号,就回复 Promise 消息,并承诺不再接受任何编号小于该值的提案;否则,就忽略该消息;

  • 接着,每个提议者收到多数接受者的 Promise 消息后,从中选择一个最大的已接受提案值(如果存在),作为自己的提案值,并向所有接受者发送 Accept 消息;

  • 最后,每个接受者收到 Accept 消息后,如果提案编号仍然大于等于它之前承诺的值,就回复 Accepted 消息,并接受该提案值;否则,就忽略该消息。当多数接受者都回复 Accepted 消息时,该提案值就被选为共识结果。

多数派 Paxos 是指在一个由若干个提议者、若干个接受者和若干个学习者组成的系统中,选择一个值作为共识结果。多数派 Paxos 的过程如下:

  • 首先,每个提议者选择一个提案编号和一个提案值,并向一个领导者(Leader)发送 Propose 消息;

  • 然后,领导者收集所有提议者的 Propose 消息,并从中选择一个最大的提案编号和一个任意的提案值,作为自己的提案,并向所有接受者发送 Prepare 消息;

  • 接着,每个接受者收到 Prepare 消息后,如果提案编号大于它之前看到的任何编号,就回复 Promise 消息,并承诺不再接受任何编号小于该值的提案;否则,就忽略该消息;

  • 最后,领导者收到多数接受者的 Promise 消息后,向所有学习者发送 Learn 消息,并通知它们共识结果。当多数学习者都收到 Learn 消息时,该提案值就被选为共识结果。

Paxos 算法的优点是简洁和高效,它只需要两轮消息就可以完成一个值的共识,并且可以保证线性一致性。Paxos 算法的缺点是难以理解和实现,它涉及到多个角色和多个子过程,并且需要处理各种可能发生的情况。Paxos 算法也不适用于动态变化的系统,因为它需要预先知道所有节点的数量和身份。

Raft

Raft 算法是由 Diego Ongaro 和 John Ousterhout 在 2013 年提出的一种分布式一致性算法,它的目标是在一个由若干个节点组成的系统中,选择一个领导者,并通过领导者来维护系统的状态。Raft 算法将系统分为领导者、跟随者和候选者三种角色,并且通过心跳和日志复制来维持系统的状态。

Raft 算法的过程如下:

  • 首先,所有节点都以跟随者的身份启动,如果一个跟随者在一段时间内没有收到领导者的心跳消息,就认为领导者已经失效,并转变为候选者,开始发起选举;

  • 然后,每个候选者向其他节点发送投票请求,并为自己投票,如果一个候选者收到了多数节点的投票,就成为新的领导者,并向其他节点发送心跳消息;如果一个候选者收到了另一个候选者或领导者的消息,就放弃选举,并转变为跟随者;

  • 接着,每个领导者负责接收客户端的请求,并将其作为日志条目追加到自己的日志中,然后向其他节点发送日志复制请求,要求它们将日志条目写入自己的日志中;

  • 最后,每个跟随者收到日志复制请求后,如果日志条目与自己的日志匹配,就将其写入自己的日志中,并回复确认消息;否则,就回复拒绝消息。当一个领导者收到了多数节点的确认消息后,就将该日志条目标记为已提交,并应用到自己的状态机中;然后向其他节点发送提交通知,要求它们也将该日志条目应用到自己的状态机中。

Raft 算法的优点是易于理解和实现,它将系统分为三种角色,并且通过心跳和日志复制来维持系统的状态。Raft 算法的缺点是可能存在较高的网络开销,因为它需要频繁地发送心跳消息,并且需要同步所有节点的日志。Raft 算法也不适用于高并发的场景,因为它只允许一个领导者来处理所有的请求。

Easy-Retry

在上面讲解了常见的一致性协议和算法后,博主这里介绍一个开源的分布式一致性解决方案 EasyRetry。

Easy-Retry 是一款基于 BASE 思想实现的分布式服务重试组件,旨在通过重试机制确保数据的最终一致性。它提供了控制台任务观测、可配置的重试策略、重试后执行回调以及丰富地告警配置等功能。通过这些手段,可以对异常数据进行全面监测和回放,从而在确保系统高可用性的同时,大大提升数据的一致性。

核心优势

数据持久化

对于系统中核心场景的数据安全是非常重要的保障手段, 基于内存重试策略(目前业界比较比较出名的 SpringRetry 或者 GuavaRetry 都是基于内存重试实现的)数据的持久性得不到保障, EasyRetry 提供了本地重试、服务端重试、本地重试和服务端重试相结合三种重试模式。 EasyRetry 的本地重试方案依然保留了内存重试的策略,应对短暂不可用场景下的快速补偿。服务端重试则实现了数据的持久化,支持多种数据库配置。用户可以通过控制台管理异常数据,自定义多种配置,便捷地完成数据补偿操作。

基于补偿机制保证分布式事务

在分布式系统里,我们可以使用 EasyRetry 来捕获和处理异常数据,将不同系统产生的异常数据集中到 EasyRetry 的控制台进行配置和管理。 通过 EasyRetry,我们可以自定义重试策略和触发时间。当重试任务执行成功或达到系统配置的最大执行次数时,服务端会向客户端发送回调请求。在接收到回调请求后,客户端可以指定后续动作。举例来说,当服务端发起重试达到最大请求次数但仍然失败时,客户端可以执行回滚操作,确保事务的完整性。通过灵活配置回调请求的处理方式,我们可以根据具体业务需求进行相应的处理操作。

避免重试风暴

重试操作可以更加轻量化低成本的保障数据一致性,但是带来的风险也不容忽视,那就是重试风暴。 EasyRetry 支持多种方式防止重试风暴的产生比如单机流量管控、跨集群链接管控和可视化数据管控等。

接入简单

EasyRetry 和 SpringRetry 一样的都是基于注解实现,只需要添加一个@Retryable 即完成接入,具体的接入方式可参考接入指北

配置多样化

EasyRetry 控制台提供了多样化的参数配置,包括路由策略、Id 生成模式、分区指定、退避策略、最大重试次数、告警通知等。满足用户在不同场景下的配置需求。

可扩展性

EasyRetry 预留了大量自定义场景,如重试结果处理器、自定义方法执行器、幂等 ID 生成器等模块,为用户预留了可扩展空间,可根据系统需求满足不同场景下的使用需要。

最后

最后感谢您的阅读,希望本文讲解内容能对你有所帮助。

关注公众号【waynblog】每周分享技术干货、开源项目、实战经验、高效开发工具等,您的关注将是我的更新动力!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/822278.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

阻塞队列BlockingQueue详解

一、阻塞队列介绍 1、队列 队列入队从队首开始添加,直至队尾;出队从队首出队,直至队尾,所以入队和出队的顺序是一样的 Queue接口 add(E) :在指定队列容量条件下添加元素,若成功返回true,若当前…

【C++奇遇记】初探名称空间

🎬 博客主页:博主链接 🎥 本文由 M malloc 原创,首发于 CSDN🙉 🎄 学习专栏推荐:LeetCode刷题集 数据库专栏 初阶数据结构 🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如…

Ubuntu篇——Ubuntu20.04备份成ISO镜像文件并安装到其他电脑上(完整步骤)

注意,此方法制作的镜像,仅限于相同硬件配置的电脑安装,否则可能会发生某些驱动不兼容导致无法安装的情况。(例如英伟达显卡的笔记本电脑,很大概率无法安装你在其他显卡电脑上制作的镜像。) 一、安装systemb…

设计模式行为型——命令模式

目录 什么是命令模式 命令模式的实现 命令模式角色 命令模式类图 命令模式举例 命令模式代码实现 命令模式的特点 优点 缺点 使用场景 注意事项 什么是命令模式 命令模式(Command Pattern)是一种数据驱动的设计模式,它属…

一篇关于CPU的硬核知识

不管你玩硬件还是做软件,你的世界都少不了计算机最核心的 —— CPU。 01CPU是什么? CPU与计算机的关系就相当于大脑和人的关系,它是一种小型的计算机芯片,通常嵌入在电脑的主板上。CPU的构建是通过在单个计算机芯片上放置数十亿…

iOS开发-UIScrollView嵌套tableView实现顶部tab横向切换

iOS开发-UIScrollView嵌套tableView实现顶部tab横向切换 通过ScollView嵌套两个TableView左右切换功能 一、UIScollView UIScrollView可滚动控件,这里初始化需要设置_backScollView.pagingEnabled YES; 代码如下 _backScollView [[UIScrollView alloc] initWi…

ARP协议请求

文章目录 作用请求与应答流程数据包ARP协议以太网帧协议具体应用 作用 通过 IP地址 查找 MAC地址。 请求与应答流程 A:数据发送主机 B:目标主机 目前只知道目标主机IP地址,想把数据发送过去,需要查询到目标主机的MAC地址&#x…

构建基于大模型的Autonomous Agents案例(一)

构建基于大模型的Autonomous Agents案例 1.1 Autonomous Agents原理机制 在本节中,我们将聚焦于LangChain上的自治代理(Autonomous Agents on LangChain)。自治代理是当前业界最热门的话题之一,特别是在企业级应用中。当然&#x…

关于综合能源智慧管理系统的架构及模式规划的研究

安科瑞 华楠 摘 要:探讨了国内外能源互联网的研究发展,分析了有关综合智慧能源管理系统的定位,以及系统的主要特点,研究了综合智慧能源管理系统的构架以及模式规划。 关键词:综合能源;智慧管理系统&#…

MySql操作进阶

目录 1.多表联查 1.1内连接 1.2左连接和右连接 1.3自连接 2.子查询 3.合并查询 1.多表联查 多表联查实际上就是对多张表中的数据合并在一起进行查询,具体合并多张表中的数据方式为:取笛卡尔积的方式进行合并。 但仅是以笛卡尔积的方式合并表较为…

网络安全进阶学习第九课——SQL注入介绍

文章目录 一、什么是注入二、什么是SQL注入三、SQL注入产生的原因四、SQL注入的危害五、SQL注入在渗透中的利用1、绕过登录验证:使用万能密码登录网站后台等。2、获取敏感数据3、文件系统操作4、注册表操作5、执行系统命令 六、如何挖掘SQL注入1、SQL注入漏洞分类按…

无涯教程-Lua - Arrays(数组)

数组是对象的有序排列,可以是包含行集合的一维数组,也可以是包含多行和多列的多维数组。 在Lua中,数组是使用带有整数的索引表实现的。数组的大小不是固定的,并且可以根据无涯教程的要求(取决于内存限制)来增长。 一维数组 一维…

WEB应用程序数据库防守篇之预防SQL漏洞注入

前言: 国内目前几乎市面上所有的web应用程序都使用关系型数据库来存储用户的数据信息,可以这么说,数据库是一个项目,一个互联网公司乃至国家最重要的数据中心。如果数据库被入侵成功,所引发的后果将是灾难性,无法想象…

JavaSE 【类和对象】(3)(重点:代码块、对象的打印)

目录 一、代码块 1.静态代码块 2.构造代码块/实例代码块 3.总结 代码块执行的顺序: 1.静态代码块 2.构造代码块(实例代码块) 3.执行对应的构造方法 其中:静态的只执行一次 二、 对象的打印 有一个快速打印的方法&#x…

scrapy框架简单实现豆瓣评分爬取案例

豆瓣网址:https://movie.douban.com/top250 1.创建scrapy框架 scrapy startproject 项目名(scrapy_test_one)创建好以后的目录是这样的 2.创建spider文件 在spiders目录下创建一个spider_one.py文件,可以随意命名,该文件主要是让我们进行数…

MaxPatrol SIEM 增加了一套检测供应链攻击的专业技术

我们为 MaxPatrol SIEM 信息安全事件监控系统增加了一套新的专业技术。 该产品可帮助企业防范与供应链攻击相关的威胁。 此类攻击正成为攻击者的首要目标:它们以软件开发商和供应商为目标,网络犯罪分子通过他们的产品进入最终目标的基础设施。 因此&a…

【数据结构】——线性表的相关习题

目录 题型一(顺序表的存储结构)题型二(链表的判空)题型三(单链表的建立)题型四(顺序表、单链表的插入删除) 题型一(顺序表的存储结构) 1、线性表的顺序存储结…

Framework开发的热度从未下降~

近几日,统计局也发布了就业相关数据,全国失业青年达600多万,面对此数据,我们能想到的是实际的失业人数肯定会比公布的数据要多很多,尤其是表示 “一周工作一小时以上” 也纳入了就业范围。 反观有一批Android开发在如此…

JavaWeb之HTML基础篇(一)

系列文章目录 HTML基础篇(一) 文章目录 系列文章目录HTML基础篇(一)[TOC](文章目录) 前言一、HTML简介1.1介绍1.2HTML文件的书写规范1.3 HTML标签介绍1.4 HTML常见的标签 二、CSS的简介2.1css技术介绍2.2 CSS与HTML结合的三种方式…

org.springframework.beans.factory.aot.BeanRegistrationExcludeFilter-若依二开报错(已解决)

阿丹-问题描述: 今天在复制已经拆解过后的若依system模块删除掉中间的一些东西之后,出现了一个问题。已启动就报错。报错截图如下。 问题解析: 身边不少二开若依的小伙伴都遇到了这个问题。 这个异常是因为在启动应用程序时,Sprin…