【CAP探索者指南】掌握分布式世界的三角平衡术,一致性、可用性、分区容错性大揭秘!

news2024/10/7 14:31:29

关注微信公众号 “程序员小胖” 每日技术干货,第一时间送达!

引言

在现代的微服务架构中,系统被拆分成了许多小型服务,每个服务可能有自己的数据库。这种架构带来了灵活性和可扩展性,但也引入了新的挑战,尤其是在事务管理方面。分布式事务确保了在跨多个服务的操作中,所有事务的参与者要么全部成功提交,要么在遇到错误时全部回滚,从而保持了数据的最终一致性。

CAP理论

CAP理论是分布式系统设计中的一个核心原则,它指出在分布式系统中,一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance)这三个特性无法同时完全满足。一个分布式系统只能满足这三个特性中的两个。

一致性(Consistency)

在分布式系统中,一致性意味着所有节点在同一时间看到的数据是相同的。当一个写操作完成后,所有节点在同一时间的数据完全一致,等同于所有节点拥有数据的最新版本。

可用性(Availability)

可用性强调分布式系统在任何时候都能够响应请求,即使在部分节点故障的情况下,系统也能够继续处理请求。

我们平时会看到一些 IT 公司的对外宣传,比如系统稳定性已经做到 3 个 9、4 个 9,即 99.9%、99.99%,这里的 N 个 9 就是对可用性的一个描述,叫做 SLA,即服务水平协议。比如我们说月度 99.95% 的 SLA,则意味着每个月服务出现故障的时间只能占总时间的 0.05%,如果这个月是 30 天,那么就是 21.6 分钟。

分区容错性(Partition tolerance)

当部分节点出现消息丢失或者分区故障的时候,分布式系统仍然能够继续运行,即系统容忍网络出现分区,并且在遇到某节点或网络分区之间网络不可达的情况下,仍然能够对外提供满足一致性和可用性的服务

使用场景分析

CA系统(一致性与可用性)

**场景:**需要强一致性的数据库系统,如关系型数据库 mysql。

**设计:**通过引入事务机制、两阶段提交等协议来保证一致性。在网络分区发生时,可能会牺牲一部分可用性,例如通过锁定机制来防止数据不一致。

由于严格的CA系统在分布式环境中难以实现,我们可以展示一个简化版的伪代码思路,模拟一个中心化服务,它在理想状态下提供了高可用性和强一致性。但请记住,这并不直接对应于真实的分布式系统设计。

// 简化模拟:中心化服务,模拟一致性与可用性优先
class CentralizedService {
    private Map<String, String> dataStore = new ConcurrentHashMap<>();

    // 写入数据,确保所有操作直接作用于单一存储源,保证一致性
    synchronized void put(String key, String value) {
        dataStore.put(key, value);
    }

    // 读取数据,直接从单一存储源读取,保证一致性
    String get(String key) {
        return dataStore.get(key);
    }
}

public class CADemo {
    public static void main(String[] args) {
        CentralizedService service = new CentralizedService();
        
        // 模拟写操作
        new Thread(() -> {
            service.put("exampleKey", "exampleValue");
        }).start();
        
        // 模拟读操作
        new Thread(() -> {
            try {
                Thread.sleep(100); // 确保写操作先执行
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            System.out.println(service.get("exampleKey"));
        }).start();
    }
}

CP系统(一致性与分区容错性)

**场景:**对于数据一致性要求极高的系统,如金融交易系统 (ZooKeeper,Redis(Redis配置为主从复制且采用严格一致性模式时))。

**设计:**当网络分区发生时,系统可能会拒绝服务以保证数据一致性,直到网络分区问题解决。

//1.使用zookeeper 实现分布式锁
import org.apache.zookeeper.*;
import java.util.Collections;
import java.util.List;
import java.util.concurrent.CountDownLatch;

public class DistributedLock {
    private final ZooKeeper zookeeper;
    private final String lockPath;
    private String currentLock;
    private CountDownLatch latch;

    public DistributedLock(ZooKeeper zookeeper, String lockPath) {
        this.zookeeper = zookeeper;
        this.lockPath = lockPath;
    }

    public boolean lock() throws KeeperException, InterruptedException {
        try {
            currentLock = zookeeper.create(lockPath + "/lock-", null, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
            List<String> children = zookeeper.getChildren(lockPath, false);
            Collections.sort(children);

            if (currentLock.equals(lockPath + "/" + children.get(0))) {
                // 如果当前锁是最小的,则获取锁成功
                return true;
            } else {
                // 不是最小的锁,找到比自己小1的锁并监听它
                String prevLock = lockPath + "/" + children.get(Collections.binarySearch(children, currentLock.substring(lockPath.length() + 1)) - 1);
                latch = new CountDownLatch(1);
                zookeeper.exists(prevLock, event -> {
                    if (event.getType() == Watcher.Event.EventType.NodeDeleted) {
                        latch.countDown();
                    }
                });
                latch.await(); // 阻塞等待锁释放
                return true; // 锁释放后尝试重新获取锁
            }
        } catch (KeeperException | InterruptedException e) {
            throw e;
        }
    }

    public void unlock() throws InterruptedException, KeeperException {
        zookeeper.delete(currentLock, -1);
    }
}

//2.在业务逻辑处理中,利用上面的分布式锁确保每次更新操作的原子性和一致性:
public class InventoryManager {
    public void updateStock(int quantity, String productId) throws KeeperException, InterruptedException {
        DistributedLock lock = new DistributedLock(ZKConnection.zookeeper, "/inventoryLocks");
        lock.lock(); // 获取锁
        try {
            // 这里执行实际的库存更新逻辑,例如调用数据库更新接口
            System.out.println("Updating stock for product " + productId + " by " + quantity);
            // 更新库存代码...
        } finally {
            lock.unlock(); // 操作完成后释放锁
        }
    }
}

AP系统(可用性与分区容错性)

**场景:**对可用性要求较高的系统,如Web搜索、社交网络等 (es,redis(配置为异步复制时),MongoDB(默认配置))。

**设计:**在网络分区发生时,系统继续提供服务,但可能会读到过时的数据。通过最终一致性模型来保证数据最终达到一致的状态。

代码示例:简化版分布式缓存系统(偏向AP)

// 简化的Cache接口
interface Cache {
    void put(String key, String value);
    String get(String key);
}

// 偏向AP的实现,使用HashMap模拟内存缓存
class DistributedCache implements Cache {
    private ConcurrentHashMap<String, String> cache = new ConcurrentHashMap<>();
    
    @Override
    public void put(String key, String value) {
        // 简单的写入操作
        cache.put(key, value);
    }

    @Override
    public String get(String key) {
        // 立即返回本地缓存的值,保证可用性
        return cache.get(key);
    }
    
    // 实际场景中还需考虑数据同步机制,例如使用最终一致性模型
}

public class CAPDemo {
    public static void main(String[] args) {
        DistributedCache cache = new DistributedCache();
        cache.put("key", "value");
        System.out.println(cache.get("key")); // 即使在分区情况下,也能读取到旧值,体现了可用性
    }
}

对于多数大型互联网应用的场景,结点众多、部署分散,而且现在的集群规模越来越大,所以节点故障、网络故障是常态,而且要保证服务可用性达到N个9(99.99…%),并要达到良好的响应性能来提高用户体验,因此一般都会做出 如下选择:保证P和A,舍弃C强一致,保证最终一致性。

结语

在实际应用中,系统设计者需要根据业务需求和场景特点来决定哪些特性是优先考虑的,并据此做出合理的架构决策。例如,对于需要实时数据处理和高并发访问的互联网应用,可能会倾向于选择AP模型;而对于数据准确性和一致性要求极高的金融系统,则可能会选择CP模型。同时,随着技术的发展,一些新型的分布式系统设计如BASE模型(Basically Available, Soft state, Eventual consistency)提出了对CAP理论的补充,强调了最终一致性,以适应实际应用中的灵活性需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1642168.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

高质量数据至关重要:phi-1.5论文笔记

导语 phi-系列模型是微软研究团队推出的轻量级人工智能模型&#xff0c;旨在实现“小而精”的目标&#xff0c;能够实现在低功耗设备上例如智能手机和平板电脑上部署运行。截止目前&#xff0c;已经发布到了phi-3模型&#xff0c;本系列博客将沿着最初的phi-1到phi-1.5&#x…

深入浅出 BERT

Transformer 用于学习句子中的长距离依赖关系&#xff0c;同时执行序列到序列的建模。 它通过解决可变长度输入、并行化、梯度消失或爆炸、数据规模巨大等问题&#xff0c;比其他模型表现更好。使用的注意力机制是神经架构的一部分&#xff0c;使其能够动态突出显示输入数据的…

功能测试_分类_用例_方法

总结 测试分类 按阶段分类 是否查看源代码分类 是否运行分类 是否自动化 其他分类 软件质量模型 开发模型-瀑布模型 测试过程模型 v w 测试用例八大要素 用例编号 用例标题 …

DHCPv4_CLIENT_ALLOCATING_07: 发送DHCPDECLINE消息并重新启动配置过程

测试目的&#xff1a; 验证当DOIP客户端检测到分配的IP地址已被使用时&#xff0c;能够发送DHCPDECLINE消息给服务器并重新启动配置过程。 描述&#xff1a; 本测试用例旨在模拟DOIP客户端在接收到DHCP服务器分配的IP地址后&#xff0c;通过地址解析协议&#xff08;ARP&…

华为LTC线索与回款中的线索培育工具:9格构想

在《LTC与铁三角∶从线索到回款-人民邮电.》一书中&#xff0c;说到线索的管理&#xff0c;书中的9格构想不错&#xff0c;收藏之&#xff1a; 九格构想这一工具的使用顺序依次是诊断原因、探究 影响、构想能力。 1. 诊断原因&#xff08; R1-R2-R3 &#xff09; 企业应先用…

Claude聊天机器人推出全新iOS客户端及团队专属计划

Anthropic 正在使其 Claude AI 更易于在移动设备上访问。该公司发布了适用于 iOS 的 Claude 移动应用程序,任何用户都可以免费下载。与聊天机器人的移动网络版本类似,该应用程序跨设备同步用户与 Claude 的对话,允许他们从计算机跳转到应用程序(反之亦然),而不会丢失聊天…

MATLAB数值类型

MATLAB 数值 MATLAB支持各种数字类&#xff0c;包括有符号和无符号整数以及单精度和双精度浮点数。默认情况下&#xff0c;MATLAB将所有数值存储为双精度浮点数。 您可以选择将任何数字或数字数组存储为整数或单精度数字。 所有数值类型都支持基本数组运算和数学运算。 转换…

数据结构篇其四---栈:后进先出的魔法世界

前言 栈的学习难度非常简单&#xff0c;前提是如果你学过顺序表和单链表的话&#xff0c;我直接说我的观点了&#xff0c;栈就是有限制的顺序表和单链表。 栈只允许一端进行插入删除。栈去除了各种情况复杂的插入删除&#xff0c;只允许一端插入删除的特性&#xff0c;这一种数…

Pytorch基础:torch.load_state_dict()方法在加载时不会检查类型

相关阅读 Pytorch基础https://blog.csdn.net/weixin_45791458/category_12457644.html?spm1001.2014.3001.5482 笔者在使用torch.nn.module的load_state_dict中出现了一个问题&#xff0c;一个被注册的张量在加载后居然没有变化&#xff0c;一开始以为是加载出现了问题&#…

ATTCK的优缺点分别是什么

ATT&CK(Adversarial Tactics, Techniques, and Common Knowledge)框架是一个广泛使用的资源,它提供了对网络威胁的深入洞察,特别是关于攻击者可能采取的战术、技术和程序(TTPs)。以下是ATT&CK框架的优缺点: 优点: 全面的威胁情报:ATT&CK框架详细描述了各种…

Linux基础之gcc/g++

目录 一、gcc/g的介绍 二、一个程序的翻译过程 2.1 预处理阶段 2.2 编译阶段 2.3 汇编阶段 2.4 链接阶段 三、动静态库简介 四、动静态库的优缺点 一、gcc/g的介绍 首先&#xff0c;先简单的介绍一下gcc/g。 GCC&#xff08;GNU Compiler Collection&#xff09;是一个…

MySql安装到配置-超详细版

哈喽宝子们&#xff0c;好久不见&#xff0c;大一五一有没有出去玩呀~反正我是没有出去&#xff0c;就5月1号那天晚上跟室友去看了个电影&#xff0c;然后这几天基本都在宿舍“卷”&#xff0c;其实也不是啦&#xff0c;就是学习学习&#xff0c;因为一方面&#xff0c;暑期实习…

debian10 (armbian) 配置CUPS 服务

更新apt apt-update安装相关软件 apt-get install ghostscript apt-get install dc apt-get install foomatic-db-engine apt-get install cups3.修改配置文件 nano /etc/cups/cupsd.conf Listen localhost:631改为 Listen 0.0.0.0:631 以下四段配置加入Allow All # Only li…

大模型公开可用的模型检查点或 API

文章目录 公开可用的模型检查点或 APILLaMA 变体系列大语言模型的公共 API 公开可用的模型检查点或 API 众所周知&#xff0c;大模型预训练是一项对计算资源要求极高的任务。因此&#xff0c;经过预训练的公开模型检查点&#xff08;Model Checkpoint&#xff09;对于推动大语言…

2024牛客五一集训派对day2 Groundhog Looking Dowdy 个人解题思路

前言&#xff1a; 被实验室教练要求要打的这次五一牛客的训练赛&#xff0c;这些区域赛难度的题对于大一的我来说难度实在是太高了&#xff0c;我和我的队友只写了一些非常简单的签到题&#xff0c;其他题目都没怎么看&#xff08;我们太弱了&#xff09;&#xff0c;但我可以分…

Spring Cloud学习笔记(Hystrix):execute,queue,observe,toObservable样例和特性

这是本人学习的总结&#xff0c;主要学习资料如下 - 马士兵教育 1、Overview2、execute()2.1、Overview2.2、示例 3、queue()3.1、Overview3.2、示例 4、observe()4.1、Overview4.2、示例 5、toObservable()5.1、observe()和toObservable()的区别 1、Overview 我们知道Hystrix…

一文看懂卷积神经网络CNN(1)—前馈神经网络

目录 参考资料 一、神经网络 1、人脑神经网络 2、人工神经网络 3、神经网络的发展历史 二、前馈神经网络 1、神经元 &#xff08;1&#xff09;Sigmoid型函数 ① Logistic函数 ②Tanh函数 ③两个函数形状对比 &#xff08;2&#xff09;ReLU函数 ① 带泄露的ReLU函…

vue 设置输入框只能输入数字且只能输入小数点后两位,并且不能输入减号

<el-input v-model.trim"sb.price" placeholder"现价" class"input_w3" oninput"valuevalue.replace(/[^0-9.]/g,).replace(/\.{2,}/g,.).replace(/^(\-)*(\d)\.(\d\d).*$/,$1$2.$3)"/> 嘎嘎简单、、、、、、、、、

微软如何打造数字零售力航母系列科普08 - Yobe 如何联手微软Azure,安全使用客户数据,预测客户购买行为?

Yobe 如何联手Azure&#xff0c;安全使用客户数据&#xff0c;预测客户购买行为&#xff1f; 在当今数据驱动的世界中&#xff0c;了解客户行为并有能力通过数据和分析预测客户意图是企业保持竞争力所应具备的首要优势。Yobi由Max Snow、Bill Wise和Tom Griffiths于2019年创立&…

【软考高项】三十一、成本管理4个过程

一、规划成本管理 1、定义、作用 定义&#xff1a;确定如何估算、预算、管理、监督和控制项目成本的过程作用&#xff1a;在整个项目期间为如何管理项目成本提供指南和方向 应该在项目规划阶段的早期就对成本管理工作进行规划&#xff0c;建立各成本管理过程的基本框架&…