为分布式系统设计数据库

news2025/1/10 2:36:40

【squids.cn】 全网zui低价RDS,免费的迁移工具DBMotion、数据库备份工具DBTwin、SQL开发工具等

数据库设计是微服务和云原生解决方案的关键因素,因为基于微服务的架构导致了数据的分布式。数据管理不再在一个单一的过程中发生,而是可以通过多个过程来操作数据。云计算的兴起使得数据更加分布式。

为了应对这种复杂性,微服务和云原生解决方案已经出现了几种数据管理模式。在这篇文章中,我们将看到一些可以帮助我们在分布式环境中管理数据的最重要的模式。

微服务和云数据库设计的挑战 

在我们深入了解具体的数据管理模式之前,理解微服务和云数据库设计的主要挑战是很重要的:

  • 在微服务架构中,数据分布在不同的节点上。其中一些节点可能位于世界上完全不同的地理区域的不同数据中心中。在这种情况下,很难保证所有节点之间数据的一致性。在任何给定的时间点,各个节点之间的数据状态可能会有所不同。这也被称为最终一致性的问题。 

  • 由于数据是分布式的,没有像单节点单体系统中那样管理数据的中央权威。对于各种参与系统来说,使用一种机制(例如,共识算法)进行数据管理非常重要。 

  • 在微服务架构中,恶意行为者的攻击面更大,因为有多个活动部件。这意味着我们需要在构建微服务时建立更为强大的安全态势。 

  • 微服务和云的主要承诺是可伸缩性。尽管扩展应用程序过程变得更容易,但水平扩展数据库节点却并不容易。如果没有适当的可伸缩性,数据库可能会成为性能瓶颈。 

深入数据管理模式 

考虑到相关的挑战,有几种模式可用于管理微服务和云原生应用程序中的数据。这些模式的主要任务是帮助开发人员解决上述各种挑战。让我们逐一看看这些模式。

每个服务一个数据库 

顾名思义,这种模式建议每个微服务管理其自己的数据。这意味着没有其他微服务可以直接访问或操作由另一个微服务管理的数据。任何数据的交换或操作只能通过一组明确定义的API来完成。下图显示了一个每个服务一个数据库模式的例子。

图片

图1: 每个服务一个数据库模式

表面上看,这种模式似乎相当简单。当我们从一个全新的应用程序开始时,可以相对容易地实施它。然而,当我们将现有的单体应用程序迁移到微服务架构时,服务之间的划分并不是那么清晰。

大多数功能都是以一种不同系统部件非正式访问其他部件数据的方式编写的。

在使用每个服务一个数据库模式时,我们需要关注两个主要领域:

  • 为每个服务定义有界上下文 

  • 管理跨多个微服务的业务事务

共享数据库 

下一个重要的模式是共享数据库模式。尽管此模式支持微服务架构,但它通过使用可供多个微服务访问的共享数据库采取了一种更为宽松的方法。对于正在过渡到微服务架构的现有应用程序,这是一个更安全的模式,因为我们可以慢慢地发展应用程序层,而无需更改数据库设计。然而,这种方法削减了微服务的一些优势:

跨团队的开发人员需要协调表格的模式更改。当多个服务试图访问相同的数据库资源时,可能会出现运行时冲突。

CQRS 和事件溯源 

在命令查询责任分离(CQRS)模式中,应用程序监听来自其他微服务的域事件,并更新一个单独的数据库以支持视图和查询。然后,我们可以从这个单独的数据库中服务复杂的聚合查询,同时根据需要优化性能并按需扩展。

事件溯源通过将实体或聚合的状态存储为事件序列来更进一步。每当我们对对象进行更新或插入时,都会创建一个新事件并存储在事件存储中。我们可以一起使用CQRS和事件溯源来解决围绕事件处理和维护单独查询数据的许多挑战。这样,您可以根据各自的需求单独扩展写入和读取。

图片

图2: 事件溯源和CQRS一起执行

不足之处在于,对于大多数开发人员来说,这是一种不熟悉的构建应用程序的方式,并且有更多的移动部件需要管理。

Saga 模式 

Saga模式是处理跨多个微服务的业务事务的另一个解决方案。例如,在食品配送应用上下订单是一项业务事务。在Saga模式中,我们将此业务事务分解为由不同服务处理的一系列本地事务。对于每个本地事务,执行事务的服务都会发布一个事件。

事件触发另一个服务中的后续事务,并且链条持续下去,直到整个业务事务完成。如果链条中的任何特定事务失败,Saga将通过执行一系列补偿事务来回滚,以撤销所有先前事务的影响。

Saga实现有两种类型:

  • 基于编排的Saga 

  • 基于编舞的Saga

分片 

分片有助于构建云原生应用程序。它涉及将一张表的行分隔到多张不同的表中。这也被称为水平分区,但是当分区位于不同的节点上时,它们被称为分片。分片帮助我们提高数据库的读写可伸缩性。同时,它还提高了查询的性能,因为由于分片,特定的查询必须处理更少的记录。

复制 

复制是一个非常重要的数据管理模式。它涉及创建数据库的多个副本。每个副本都是相同的,并运行在不同的服务器或节点上。对一个副本所做的更改将传播到其他副本。这就是所谓的复制。有几种类型的复制方法,例如:

  • 单领导者复制

  • 多领导者复制

  • 无领导者复制

复制帮助我们实现高可用性和提高可靠性,并且它让我们扩展读取操作,因为读取请求可以转发到多个服务器。下面的图3显示了分片和复制的组合运作。

图片

图3: 使用分片和复制一起

云原生环境中数据库设计的最佳实践 

虽然这些模式可以在很大程度上解决微服务和云原生架构中的数据管理问题,但我们还需要遵循一些最佳实践以简化操作。

以下是一些最佳实践:

  • 我们必须尝试为弹性设计解决方案。这是因为在微服务架构中,故障是不可避免的,设计应适应故障,并在不中断业务的情况下从中恢复。

  • 当过渡到其中一个模式时,我们必须实施适当的迁移策略。一些常见的可以评估的策略包括模式优先与数据优先,蓝绿部署,或使用扼杀者模式。

  • 不要忽视备份和经过良好测试的灾难恢复系统。这些事情对于单节点数据库来说也很重要。然而,在分布式数据管理方法中,灾难恢复变得更为重要。

  • 在微服务或云原生应用程序中,持续监控和可观察性同样重要。例如,分片技术可能会导致不平衡的分区和热点。如果没有适当的监控解决方案,对这种情况的任何反应可能都为时已晚,并可能使业务面临风险。

结论 

我们可以得出结论,良好的数据库设计在微服务和云原生环境中绝对是至关重要的。没有适当的设计,应用程序将因分布式数据的固有复杂性而面临多个问题。存在多种数据管理模式,以帮助我们以更可靠和可扩展的方式处理数据。然而,每种模式都有自己的挑战和一组优势和劣势。没有哪种模式适合所有可能的情景,我们应该在处理了各种权衡后才选择特定的模式。

作者:Saurabh Dashora

更多内容请关注公号【云原生数据库

squids.cn,云数据库RDS,迁移工具DBMotion,云备份DBTwin等数据库生态工具。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1097694.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

VMware安装windows7系统

目录 一、准备工作 二、新建虚拟机 三、安装系统 四、win7虚拟机更改为固定/静态IP 一、准备工作 下载镜像,选择win7-x64专业版,复制ed2k链接,使用迅雷下载(非常快),其它win系统安装方法大同小异&#xff…

大模型学习路线与建议

文章目录 第一章 深度学习基础第二章 智能对话系统基础第三章 大模型基础第四章 大模型应用实践第五章 大模型实战项目 第一章 深度学习基础 深度学习基础 深度学习经典模型解析 深度学习模型优化策略解析 深度学习GPU原理与应用方法 深度学习GPU并行训练策略解析 深度学习模型…

STM32如何使用PWM?

一:PWM介绍 PWM 是 Pulse Width Modulation 的缩写,中文意思就是脉冲宽度调制,简 称脉宽调制。它是利用微处理器的数字输出来对模拟电路进行控制的一种非常有 效的技术,其控制简单、灵活和动态响应好等优点而成为电力电子技术最广…

橙河网络:国外答题问卷赚钱可靠吗?

大家好,我是橙河网络,今天聊一聊国外答题问卷赚钱可靠吗?这几年,很多人都了解到海外问卷调查这个项目,这是一个类似网络搬砖的项目,可以自己做,现实中也有很多老板选择组建工作室运营这个项目。…

看了B站上的这些课程,我飘了!

众所周知,B 站是一个神奇的网站,上面有各种各样的视频资源,可以说是包罗万象、应有尽有。很多人在上面跟着 UP 主上自习、学编程、考研,还真的能学有所成。 最近,很多小伙伴后台私信知了姐,想要一些开发、网…

软信天成:今天的企业比以往任何时候都更需要「数据编目」

在当今的组织中,数据是多样的,分布在许多不同的部门、应用系统、数据仓库和数据湖(一些在内部,其他在云中),因此,准确地知道您拥有哪些数据和它们在哪里是一个挑战。此外,另外一个挑…

Linux系统中如何开启和配置OpenGauss数据库的远程连接

文章目录 前言1. Linux 安装 openGauss2. Linux 安装cpolar3. 创建openGauss主节点端口号公网地址4. 远程连接openGauss5. 固定连接TCP公网地址6. 固定地址连接测试 前言 openGauss是一款开源关系型数据库管理系统,采用木兰宽松许可证v2发行。openGauss内核深度融合…

基于变电站自动化系统中的安全措施分析及应用

摘要:阐述变电运行中的问题,电气自动化系统与安全运行措施,包括自动控制设备的投入,电气自动 化与计算机技术相、设备数据的采集与处理、自动化系统的升级、人工智能技术的应用。 关键词:自动控制;数据采…

浅谈安科瑞多回路仪表在德国数据中心的应用

摘要:数据中心是一个聚集了大量服务器、存储设备、网络设备及配套UPS、空调等设备的IT设备场所,是实现数据信息的集中处理、存储、传输、交换和集中管理等业务的服务平台。 数据中心供电电源质量的好坏直接影响到IT设备的安全运行,因此对数据…

SQ4840EY-T1_GE3具有低导通电阻和低电压降 汽车级 N沟道功率MOSFET

SQ4840EY-T1_GE3是一款高性能的车规级电子IC芯片,它具有多种功能和特点,适用于各种电子设备和应用领域。采用了先进的工艺技术,具有高性能和稳定的特点。它采用了先进的封装技术,能够在广泛的温度范围内正常工作,适应各…

Jmeter接口自动化测试 —— Jmeter下载安装及入门

jmeter简介 Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试,它最初被设计用于Web应用测试,但后来扩展到其他测试领域。 下载 下载地址:Apache JMeter - Download Apache JMeter 安装 由于Jmeter是基于Java的…

146.LRU缓存

双向链表哈希表 class LRUCache { public://1、定义双向链表结构、容量、哈希表等LRU数据成员struct Node{int key,value;Node *left,*right;Node(int _key,int _value):key(_key),value(_value),left(NULL),right(NULL){}}*L,*R;int n;unordered_map<int,Node*> ump;//…

基于Debian12打造的LMDE 6 “Faye” 正式发布

导读LMDE 6 已正式发布&#xff0c;代号 "Faye"&#xff1b;新版本基于 Debian 12 Bookworm。 LMDE 6 已正式发布&#xff0c;代号 "Faye"&#xff1b;新版本基于 Debian 12 Bookworm。 LMDE 是 "Linux Mint Debian Edition" 的缩写&#xff0c…

进来“抄作业”!示例代码、操作手册,尽在华为云Codelabs!

1 Codelabs 简介 1.1 什么是 Codelabs&#xff1f; Codelabs 是华为云开发者工具&#xff0c;提供互动式的&#xff0c;以实践为主的教程&#xff0c;这些教程旨在指导开发者通过实际操作来学习新的编程技能、工具、框架。华为云 Codelabs 提供丰富的华为云产品代码示例/操…

2023年中国半导体检测仪器设备销售收入、产值及市场规模分析[图]

半导体测试设备是一种用于电子与通信技术领域的电子测量仪器。随着技术发展&#xff0c;半导体芯片晶体管密度越来越高&#xff0c;相关产品复杂度及集成度呈现指数级增长&#xff0c;这对于芯片设计及开发而言是前所未有的挑战&#xff0c;随着芯片开发周期的缩短&#xff0c;…

使用解构赋值简化axios返回对象属性元素的提取

axios返回的response通常都会进行一层封装&#xff0c;把响应的数据封装到了data这个对象&#xff0c;所以提取数据起来不太方便&#xff0c;往往需要res.data.xxx这样获取里面的数据&#xff0c; 具体可以参考下面的数据结构&#xff1a; 假如data的数据是下面的结构&#xf…

一个项目多个工程实现方法

一个项目中&#xff0c;往往会有多个工程&#xff0c;以便管理不同的代码。通常情况是面向不同客户或者debug调试才需要这样使用。 下面笔者通过一个简单的demo来说明一下使用方法 步骤&#xff1a; 1.增加工程&#xff0c;分别命名为&#xff1a; Client_A&#xff0c;Clien…

数据结构题型18-哈夫曼树和哈夫曼编码

文章目录 1 哈夫曼树定义2 哈夫曼树构造3 哈夫曼编码4 并查集 1 哈夫曼树定义 2 哈夫曼树构造 3 哈夫曼编码 4 并查集 暂不做补充。

Spring framework Day16:@PropertySource注解使用

前言 在开发应用程序过程中&#xff0c;经常需要使用外部的属性文件来配置应用程序的行为。Spring框架提供了PropertySource注解&#xff0c;它可以方便地加载外部的属性文件&#xff0c;并将其中定义的属性值注入到Spring配置中。使用PropertySource注解&#xff0c;我们可以…

华为OD机试【优选核酸检测点】【2022.11 Q4 新题】

图片出自&#xff1a;华为机试真题 Java 实现【优选核酸检测点】【2022.11 Q4 新题】_寻找核酸检测点java_MISAYAONE的博客-CSDN博客 首先这是一道很恶心的题目。题目信息量大&#xff0c;逻辑分支多&#xff0c;还有各种细节上的坑。 本着死磕精神&#xff0c;耗时2h&#xf…