架构设计(八):数据库的水平扩展和垂直扩展

news2025/3/4 14:21:35

架构设计(八):数据库的水平扩展和垂直扩展

作者:Grey

原文地址:

博客园:架构设计(八):数据库的水平扩展和垂直扩展

CSDN:架构设计(八):数据库的水平扩展和垂直扩展

数据库的扩展有两种方法:垂直扩展和水平扩展。

垂直扩展是通过提高现有机器的硬件配置(CPU、硬盘、内存等)来进行扩展。比如,如果使用的是亚马逊的 RDS ,可以得到一个超大内存的数据库服务器,所以在一台数据库服务器,就可以实现存储和处理大量的数据。但是垂直扩展也有一些严重的缺点。

  • 虽然可以在数据库服务器上增加更多的 CPU、内存等,但是有硬件的限制,如果用户数量巨大,一台服务器是不够的。

  • 单点故障的风险更大。

  • 垂直扩展的总体成本很高。如果要配置一个强大的服务器,费用是很高的。

垂直扩展的示例图如下

img

横向扩展,就是将大型数据库分离成更小、更容易管理的部分,横向扩展也被称为分片,是增加更多服务器来承载更高的访问需求,每个分片共享相同的模式,尽管每个分片上的实际数据对分片来说是独一无二的。

横向扩展的示例图如下

img

以用户ID的例子来说,用户数据是根据用户ID分配到数据库服务器的。任何时候你访问数据,都会使用一个哈希函数来寻找相应的分片,比如,可以使用取模方式来定位具体的服务器分片,利用用户ID % 4 以后的结果定位到具体的服务器。如果结果等于0,分片区0就被用来存储和获取该用户ID数据。如果结果等于1,则使用分片1。这个逻辑也适用于其他分片。

img

实施分片策略时要考虑的最重要因素是分片键的选择。分片键(称为分区键)由一列或多列组成,决定数据的分配方式。上例中,用户ID就是分片键。分片键允许你通过将数据库查询路由到正确的数据库来有效地检索和修改数据。在选择分片密钥时,最重要的标准之一是选择一个能够均匀分布数据的密钥。分片是扩展数据库的技术,但它同时也不是完美的,它为系统引入了复杂性。分片会遇到如下几个问题

问题1,重分数据

  1. 由于数据的快速增长,单个分片不能再容纳更多的数据时,就需要重分数据。

  2. 由于数据分布不均,某些分片可能比其他分片更快地经历分片耗尽。当分片耗尽发生时,需要更新分片功能并移动数据。可以利用一致性哈希来解决这个问题

问题2:热点密钥问题

即对一个特定分片的过度访问可能会导致服务器过载。为了解决这个问题,我们可能需要为每个热点密钥分配一个分片。每个分片甚至可能需要进一步划分。

问题3:分片的连接问题

一旦一个数据库在多个服务器上被分片,就很难在数据库分片间进行连接操作。一个常见的解决方法是对数据库进行去规范化,这样就可以在一个表中进行查询,将数据库分片,以支持快速增长的数据流量。同时,也可以把系统中的非关系型的功能被转移 NoSQL 数据存储,以减少数据库的负载。

参考资料

System Design Interview

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/104300.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Redis6入门到实战------ 三、常用五大数据类型(列表(List)、集合(Set)、哈希(Hash)、Zset(sorted set))

3 Redis列表(List) 3.1 简介 单键多值 Redis 列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)。 它的底层实际是个双向链表,对两端的操作性能很高&#x…

组件技术--设计--MVC模式+DAO+MySQL+jsp+servlet 简单的购物车案例

MVC模式DAOMySQLjspservlet 简单的购物车案例题外话购物车案例需求核心系统组成Javaweb项目框架基本思想核心代码DaoBookDaolistenerSessionListenerservletAddServletInitServletRemoveServletvoBook.jspbuyForm.jspshowAllBook.jspshowCart.jsptargetpom.xmlWEB-INFweb.xmlli…

python绘图——坐标轴

1. 2D坐标轴 1.1 绘制简单的曲线 import matplotlib.pyplot as plt import numpy as np xnp.linspace(-1,1,50)#-1到1中画50个点 yx**2 plt.plot(x,y,colorgreen) plt.tick_params(axisx,colorsblue) plt.tick_params(axisy,colorsred) plt.show()作图: 1.2 坐标…

游戏开发 LinkedList

inkedList底层是双向链表,一个节点挂着一个节点LinkedList不需要设定长度,不需要扩容LinkedList 的优缺点 优点 ① 往里面插入一些元素的时候不需要像ArrayList数组那样需要挪动大量的元素了,直接在链表里加入一个节点就可以了 ② 如果要不断…

【数据结构】LinkedList与双向链表

目录 一、认识集合类LinkedList 1、认识 2、构造方法 二、实现双向非循环链表 1、准备 2、方法的实现 1.遍历 2.有效节点个数 3.是否包含key 4.清空链表 5.头插法 6.尾插法 7.指定位置插入 8.删除第一次出现的key 9.删除所有的key 一、认识集合类LinkedList 1、认…

第01讲:Linux系统下Redis的安装及配置

本文所安装的Redis版本为5.0.4,请自行到官网下载,或者私信博主 前言:什么是Redis 介绍Redis之前,先了解下NoSQL (Not only SQL)不仅仅是SQL属于非关系型数据库;Redis就属于非关系型数据库传统的…

【AJAX】入门AJAX

入门AJAXAJAX概述AJAX的使用XMLHttpRequest创建XMLHttpRequest对象XMLHttpRequest对象的常用方法XMLHttpRequest对象的常用属性使用AJAX POST请求实现‘判断用户名’案例实现步骤模拟数据库表单前端代码后端程序效果展示AJAX概述 什么是AJAX? AJAX全称(…

聊聊如何利用redis实现多级缓存同步

前言 前阵子参加业务部门的技术方案评审,故事的背景是这样:业务部门上线一个专为公司高管使用的系统。这个系统技术架构形如下图 按理来说这个系统因为受众很小,可以说基本上没并发,业务也没很复杂,但就是这么一个系…

【Java】做了个 Java 简洁版身材计算

前言 (当前文章仅说明做了这个 身材计算 简洁版。) 为了参加比赛 码上掘金编程后端挑战赛 (juejin.cn)… 我选择了做一个简洁版的身材计算… 效果展示 code - juejin 地址:身材计算(Java版) - 码上掘金 完整代码 …

RK3568平台开发系列讲解(环境篇)kernel编译及打包

🚀返回专栏总目录 文章目录 一、编译步骤二、编译脚本沉淀、分享、成长,让自己和他人都能有所收获!😄 📢此方法常用于 kernel 的开发和调试,以下的方法既编译 kernel 部分时, 同时打包成 boot.img, 这样加快了我们开发的速度; 一、编译步骤 进入内核目录下, 输入…

进阶中级前端必备知识点

1、从输入url到页面显示出来发生了什么 1.DNS解析 2.TCP连接 3.发送HTTP请求 4.服务器处理请求并返回需要的数据 5.浏览器解析渲染页面 解析HTML,生成DOM树,解析CSS,生成CSSOM树 将DOM树和CSSOM树结合,生成渲染树(Render T…

智能无障碍轮椅——DX-BT05 4.0蓝牙模块

文章目录常用的蓝牙模块有哪几种?蓝牙的透传蓝牙的运行模式开发方式AT指令集开发方式AT指令集BT-05调试硬件图DX-BT05 4.0蓝牙模块介绍连接步骤:常用的几个AT指令主模式的AT指令常用的蓝牙模块有哪几种? 蓝牙主要有HC-05、HC-06、BT-04、BT-…

SpringBoot整合mybatis实现增删改查、分页查询

前提: 先搭建出最基本的SpringBoot项目 SpringBoot框架快速入门搭建Hello World,请点击下面链接:https://blog.csdn.net/KangYouWei6/article/details/127018638 一、建立数据库 /*Navicat Premium Data TransferSource Server : 本地…

搜狗SEO优化技巧,搜狗收录批量查询技巧

搜狗SEO优化技巧 首先要知道搜索引擎的搜索原理,简而言之就是蜘蛛怎么爬取你的新网站,一般新的企业网站蜘蛛采取的是横向抓取,先收录首页,然后栏目页、子网页,这样一级一级的往下走,建网站用com域名。新…

设计测试用例的方法

设计测试用例的方法有很多,等价类划分法是重点,边界值分析法次之,对于因果图法知道概念就行,老师说考试不会考,但是历年考试中貌似考过一次,这就不知道了,反正考试大题基本课本例题,…

(十八)Vue之生命周期

文章目录引出生命周期外部的定时器实现生命周期实现生命周期详解挂载流程更新流程销毁流程总结Vue学习目录 上一篇:(十七)Vue之自定义指令 引出生命周期 先看一个需求:一上来就让一段文字的透明度循环从1-0-1的过程&#xff0c…

Fabric.js 文本自动换行的实现方式

本文简介 点赞 关注 收藏 学会了 在 fabric.js 提供的文本组件中,默认状态是不会自动换行。如果你的使用场景中需要自动文本自动换行,可以使用 Textbox ,并将 splitByGrapheme 设置为 true 即可。 文本自动换行 如果需要实现本文自动换行…

盘点:保护企业数据安全的10种方法

即便是大型企业也无法防止网络攻击导致的数据泄露,但有多种保护数据安全的方法。 许多公司谨慎处理敏感信息,包括客户个人信息、企业财务记录和账户,以及企业暂时不想泄露的绝密项目,保持数据的安全至关重要。 全球知名企业发生了…

Java(十五)----Stream流

1 Stream流 1.1 Stream流的优势 Java8中有两大最为重要的改变。第一个是 Lambda 表达式;另外一个则是 Stream API。 Stream API ( java.util.stream) 把真正的函数式编程风格引入到Java中。这是目前为止对Java类库最好的补充,因为Stream API可以极大提…

11 深入了解InnoDB引擎

1. Innodb逻辑存储结构 表空间:ibd文件段segment:区extent:一个区大小为1m,里面有64个page页;为了保证页的连续性innodb会一次从磁盘申请4-5个区页page:一个page页大小为默认为16k行row:Trx id、…