2023.12.16 关于 分布式系统 基本介绍

news2024/11/29 3:58:59

目录

单机架构

服务器负载过高问题

解决方法

分布式系统

引入更多的服务器节点

负载均衡 

数据库读写分离

引入缓存

数据库分库分表 

引入微服务 

基本概念

应用(Application)/ 系统(System) 

模块(Module)/组件(Component)

分布式(Distributed)

集群(Cluster)

主(Master)/从(Slave)

中间件(Middleware)

评价指标(Metric)

可用性(Availability)

响应时长(Response Time RT)

吞吐(Throughput)VS 并发(Concurrent)

分布式小结


单机架构

  • 只有一台服务器,该服务器负责所有工作

实例理解

  • 此处假定是一个电商网站

  • 此处的应用服务,就是写的服务器程序(如 Java Spring 写的 HTTP 服务器)
  • 数据库服务 如 MySQL
  • MySQL 是一个客户端服务器结构的程序,本体是 MySQL 服务器(存储和组织数据的部分)

注意:

  • 绝大多数公司的产品,都是这种单机架构
  • 随着计算机硬件性能飞速发展,单台主机的性能也非常高,足以支持非常高的并发 和 非常大的数据存储

服务器负载过高问题

  • 如果业务进一步增长,用户数量和数据量均水涨船高,一台主机难以应付的时候,就需要引入更多的硬件资源,引入更多的主机
  • 一台主机的硬件资源是有上限的,包括 CPU、内存、硬盘、网络等
  • 服务器每收到一个请求,都需消耗上述的资源
  • 如果同一时刻,处理的请求多了,此时就可能会导致某个硬件资源 不够用
  • 无论是哪个方面不够用了,都可能会导致服务器处理请求的时间边长,甚至处理出错的问题

解决方法

节流

  • 软件上优化,通过性能测试,找到哪个环节出现了瓶颈,再对症下药
  • 该方式对 程序员水平要求高

开源

  • 简单粗暴,直接增加更多的硬件资源
  • 当然一台主机上能增加的硬件资源也是有限的,取决于主板的扩展能力
  • 当 一台主机扩展到极限 还不够用的情况下,便只能引入多台主机了
  • 不是说新的机器买来就直接可以解决问题了,也需要软件上做出对应的调整和适配
  • 一旦引入了多台主机了,咱们的系统就可以称之为是 分布式系统

注意:

  • 引入分布式,必须是万不得已的
  • 因为系统的复杂程度会大大增加,即出现 bug 的概率也会更高

分布式系统

  • 多台不同的服务器中部署不同的服务模块

实例理解

  • 此处假定是一个电商网站

  • 应用服务器,里面可能会包含很多的业务逻辑,可能会吃 CPU 和 内存
  • 数据库服务器,需要更大的硬盘空间,更快的数据访问速度,可以配置更大的硬盘服务器,甚至还可以上 固态硬盘

注意:

  • 此处我们可以针对不同服务器的特点,来配置不同硬件类型的机器,从而可以达到更高的性价比

引入更多的服务器节点

  • 应用服务器是比较吃 CPU 和 内存 的
  • 如果把 CPU 或者 内存 吃没了,此时应用服务器就顶不住了
  • 则需引入更多的应用服务器,来有效解决上述问题

注意:

  • 当机器变多了,管理成本 和 出现问题的概率也会随之提高!

实例理解

  • 此处假定是一个电商网站
  • Scale Out 译为横向扩展

  • 用户的请求先到达 负载均衡器/网关服务器(单独的服务器)
  • 假设有 1W 个用户请求,有2 个应用服务器,此时按照负载均衡的方式,就可以让每个应用服务器承担 5k 的访问量

负载均衡 

  • 负载均衡器的主要功能是将外部发送来的请求均匀分配到多个应用服务器上
  • 而应用服务器需要根据请求执行相应的业务逻辑
  • 所以 负载均衡器对于请求量的承担能力,要远超过应用服务器

注意:

  • 如果请求量大到连负载均衡器也扛不住了的话,引入更多的负载均衡器即可

数据库读写分离

  • 虽然增加 应用服务器 确实能够处理更高的请求量
  • 但是与此同时 存储服务器 要承担的请求量也会变得更多
  • 所以我们可以引入更多的 存储服务器

实例理解

  • 此处假定是一个电商网站

  • 在实际的应用场景中,读的频率是比写要高的!
  • 主服务器一般是一个,从服务器可以有多个(一主多从)
  • 同时数据库通过负载均衡的方式,让应用服务器进行访问

引入缓存

  • 数据库天然有个问题,响应速度比较慢的(读硬盘)
  • 把数据区分 冷热 ,热点数据放到缓存中,缓存的访问速度往往比数据库要快很多
  • 热点数据 即会频繁访问到的数据
  • 二八原则,即 20% 的数据,能够支持 80% 的访问量

实例理解

  • 此处假定是一个电商网站

注意:

  • 此处 Redis 便可作为缓存服务器

数据库分库分表 

  • 引入分布式系统,不光要能够应对更高的请求量(并发量),同时也要能够应对更大的数据量
  • 所以可能会出现 一台主机无法存下全部数据的情况,引入多台主机存储即可

实例理解

  • 此处假定是一个电商网站

  • 由原来的 一个数据库服务器,即 数据库服务器上有多个数据库(database)
  • 转变为 引入多个数据库服务器,每个数据库服务器存储一个或一部分数据库(database)

注意:

  • 如果某个表特别大,大到一台主机存不下,也可以针对表进行拆分
  • 具体分库分表如何实践,还是要结合实际的业务场景来展开

引入微服务 

  • 之前应用服务器,一个服务器程序里面做了很多的业务
  • 这就可能导致这一个服务器的代码变得越来越复杂
  • 为了更方便与代码的维护,就可以把这样的一个复杂的服务器,拆分成更多的,功能单一的,但是更小的服务器(微服务)
  • 而且随着服务种类和数量增加,我们可以根据业务需求,灵活地调整每个微服务的规模和配置

实例理解

  • 此处假定是一个电商网站

注意:

  • 当应用服务器复杂了,势必就需要更多的人来维护了
  • 微服务的本质上是在解决 人 的问题
  • 按照 功能 拆分成多组 微服务,有利于 人员的组织结构 分配

问题:

1. 系统性能的下降

  • 拆出来更多的服务,多个功能之间要更依赖 网络通信
  • 网络通信的速度很可能是比硬盘还慢!
  • 要想保证性能不想下降太多,只能引入更多的机器,更多的硬件资源

2. 系统复杂程度提高,可用性受到影响

  • 服务器更多了,出现问题的概率就更大了
  • 这就需要一系列手段,来保证系统的可用性(更丰富的监控报警,以及配套的运维人员)

优势:

  • 解决了 人 的问题
  • 使用微服务,可以更方便于功能的复用
  • 可以给不同的服务进行不同的部署(机器硬件配置)

基本概念

应用(Application)/ 系统(System) 

  • 一个 应用 或 系统,就是 一个或一组服务器程序

模块(Module)/组件(Component)

  • 一个应用里面有很多个功能
  • 每个独立的功能,就可以称为是一个 模块 或 组件

分布式(Distributed)

  • 本质上就是引入多个服务器 或 主机,来协和配合完成一系列的工作
  • 物理上的多个主机

集群(Cluster)

  • 本质上就是引入多个服务器 或 主机,来协和配合完成一系列的工作
  • 逻辑上的多个主机

主(Master)/从(Slave)

  • 分布式系统中一种比较典型的结构
  • 多个服务器节点,其中一个是主,另外的是从,从节点 的数据要从主节点这里同步过来

中间件(Middleware)

  • 和业务无关的服务(功能更通用的服务)
  • 如 数据库、缓存、消息队列 等

评价指标(Metric)

可用性(Availability)
  • 系统整体可用的时间 ➗ 总的时间
  • 一个系统的第一要务
响应时长(Response Time RT)
  • 衡量服务器的性能
  • 越小越好
  • 和具体的服务器要做的业务密切相关
吞吐(Throughput)VS 并发(Concurrent)
  • 衡量系统的处理请求的能力
  • 衡量性能的一种方式

分布式小结

1、单机架构(应用程序 + 数据库服务器)

2、数据库和应用分离

  • 应用程序和数据库服务器 分别放到不同主机上部署了

3、引入负载均衡 把请求比较均匀的分发给集群中的每个应用服务器

  • 当集群中的某个机器挂了,其他的主机仍然可以承担服务,提高了整个系统的可用性

4、引入读写分离 数据库主存结构

  • 一个数据库节点作为主节点,其他N个数据库节点作为从节点
  • 主节点负责写数据,从节点负责读数据
  • 主节点现需要把修改过的数据同步给从节点

5、引入缓存 冷热数据分离

  • 进一步提升了服务器针对请求的处理能力
  • 二八原则
  • Redis 在一个分布式系统中通常被用作 缓存
  • 引入的问题是 数据库和缓存的数据一致性问题

6、引入分库分表 数据库能够进一步扩展存储空间

7、引入微服务 从业务上进一步拆分应用服务器

  • 从业务功能的角度,把应用服务器 拆分成更多的功能更单一、更简单、更小的服务器

注意:

  • 上述这样的几个演化的步骤,只是一个粗略的过程
  • 实际上一个商业项目,真实的演化过程,都是和它的业务发展密切相关的
  • 业务是更重要的,技术只是给业务提供支持的
  • 所谓的 分布式系统 就是想办法引入更多的硬件资源来解决当下的业务问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1318365.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

力扣刷题-二叉树-二叉树左叶子之和

404 左叶子之和 给定二叉树的根节点 root ,返回所有左叶子之和。 示例 1: 输入: root [3,9,20,null,null,15,7] 输出: 24 解释: 在这个二叉树中,有两个左叶子,分别是 9 和 15,所以返回 24 思路 迭代法 迭代法理解…

python学习1补充

大家好,这里是七七,这个专栏是用代码实例来学习的,不是去介绍很多知识的。 话不多说,开始今天的内容 目录 代码1 代码2 代码3 代码4 代码5 学习1的总代码 代码1 groupeddf.groupby(单品编码) result{} groupeddf.groupb…

条款5:了解c++默默编写并调用了哪些函数

如果你不自己声明,编译器会替你声明(编译器版本的)拷贝构造函数、拷贝赋值运算符和析构函数。此外,如果你没有声明任何构造函数,编译器会为你声明一个默认构造函数。 class Empty{};本质上和写成下面这样是一样的: c…

英文论文降重修改技巧 papergpt

大家好,今天来聊聊英文论文降重修改技巧,希望能给大家提供一点参考。 以下是针对论文重复率高的情况,提供一些修改建议和技巧,可以借助此类工具: 英文论文降重修改技巧 作为网站编辑,我们经常需要处理大量…

加密的艺术:对称加密的奇妙之处(下)

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

菜鸟学习日记(python)——匿名函数

Python 使用 lambda 来创建匿名函数。 lambda 函数是一种小型、匿名的内联函数,它可以具有任意数量的参数,但只能有一个表达式。 匿名函数的一般格式如下: lambda 参数列表:表达式 表达式用于计算并返回函数结果 lambda 函数通常用于编写…

如何优雅地观察 Vue.js 3 中 localStorage 的变化?

为什么要这样做? 原生 localStorage 只能监听同源跨不同页面的变化。然而,对于单页面应用程序来说,这种方式并不实用。因此,我打算创建一个自定义钩子来监视 localStorage 中的变化。 方法 我们需要重写 localStorage 下的所有…

相机基础概念介绍

一.概念 Camera的成像原理 景物通过镜头(LENS)生成的光学图像投射到图像传感器(Sensor)表面上,然后转为模拟的电信号,经过 A/D(模数转换)转换后变为数字图像信号,再送到数字信号处理芯片&…

虚拟机下Ubuntu上网设置

文章目录 一、虚拟机上网的两种方式1.1 NAT模式(Network Address Translation)1.2 桥接模式(Bridge Mode)1.3 简介 二、实际配置2.1 NAT模式配置2.2 桥接模式配置 之前跟着博客配了好几个也没用,后来自己慢慢模式实践测…

机器学习---模型评估

1、混淆矩阵 对以上混淆矩阵的解释: P:样本数据中的正例数。 N:样本数据中的负例数。 Y:通过模型预测出来的正例数。 N:通过模型预测出来的负例数。 True Positives:真阳性,表示实际是正样本预测成正样…

波奇学Linux:进程终止

写时拷贝底层原理图 子进程谁先运行,由调度器决定 进程退出场景 代码运行完毕,结果正确:有返回值,返回0 代码运行完毕,结果不正确:有返回值,返回非0 代码异常终止。没有返回值 return 0的…

小姐姐跳舞,AI 视频生成太酷了

大家好,我是章北海 最近AI视频领域的研究进展神速,看得眼花缭乱。 这里老章就把最近几天看过印象深刻的四个项目介绍给大家,同时附上项目相关简介、论文、代码等资料,感兴趣的同学可以深度研究一下。 《SMPLer-X:放大表达性人体…

设计模式(2)--对象创建(5)--单件

1. 意图 保证一个类仅有一个实例,并提供一个访问它的全局访问点。 2. 一种角色 单件(Singleton) 3. 优点 3.1 对唯一实例的受控访问 3.2 缩小名空间(对全局变量的改进) 3.3 允许对操作和表示精化(可以有子类) 3.4 允许可变数目的实例 3.5 比类操作更灵活 4. 缺点…

mipi dsi协议DBI/DPI接口

MIPI dsi协议中的DBI/DPI接口主要用于主机和display设备之间的数据传输,说的更通俗一点就是DSI RX控制器和实际的显示面板之间的接口;dsi 协议spec中对DBI/DPI有描述: DSI协议中对DBI 接口模式命名为command mode operation,对DP…

[NCTF2019]Fake XML cookbook1

提示 xml注入 一般遇到像登录页之类的就因该想到sql注入、弱口令或者xml等 随便输入抓包 这里明显就是xml注入 这里我们来简单了解一下xml注入 这里是普通的xml注入 xml注入其实和sql注入类似&#xff0c;利用了xml的解析机制如果系统没有将‘<’‘>’进行转义&#xff0…

《点云处理》 提取点云内点和外点

前言 关于内点&#xff08;inliers&#xff09;和外点&#xff08;outliers&#xff09;在点云处理方向上是个非常常见的名词。有时候&#xff0c;内点也会被称之为有效点&#xff0c;而外点会被称之为无效点。所谓有效和无效都是相对而言的&#xff0c;无效不一定是真的没有意…

【数据结构—队列的实现】

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言 一、队列 1.1队列的概念及结构 二、队列的实现 2.1头文件的实现—Queue.h 2.2源文件的实现—Queue.c 2.3源文件的测试—test.c 三、测试队列实际数据的展示 3.…

第一个程序(STM32F103点灯)

点亮LED 看原理图确定控制LED的引脚看主芯片手册确定如何设置/控制引脚写程序 LED有很多种&#xff0c;像插脚的&#xff0c;贴片的。 它们长得完全不一样&#xff0c;因此我们在原理图中将它抽象出来。 嵌入式系统中&#xff0c;一个LED的电阻非常低&#xff0c;I U/R&…

RabbitMQ搭建集群环境、配置镜像集群、负载均衡

RabbitMQ集群搭建 Linux安装RabbitMQ下载安装基本操作命令开启管理界面及配置 RabbitMQ集群搭建确定rabbitmq安装目录启动第一个节点启动第二个节点停止命令创建集群查看集群集群管理 RabbitMQ镜像集群配置启用HA策略创建一个镜像队列测试镜像队列 负载均衡-HAProxy安装HAProxy…

GoWin FPGA, GPIO--- startup1

一个Bank只能用一个电压&#xff0c;假如同一个Bank&#xff0c;在引脚里设置不同的电压&#xff0c;编译不过。 解释说明 2. 错误引脚限制 以上编译设置会导致编译错误。