初识 Redis 浅谈分布式

news2024/11/17 21:40:04

目 录

  • 一.认识 Redis
  • 二.浅谈分布式
    • 单机架构
    • 分布式是什么
    • 数据库分离和负载均衡
    • 理解负载均衡
    • 数据库读写分离
    • 引入缓存
    • 数据库分库分表
    • 引入微服务
  • 三.概念补充
  • 四.分布式小结

一.认识 Redis

在 Redis 官网我们可以看到介绍
在这里插入图片描述

翻译过来就是:数以百万计的开发人员用作缓存、矢量数据库、文档数据库、流引擎和消息代理的内存数据存储。

  1. 存储数据:在内存中存储。那我们可以想到 定义变量也是在内存中存储数据的,但是 Redis 是在分布式系统中才能发挥力量的,如果只是单机程序,直接通过变量存储数据的方式,是比使用 Redis 更优的选择。我们知道进程之间有隔离性,进程之间通过网络进行通信,Redis 就是基于网络,可以把自己内存中的变量给别的进程,甚至别的主机的进程进行使用。
  2. 数据库:一谈及数据库我们可以想到 MySQL,MySQL 最大的问题在于,访问速度比较慢,很多互联网产品中,对于性能要求是很高。Redis 也可以作为数据库使用,访问速度快!!定性的角度,可以知道 Redis 快很多,但是很难定量衡量。Redis 和 MySQL 相比,最大的劣势,存储空间是有限的。虽然有不少的互联网产品,对于性能要求比较高的,但是也有很多互联网产品对于性能要求没那么高。那如何内存又大访问速度又快呢??典型的方案,可以把 Redis 和 MySQL 结合起来使用。"二八原则”,20%的热点数据,能满足 80% 的访问需求,于是把 20% 的数据存储到 Redis 中,80% 的数据存储到MySQL 中,但是系统的复杂程度大大提升了,而且,如果数据发生修改,还涉及到 Redis 和 MySQL 之间的数据同步问题。

二.浅谈分布式

单机架构

只有一台服务器,这个服务器负责所有的工作

在这里插入图片描述

应用程序中保存了我们个人编辑的代码写的那些 HTTP 服务器,数据库服务就是我们的数据库,例如 MySQL等,MySQL 是一个客户端服务器结构的程序!!本体是 MySQL 服务器(存储和组织数据的部分)。当我们用户发送一个请求之后,经过应用服务发送HTTP 请求,HTTP 请求转成增删改查等动作转发给数据库,数据库再进行操作。

单机程序中,能不能把数据库服务器也去掉,光一个应用服务器又负责业务,又负责数据存储?(也不是不可以,但是就是会比较麻烦)

千万不要瞧不上这个东西,绝大部分的公司的产品都是这种单机架构!!现在计算机硬件,发展速度非常之快,哪怕只有一台主机,这一台主机的性能也是很高的,可以支持非常高的并发&非常大的数据存储

如果业务进一步增长,用户量和数据量都水涨船高,一台主机难以应付的时候,就需要引入更多的主机引入更多的硬件资源


分布式是什么

一台主机的硬件资源是有上限的

包括不限于以下几种

  1. CPU
  2. 内存
  3. 硬盘
  4. 网络

服务器每次收到一个请求,都是需要消耗上述的一些资源的

如果同一时刻,处理的请求多了,此时就可能会导致某个硬件资源,不够用了!!无论是哪个方面不够用了,都可能会导致服务器处理请求的时间变长甚至于处理出错

如果我们真的遇到了这样的服务器不够用的场景,怎么处理呢?

  1. 开源:简单粗暴,增加更多的硬件资源

  2. 节流:软件上优化(各凭本事了,需要通过性能测试,找到是哪个环节出现了瓶颈,再去对症下药)

一个主机上面能增加的硬件资源也是有限的,取决于主板的扩展能力。一台主机扩展到极限了,但是还不够就只能引入多台主机了。不是说新的机器买来就直接可以解决问题了,也需要软件上做出对应的调整和适配,一旦引入多台主机了,咱们的系统就可以称为是 “分布式系统”。引入分布式,这是万不得已,系统的复杂程度会大大提高,出现bug的概率也越高。


数据库分离和负载均衡

在这里插入图片描述

  1. 应用服务器,里面可能会包含很多的业务逻辑,可能会吃 CPU 和内存.

  2. 数据库服务器,需要更大的硬盘空间,更快的数据访问速度,可以配置更大硬盘的服务器,甚至还可以上 SSD(固态) 硬盘

1.机械硬盘,便宜,慢;2.固态硬盘,贵,快

通过上面的操作就达到更高的性价比了

应用服务器可能会比较吃 CPU 和内存,如果把 CPU 或者内存吃没了,此时应用服务器就顶不住了

引入更多的应用服务器,就可以有效解决上述问题

在这里插入图片描述

看起来是两个应用服务器,实际上可能是多个。

用户的请求,先到达 负载均衡器/网关服务器(单独的服务器)

假设有 1w 个用户请求,有 2 个应用服务器:此时按照负载均衡的方式,就可以让每个应用服务器承担 5k 的访问量

负载均衡:就像公司的一个组的领导一样,要负责管理,要负责把任务分配给每个组员(对于负载均衡器来说,有很多的负载均衡具体的算法)


理解负载均衡

负载均衡器,看起来不是承担了所有的请求嘛?这个东西能顶住嘛??

负载均衡器,对于请求量的承担能力,要远超过应用服务器的.

  • 负载均衡器,是领导,分配工作.
  • 应用服务器,是组员,执行任务.

是否可能会出现,请求量大到负载均衡器也扛不住了呢??也是有可能的!!

于是就可以引入更多的负载均衡器(引入多个机房)


数据库读写分离

如上面讨论,增加应用服务器,确实能够处理更高的请求量,但是随之存储服务器,要承担的请求量也就更多了!!

在这里插入图片描述

对数据库进行读写分离

在实际的应用场景中,读的频率是比写要高的

所以主服务器一般是一个,从服务器可以有多个(一主多从)

同时从数据库通过负载均衡的方式,让应用服务器进行访问


引入缓存

数据库天然有个问题,响应速度是更慢的

把数据区分"冷热",热点数据放到缓存中,缓存的访问速度往往比数据库要快很多了

在这里插入图片描述

缓存只是放一小部分热点数据.(会频繁被访问到的数据),根据二八原则:20% 的数据能够支持 80% 的访问量

此时我们右边存储服务器存储的仍然是完整的全量数据

缓存要想快就要付出代价 => 小 => Redis

此时,缓存服务器就帮助数据库服务器负重前行!!


数据库分库分表

引入分布式系统,不光要能够去应对更高的请求量(并发量),同时也要能应对更大的数据量

是否可能会出现,一台服务器已经存不下数据了呢??当然会存在

虽然一个服务器,存储的数据量可以达到几十个TB,即使如此也可能会存不下

一台主机存不下,就需要多台主机来存储

在这里插入图片描述

针对数据库进行进一步的拆分,分库分表

本来一个数据库服务器,这个数据库服务器上有多个数据库(指的是逻辑上的数据集合, create database 创建的那个东西)

现在就可以引入多个数据库服务器,每个数据库服务器存储一个或者一部分数据库

如果某个表特别大,大到一台主机存不下,也可以针对表进行拆分

具体分库分表如何实践?还是要结合实际的业务场景来展开


引入微服务

微服务架构:

在这里插入图片描述

之前应用服务器,一个服务器程序里面做了很多的业务,这就可能会导致这一个服务器的代码变的越来越复杂

为了更方便于代码的维护,就可以把这样的一个复杂的服务器,拆分成更多的,功能更单一,但是更小的服务器 —> 微服务

因此服务器的种类和数量就增加了

当应用服务器复杂了,势必就需要更多的人来维护了,当人多了,就需要配套的管理,把这些人组织好,划分组织结构,分成多个组,每个组分别配备领导进行管理

注意,微服务本质上是在解决 "人” 的问题

按照功能,拆分成多组微服务,就可以有利于上述人员的组织结构的分配了

引入微服务,解决了人的问题,付出的代价?

  1. 系统的性能下降:拆出来更多的服务,多个功能之间要更依赖网络通信,网络通信的速度很可能是比硬盘还慢的。(要想保证性能不下降太多,只能引入更多的机器,更多的硬件资源)(幸运的是,硬件技术的发展,网卡现在有万兆网卡,读写速度已经能过超过硬盘读写了)
  2. 系统复杂程度提高,可用性受到影响:服务器更多了,出现问题的概率就更大了。这就需要一系列的手段,来保证系统的可用性(更丰富的监控报警,以及配套的运维人员)

微服务的优势:

  1. 解决了人的问题.
  2. 使用微服务,可以更方便于功能的复用
  3. 可以给不同的服务进行不同的部署

三.概念补充

应用(Application)/ 系统(System)

一个应用,就是一个/组服务器程序

模块(Module)/ 组件(Component)

一个应用,里面有很多个功能,每个独立的功能,就可以称为是一个模块/组件

分布式(Distributed)

引入多个主机/服务器,协同配合完成一系列的工作.(物理上的多个主机)

集群(Cluster)

引入多个主机/服务器,协同配合完成一系列的工作.(逻辑上的多个主机)

主(Master)/ 从(Slave)

分布式系统中一种比较典型的结构,多个服务器节点,其中一个是主,另外的是从,从节点的数据要从主节点这里同步过来

中间件(Middleware)

和业务无关的服务(功能更通用的服务)

  1. 数据库
  2. 缓存
  3. 消息队列

可用性(Availability)

系统整体可用的时间 / 总的时间

响应时长(Response Time RT)

衡量服务器的性能,越小越好,和具体服务器要做的业务密切相关的

吞吐(Throughput)vs 并发(Concurrent)

衡量系统的处理请求的能力.衡量性能的一种方式


四.分布式小结

  1. 单机架构(应用程序+数据库服务器)
  2. 数据库和应用分离
    应用程序和数据库服务器分别放到不同主机上部署了.
  3. 引入负载均衡,应用服务器=>集群
    通过负载均衡器,把请求比较均匀的分发给集群中的每个应用服务器.(当集群中的某个主机挂了,其他的主机仍然可以承担服务提高了整个系统的可用性)
  4. 引入读写分离,数据库主从结构
    一个数据库节点作为主节点,其他N个数据库节点作为从节点,主节点负责写数据,从节点负责读数据,主节点需要把修改过的数据同步给从节点
  5. 引入缓存,冷热数据分离
    进一步的提升了服务器针对请求的处理能力(二八原则),Redis在一个分布式系统中,通常就扮演着缓存这样的角色,引入的问题:数据库和缓存的数据一致性问题
  6. 引入分库分表,数据库能够进一步扩展存储空间
  7. 引入微服务,从业务上进一步拆分应用服务器
    从业务功能的角度,把应用服务器,拆分成更多的功能更单一,更简单,更小的服务器

上述这样的几个演化的步骤,只是一个粗略的过程

实际上一个商业项目,真实的演化过程,都是和他的业务发展密切相关的,业务是更重要的,技术只是给业务提供支持的,所谓的分布式系统,就是想办法引入更多的硬件资源!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1541823.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

阿里云倚天云服务器怎么样?如何收费?

阿里云倚天云服务器CPU采用倚天710处理器,租用倚天服务器c8y、g8y和r8y可以享受优惠价格,阿里云服务器网aliyunfuwuqi.com整理倚天云服务器详细介绍、倚天710处理器性能测评、CIPU架构优势、倚天服务器使用场景及生态支持: 阿里云倚天云服务…

人工智能之Tensorflow批标准化

批标准化(Batch Normalization,BN)是为了克服神经网络层数加深导致难以训练而诞生的。 随着神经网络的深度加深,训练会越来越困难,收敛速度会很慢,常常会导致梯度消失问题。梯度消失问题是在神经网络中,当前…

ffmpeg实现媒体流解码

本期主要讲解怎么将MP4媒体流的视频解码为yuv,音频解码为pcm数据;在此之前我们要先了解解复用和复用的概念; 解复用:像mp4是由音频和视频组成的(其他内容流除外);将MP4的流拆分成视频流(h264或h265等)和音频流(AAC或mp3等); 复用:就是将音频和视频打包成MP4或者fl…

数据可视化-ECharts Html项目实战(6)

在之前的文章中,我们学习了如何设置散点图、雷达图。想了解的朋友可以查看这篇文章。同时,希望我的文章能帮助到你,如果觉得我的文章写的不错,请留下你宝贵的点赞,谢谢数据可视化-ECharts Html项目实战(5&a…

网络分类简述与数据链路层协议(PPP)

实验拓扑 实验要求 1、R1和R2使用PPP链路直连,R2和R3把2条PPP链路捆绑为PPP MP直连按照图示配置IP地址 2、R2对R1的PPP进行单向chap验证 3、R2和R3的PPP进行双向chap验证 实验思路 给R1、R2的S3/0/0接口配置IP地址,已给出网段192.168.1.0/24R2作为主…

人工智能之Tensorflow变量作用域

在TensoFlow中有两个作用域(Scope),一个时name_scope ,另一个是variable_scope。variable_scope主要给variable_name加前缀,也可以给op_name加前缀;name_scope给op_name加前缀。 variable_scope 通过所给的名字创建或…

分类预测 | Matlab实现MTF-CNN-Mutilhead-Attention马尔可夫转移场卷积网络多头注意力机制多特征分类预测/故障识别

分类预测 | Matlab实现MTF-CNN-Mutilhead-Attention马尔可夫转移场卷积网络多头注意力机制多特征分类预测/故障识别 目录 分类预测 | Matlab实现MTF-CNN-Mutilhead-Attention马尔可夫转移场卷积网络多头注意力机制多特征分类预测/故障识别分类效果基本介绍模型描述程序设计参考…

STM32学习笔记(3_2)- GPIO输入和C语言

无人问津也好,技不如人也罢,都应静下心来,去做该做的事。 最近在学STM32,所以也开贴记录一下主要内容,省的过目即忘。视频教程为江科大(改名江协科技),网站jiangxiekeji.com 本期介…

idea maven配置

修改maven的路径&#xff08;使用本地的Maven&#xff09;&#xff0c;以及修改settings文件的位置和本地仓库的位置。 -DarchetypeCataloginternal 配置阿里云镜像&#xff08;在setting.xml文件中配置&#xff09; <!-- 配置阿里云 --> <mirror> <id>…

javase day11笔记

第十一天课堂笔记 构造代码块 { } 给 所有对象 共性特点 进行初始化操作 创建对象时在堆区对象中存放实例变量,同时执行构造代码块 执行顺序:静态代码块—>非静态代码块—>构造方法 继承★★★ 将多个类中相同的实例变量和实例方法 , 单独存放到一个类中,成为父类…

政安晨:【深度学习部署】—— TensorFlow Extended(TFX)介绍

政安晨的个人主页&#xff1a;政安晨 欢迎 &#x1f44d;点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras实战演绎机器学习 希望政安晨的博客能够对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出指正&#xff01; 前言 TensorFlow Extended&#xff08;TFX&a…

代数结构与数理逻辑:3.环

图1 环 14.1 环的定义与性质 环&#xff1a;代数系统 [ R ; ; ∗ ] [R;;*] [R;;∗]&#xff0c;其中&#xff0c;*为定义在 R R R上的二元运算&#xff0c;满足下述条件&#xff0c;对任意 a , b , c ∈ R a,b,c\in R a,b,c∈R, ​ 可结合、交换&#xff0c;且有单位元、逆元…

【Redis教程0x04】详解Redis的4个高级数据类型

引言 在【Redis教程0x03】中&#xff0c;我们介绍了Redis中常用的5种基础数据类型&#xff0c;我们再来回顾一下它们的使用场景&#xff1a; String&#xff1a;存储对象、url、计数、分布式锁&#xff1b;List&#xff1a;消息队列&#xff1b;Hash&#xff1a;存储对象、购…

2024年大模型面试准备(二):LLM容易被忽略的Tokenizer与Embedding

分词和嵌入一直是LM被忽略的一部分。随着各大框架如HF的不断完善&#xff0c;大家对tokenization和embedding的重视程度越来越低&#xff0c;到现在初学者大概只能停留在调用tokenizer.encode这样的程度了。 知其然不知其所以然是很危险的。比如你要调用ChatGPT的接口&#xf…

mysql迁移达梦数据库 Java踩坑合集

达梦数据库踩坑合集 文章目录 安装达梦设置大小写不敏感Spring boot引入达梦驱动&#xff08;两种方式&#xff09;将jar包打入本地maven仓库使用国内maven仓库&#xff08;阿里云镜像&#xff09; 达梦驱动yml配置springboot mybatis-plus整合达梦,如何避免指定数据库名&…

进程和线程,线程实现的几种基本方法

什么是进程&#xff1f; 我们这里学习进程是为了后面的线程做铺垫的。 一个程序运行起来&#xff0c;在操作系统中&#xff0c;就会出现对应的进程。简单的来说&#xff0c;一个进程就是跑起来的应用程序。 在电脑上我们可以通过任务管理器可以看到&#xff0c;跑起来的应用程…

C语言 04 基本数据类型

整数 整数就是不包含小数点的数字&#xff0c;整数包含以下几种类型&#xff1a; short &#xff1a;占用 2 个字节&#xff0c;16 个 bit 位。int&#xff1a;占用 4 个字节&#xff0c;32 个 bit 位&#xff0c;能够表示 -2^32 到 2^32 之间的数字&#xff0c;默认使用这种…

Open CASCADE学习|最小二乘法拟合直线

最小二乘法&#xff0c;又称最小平方法&#xff0c;起源于十八世纪的大航海探索时期&#xff0c;发展于天文领域和航海领域。其历史可以追溯到法国科学家马里勒让德于1805年首次提出这一概念&#xff0c;而1809年&#xff0c;高斯在他的著作《天体运动论》中也提出了最小二乘法…

LangChain核心模块 Model I/O

Model I/O 任何语言模型应用程序的核心元素都是模型。LangChain 为您提供了与任何语言模型交互的构建块。 Models llm 和 chat_model 都是表示特定模型配置的对象。 LLM 对象将字符串作为输入和输出字符串。ChatModel 对象将消息列表作为输入并输出消息。 LLM 返回一个字符…

idea创建angular项目

1.idea创建项目 idea&#xff1a;2023.2.3版本 不做赘述&#xff0c;我这里是创建模块&#xff0c;创建项目的话大同小异 2.创建完成后注意一下红色部分&#xff0c;后期需要 3.进入项目根目录 注意&#xff1a;一定要进入项目根目录&#xff0c;就是我们上面红色方框部分&a…