《分布式技术原理与算法解析》学习笔记Day24

news2024/9/24 7:13:12

分布式缓存

在计算机领域,缓存是一个非常重要的、用来提升性能的技术。

什么是分布式缓存?

缓存技术是指用一个更快的存储设备存储一些经常用到的数据,供用户快速访问。

分布式缓存是指在分布式环境或者系统下,把一些热门数据存储到离用户近、离应用近的位置,并尽量存储到更快的设备,以减少远程数据传输的延迟,让用户和应用可以很快访问到需要的数据。

分布式数据缓存属于计算机应用中的缓存的一种,计算机应用中的缓存,一般代指内存,即内存存储了用户经常访问的数据,用户或者应用不再需要到磁盘中去获取相应的数据,大幅提高访问速度。

分布式缓存原理

下面以常见的Redis和Memcached为例,描述分布式缓存的原理。

Redis分布式缓存

Redis的全称是Remote Dictionary Server,它以字典结构将数据存储到内存中,应用直接到内存中读写Redis存储的数据。

Redis集群是一个典型的去中心化结构,每个节点负责存储一部分数据,同时,每个节点会进行主备设计来提高Redis的可靠性。

Redis和缓存关系最紧密的三个特性:

  • 支持多数据结构
  • 支持持久化
  • 主备同步

Redis支持多数据结构

Redis是一个基于内存的key-value数据库,它支持的数据结构不仅有简单的k/v类型,还可以支持List、Set、Hash等复杂类型的存储。

Redis支持持久化

Redis存储的数据是基于内存的,但它也提供了持久化机制,即将数据从内存写入到磁盘中。

Redis提供的持久化有两种方式:

  • RBD(Redis Database),快照方式,Redis会定时将内存中的数据备份到磁盘中,形成一个快照,当节点出现故障时,可以根据快照恢复到不同版本的数据。它带来的问题是可能会造成数据丢失,当节点出现故障时,新数据可能还没有备份到磁盘。
  • AOF(Append Only File),它的核心思想是通过使用类似于binary log的方式,来解决RBD快照存在的数据丢失问题。有三种不同的AOF策略可以选择:
    • AOF_FSYNC_NO(不同步)
    • AOF_FSYNC_EVERYSEC(每秒同步)
    • AOF_FSYNC_ALWAYS(每次写都同步)

Redis默认采用AOF_FSYNC_EVERYSEC策略,这样一旦出现故障,最多只会丢失一秒的数据。

Redis支持主备同步

Redis采用异步复制技术来实现主备同步,它可以通过min-replicas-to-write和min-replicas-max-lag参数来设置同步策略。

除了写数据时同步,以下两种情况也需要同步:

  • 备数据库刚启动时需要进行数据同步。
  • 因为网络故障导致主备数据库断开连接,等待网络恢复后,需要进行数据同步。

Redis提供了2种类型的同步机制:

  • 完整重同步
  • 部分重同步

完整重同步的流程如下:

  1. 当备服务器启动时,会向主服务器发送SYNC命令。
  2. 主服务器收到命令后会生成RDB文件,并记录从现在开始新执行的写操作。
  3. RBD生成后会发送给备服务器,备服务器通过RDB文件进行数据更新。
  4. 更新完成后,主服务器再将新记录的写操作发送给备服务器,备服务器执行完这些新记录的写操作,便和主服务器的数据保持一致了。

部分重同步是指当网络恢复后,主数据库将主备数据库断开连接后的一系列写操作发送给备服务器,备数据库执行这些写操作,从而保证主备数据保持一致。

主备数据库会共同维护一个复制偏移量,这样主数据库就知道应该将哪些写操作发给备数据库,备数据库同步时也知道应该从哪里继续执行操作。

Memcached分布式缓存原理

Memcached是一个基于内存的高性能key-value缓存数据库。

Memcached集群采用一致性哈希思路,使用Ketama算法,它的主要思想就是带虚拟节点的一致性哈希算法。在实际应用中,每个物理节点对应100-200个虚拟节点。

Memcached仅支持简单的k/v数据类型,如果想要存储复杂的数据类型,例如List、Set或者Hash,需要客户端自己处理,将其转化为字符串后进行存储,这样导致它操作不灵活。

Memcached不支持持久化,当服务器重启后,Memcached存储的数据会全部丢失。

Memcached中服务器和服务器之间没有任何通信,它自身不支持主备,但可以通过第三方来实现。

Redis和Memcached详细的比较如下。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/376619.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

全面零信任?Dell搞了个“大动作”

1860年,清朝僧格林沁带领数万骑兵,朝着数千英法联军发起猛烈冲锋,企图依靠清朝凶狠的骑兵突击战术击溃对方。然而,面对已经完成了近代化的西方军队,原来无往不利的八旗骑兵被打的土崩瓦解,再无任何抵抗的能…

Editor工具开发基础四:窗口EditorWindow

目录 1.设置窗口位置和大小 2.设置窗口最大和最小 3.设置窗口标题 4.设置窗中窗 BeginWindows和EndWindows 5.添加窗中窗可拖动 GUI.DragWindow() 完整代码: public class EditorToolWindow : EditorWindow {public static EditorToolWindow ins;[MenuItem(&q…

Elasticsearch:保护你的 Elasticsearch 实例 - 如何使用带有内置证书的 Docker 镜像

使用 docker 来构建 Elasticsearch 集群为开发者们带来了极大的方便。在我之前的文章中: Elasticsearch:使用 Docker compose 来一键部署 Elastic Stack 8.x Elasticsearch:如何在 Docker 上运行 Elasticsearch 8.x 进行本地开发 Elastic&am…

JavaSE-线程池(5)- ThreadPoolExecutor常用方法

JavaSE-线程池(5)- ThreadPoolExecutor常用方法 invokeAll ExecutorService 接口中定义的方法,给定一组任务,在所有任务执行完成时返回一个 Futures 列表,其中包含它们的状态和结果。 /*** Executes the given task…

Java基础:常见API(Math,System,Runtime,Object,BigInteger,BigDecima)

1.常见API 1.1 Math类 向上取整是向着数轴右边走的意思, 负数也是. 也可以叫进一法, 不论正数负数都会往右走一. 向下取整是向着数轴左边走. 也可以叫去尾法, 不论正负数都会将小数点后的数字去掉. 1.1.2 练习 // 判断有多少水仙花数int count 0;for (int i 100; i < 1…

代码随想录算法训练营九期第十三天 | 239. 滑动窗口最大值、347.前 K 个高频元素、总结

打卡第十三天&#xff0c;昨天休息&#xff0c;今天继续栈和队列&#xff0c;重新复习了单调队列&#xff0c;上次看ACwing的视频学了单调队列&#xff0c;没有完全学明白&#xff0c;重学之后比之前清晰多了 今日任务 滑动窗口最大值 347.前 K 个高频元素总结 239. 滑动窗口最…

【Ap AutoSAR入门与实战开发02】-【Ap_s2s模块01】: s2s的背景

总目录链接==>> AutoSAR入门和实战系列总目录 文章目录 1 s2s的背景?2 AUTOSAR 方法应支持车辆的无缝开发2.1 面向服务的ECU的解读2.2 面向信号的ECU的解读2.3 通过网关ECU实现转换1 s2s的背景? Cp AutoSAR基于传统的can,lin,flexray总线的通信,一般是面向信号设…

汽车网络安全需求分析方法综述

引言&#xff1a; 近年来&#xff0c;汽车的网络安全问题逐渐被重视&#xff0c;在汽车产品的全生命周期中&#xff0c;需要进行网络安全风险管理&#xff0c;其主要活动包括网络安全需求分析、安全策略设计与实施、运营阶段安全监控与应急响应等。 安全需求分析工作作为系统安…

信息安全概论之《密码编码学与网络安全----原理与实践(第八版)》

前言&#xff1a;在信息安全概论课程的学习中&#xff0c;参考了《密码编码学与网络安全----原理与实践&#xff08;第八版&#xff09;》一书。以下内容为以课件为主要参考&#xff0c;课本内容与网络资源为辅助参考&#xff0c;学习该课程后作出的总结。 一、信息安全概述 1…

【蓝桥杯集训9】单调栈、单调队列(模拟栈、模拟队列)专题(3 / 3)

目录 单调栈模板 1、模拟栈 单调队列模板 1、模拟队列 2、双端队列 135. 最大子序和 - 前缀和滑动窗口单调队列 单调栈模板 什么时候用单调栈&#xff1f; 求序列中每一个数左边或右边第一个比它大或小的数 1、单调递增栈 在保持栈内元素单调递增前提下&#xff08;如果…

Redis 主从库如何实现数据一致?

目录 1、主从库间如何进行第一次同步&#xff1f; 2、主从级联模式分担全量复制时的主库压力 3、主从库间网络断了怎么办&#xff1f; 总结 // 好的文章&#xff0c;值得反复去读 Redis 具有高可靠性&#xff0c;这里有两层含义&#xff1a;一是数据尽量少丢失&#xff0c;…

2023JAVA面试题全集超全面超系统超实用!早做准备早上岸

2022年我凭借一份《Java面试核心知识点》成功拿下了阿里、字节、小米等大厂的offer&#xff0c;两年的时间&#xff0c;为了完成我给自己立的flag&#xff08;拿下一线互联网企业offer大满贯&#xff09;&#xff0c;即使在职也一直在不断的学习与备战面试中&#xff01;——或…

【Spark分布式内存计算框架——Spark Streaming】6. DStream(下)流式应用状态 Kafka

3.3 流式应用状态 使用SparkStreaming处理实际实时应用业务时&#xff0c;针对不同业务需求&#xff0c;需要使用不同的函数。SparkStreaming流式计算框架&#xff0c;针对具体业务主要分为三类&#xff0c;使用不同函数进行处理&#xff1a; 业务一&#xff1a;无状态Statel…

【数电基础】——数制和码制

目录 1.概述 1.信号&#xff08;电路&#xff09;的功能 2.信号的分类&#xff1a; 3.数字信号的输入和输出的逻辑关系表示方法 2.数制 1.十进制&#xff08;D/d&#xff09; 2.二进制(B/b) 3.八进制&#xff08;O/o&#xff09; 4.十六进制&#xff08;H/h&#xff09;…

使用huggingface微调预训练模型

官方教程&#xff1a;https://huggingface.co/docs/transformers/training 准备数据集&#xff08;基于datasets库&#xff09; train.json 数据格式&#xff1a; {"source":"你是谁&#xff1f;", "target":"我是恁爹"} {"so…

FSP:Flow of Solution Procedure (CVPR 2017) 原理与代码解析

paper&#xff1a;A Gift From Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learningcode&#xff1a;https://github.com/HobbitLong/RepDistiller/blob/master/distiller_zoo/FSP.py背景深度神经网络DNN逐层生成特征。更高层的特征更接近…

内存数据库的设计与实现(已在大型项目中应用)

一、概况 1、设计总图 组成,由Redis集群缓存,普通缓存,传统数据库,各类数据驱动 2、内存数据库的增删改查,分页查询 组成,由数据查询,分页查询,数据存储,数据修改,数据删除 3、内存数据库的驱动 组成,由驱动适配器,普通缓存驱动,Redis缓存驱动 4、内存数据库与…

C++常见类型及占用内存表

GPS生产厂家在定义数据的时候都会有一定的数据类型&#xff0c;例如double、int、float等&#xff0c;我们知道它们在内存中都对应了一定的字节大小&#xff0c;而我在实际使用时涉及到了端序的问题&#xff08;大端序高字节在前&#xff0c;小端序低字节在前&#xff09;&…

redis主从同步:如何实现数据一致

Redis 提供了主从库模式&#xff0c;以保证数据副本的一致&#xff0c;主从库之间采用的是读写分离的方式。读操作&#xff1a;主库、从库都可以接收&#xff1b;写操作&#xff1a;首先到主库执行&#xff0c;然后&#xff0c;主库将写操作同步给从库。和mysql差不多。但是同步…

自动驾驶专题介绍 ———— 毫米波雷达

文章目录介绍工作原理特点性能参数应用厂家介绍 毫米波雷达是工作在毫米波波段探测的雷达&#xff0c;与普通雷达相似&#xff0c;是通过发射无线电信号并接收反射信号来测量物体间的距离。毫米波雷达工作频率为30~300GHz(波长为1 - 10mm)&#xff0c;波长介于厘米波和光波之间…