Redis学习笔记01 (数据结构,线程模型,持久化)

news2024/11/24 22:32:12

Background 

Redis(Remote Dictionary Server)是一种基于键值对的内存数据库,通常被称为数据结构服务器。它支持多种数据结构,例如字符串(String)、哈希(Hash)、列表(List)、集合(Set)、有序集合(Sorted Set)等,并提供了丰富的命令接口,使得开发者可以方便地利用这些数据结构来实现各种复杂应用。

Redis具有高性能、高可靠性和高可扩展性等特点,它将所有的数据保留在内存中,并通过异步方式将数据写入磁盘,以保证数据的持久化。同时,Redis还支持数据复制、主从架构、哨兵模式等多种高可用解决方案,可以用于构建分布式系统。

由于Redis的优秀性能和易用性,它已经成为了一个非常流行的开源项目,被广泛应用于Web应用程序、缓存、消息队列、计数器等领域。

主要为了阅读redis源码做好大局观和理论上的铺垫

数据结构

redis支持的key或者value的数据的底层数据结构如下

 key/value的映射采用一个全局hash表

但是因为hash冲突的存在,可能退化成链,所以我们要rehash,但是为了更低的延迟,我们要可以做一个优化:之前的rehash分为3步:1)分配一个hash table大小两倍的hash table, 2)把hash table1的数据转移到hash table2 3)释放hash table1的空间

优化后,因为主要是2)太耗时了,一个请求把延时都承担了,所以我们可以把这个转移分担到每一个请求操作上:

不同操作的复杂度

 

1.单点操作一般很快,通过hash找到value,然后对其底层数据结构操作即可

2.range sort对于hash table来说很慢,O(N), O(NlogN)。但是对于leveldb这种sorted key就比较友好了。

3.统计操作就是操作元数据

4.最后就是查询末尾啥的。。。

线程模型

都说redis是单线程模型,但这个单线程是指处理get, put,这些操作是单线程,还有很多别的线程IO,background线程。

为啥单线程还是快

1)因为多线程对同一资源的竞争的协调是有代价的,比如cpu cache失效啥的,多线程实际上是这样的

2)IO处理上用了多路复用和非阻塞操作

     

但是还是存在性能瓶颈

 

持久化

AOF日志

注意redis是先内存,后日志,不是WAL,因为redis主要是做缓存用的,不是真的数据库,如果丧失真的数据库的话,这样做可能会导致数据丢失。好处是当前操作不阻塞,但是可能会稍微导致下一个操作阻塞

 

 

 append only file

关于持久化到磁盘的时机有三个可选择的

1)always,修改就写入

2)everysecond,每秒批处理

3)NO 防止内存中,有操作系统决定

但是日志不能无限增加,所以我们要重写,重写就是根据当前内存中有的元素做一个put操作记录,这样就大大减少了日志的大小

 

 AOF重写过程--------------一个拷贝,两处日志

AOF还是有阻塞风险的

 

AOF重写用两个日志是因为防止污染主日志和减少并发竞争。

内存快照

因为我们在日志里面记录的是操作,如果我们运行了一天挂了,那么我们也要跑上一天来恢复,同理一年也是

内存快照-----------1)对哪些做快照2)做快照时redis是否阻塞

1)全量快照,对每个数据都要做

2)不阻塞,通过fork的copy on write技术来处理,复制内存,然后子进程做快照,父进程进行操作,如果修改了key/value的话,子进程就读取key/value的副本

 

 但是内存全量快照负担重,我们可以第一个做全量,后面做增量,也就是快照+AOF的这种结合。就是raft日志快照,和log record一样。

 

 

进程绑核是将一个进程或线程固定到一个或多个特定的CPU核心上,以优化系统性能和资源利用率 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/478601.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

17 图的遍历和应用

文章目录 图的遍历深度优先遍历对于无向图的邻接矩阵的深度优先遍历无向非连通图的深度优先遍历 对于无向图的邻接表的深度优先遍历非递归实现深度优先遍历无向图的邻接矩阵代码实现无向图的邻接表代码实现递归和非递归的同异 广度优先遍历邻接表BFS邻接矩阵BFS 图的应用生成树…

计算机组成原理指令系统习题

(1)解析:考察指令的格式:指令码包含地址码和操作码 寻址特征位包含在操作码中 用于区分不同的寻址方式。 首先确定6种寻址方式 根据2^3>6得出三位寻址地址位,再根据能完成97种操作,所以OP的位数是7位(128&#xff0…

【论文代码阅读】LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS

最近很多工作好像都绕不开lora,无论是sd还是llm.... 1. 背景 问题:大模型重新训练所有模型参数的完全微调变得不太可行。lora在做什么 我们提出了低秩自适应,即LoRA,它冻结预先训练的模型权重,并将可训练的秩分解矩…

【数字图像处理简答题】

目录 1.邻域和邻接有何区别? 2. m邻接的定义是什么?为何要引入m邻接? 3、下图的连通域个数?分别是什么(使用8连通) 4、像素间的距离测度有哪四种,写出其表达式并绘制几何示意图。 5、图像间…

算法套路十三——动态规划DP入门

算法套路十三——动态规划DP入门 动态规划和递归都是通过将大问题分解为较小的子问题来解决问题。它们都可以用来解决具有重叠子问题和最优子结构特性的问题。在很多情况下,动态规划算法的设计可以从递归算法开始,然后通过添加记忆化(Memoiz…

什么是SpringBoot自动配置

概述: 现在的Java面试基本都会问到你知道什么是Springboot的自动配置。为什么面试官要问这样的问题,主要是在于看你有没有对Springboot的原理有没有深入的了解,有没有看过Springboot的源码,这是区别普通程序员与高级程序员最好的…

【五一创作】网络协议与攻击模拟-01-wireshark使用-捕获过滤器

协议 TCP/IP协议簇 网络接口层(没有特定的协议)PPPOE 物理层 数据链路层 网络层:IP (v4/v6) ARP (地址解析协议) RARP ICMP (Internet控制报文协议) IGMP 传输层:TCP(传输控制协议) UDP(用户数据报协议) 应用层:都是基于传输层协议的端口,总共端口0~65535 0~1023 HTTP—t…

2023年第十五届华中杯数学建模赛题浅析

2023年五一假期期间,数学建模竞赛就有四场,各种比赛各种需求应接不暇。因此,对于本次浅析有不足的地方欢迎大家指出。为了更好的帮助大家华中杯选题,首先为大家带来ABC三个题目的浅析,帮助大家更快的选题,提…

DBeaver 没有菜单项 生成SQL Generate SQL

文章目录 Intro问题的根本有无该菜单项取决于你的查询SQL是单表还是多表?单表查询的结果集的菜单多表关联查询的结果集的菜单 测试版本 Intro DBeaver 是一款很棒的多平台、支持多数据源的GUI数据库客户端。 有一个我经常使用的功能就是: 当我查询到一个…

BUUCTF bjdctf_2020_babystack

小白做题笔记而已,不建议阅读 只有一个NX 64为程序用rdi传参 read函数存在栈溢出 shift f12 有system函数调用,并且存在/bin/sh 去找有没有pop rdi ret ROPgadget --binary bjdctf_2020_babystack --only "pop|ret" | grep rdi 0…

『Linux』第九讲:Linux多线程详解(二)_ 线程控制

「前言」文章是关于Linux多线程方面的知识,上一篇是 Linux多线程详解(一),今天这篇是 Linux多线程详解(二),讲解会比较细,下面开始! 「归属专栏」Linux系统编程 「笔者」…

「OceanBase 4.1 体验」|连续多年支撑双11的国产原生分布式数据库

目录 前言 正文 1. OceanBase 4.1发布 2.部署oceanbase 安装环境 2.1下载 all-in-one 安装包 2.2解压安装包 2.3执行安装脚本 2.4设置环境变量 2.5查看文件位置 2.6快速启动demo环境 2.7访问数据库 3.oceanbase的优点 4.oceanbase与 Oracle 兼容性 5.oceanbase与…

王学岗码牛jetpack系列之ViewModel

ViewModel的目的:存储数据,以注重生命周期的方式管理界面的相关数据 viewModel的特性:1,数据持久化,不依赖于Activity的生命周期,有自己独立的生命周期 2,异步回调不会造成内存泄漏 3,隔离Model层与View层 4&#xff0…

EXCEL美化画图,请不要嫌弃excel画图,那是简单上手的不二之选

一、美化折线图 这是测试数据 这是一般人用excel画的折线图 这是二般人用excel画的折线图 具体实施步骤 1.调整成黑色或者灰度 选择灰色图即可 2.修改数据标识符号,并取消网格 注意每根线条都要设置这个数据标记符号 取消网格线很简单,点击网格…

Qt第一天:创建Qt项目

方式一:使用向导创建 打开Qt Creator 界面选择 New Project或者选择菜单栏 【文件】-【新建文件或项目】菜单项 弹出New Project对话框,选择Qt Widgets Application 选择【Choose】按钮,弹出如下对话框 设置项目名称和路径,按照…

【Mysql】基础篇:DQL(data query language):查询数据库中表的记录——select

博主简介:努力学习的大一在校计算机专业学生,热爱学习和创作。目前在学习和分享:数据结构、Go,Java等相关知识。博主主页: 是瑶瑶子啦所属专栏: Mysql从入门到精通近期目标:写好专栏的每一篇文章 目录 一、…

【C++11】多线程+IO流

目录 一、C11线程库 1、每个线程都有独立的栈空间 2、加锁的位置 3、CSA操作 4、C的类模板atomic(原子操作) 5、lock_guard(RAII风格的锁)/unique_lock(可随时释放锁) 6、条件变量(用于互…

微信小程序学习实录1(wxml文档、引入weui、双向数据绑定)

微信小程序学习实录 一、wxml文档二、新建页面快捷方式三、微信小程序引入weui四、双向数据绑定1.wxml渲染层2.js逻辑层 五、微信小程序跳转到H5 一、wxml文档 <!-- index.wxml --> <view><!-- 数据绑定 --><view><text>{{name}}</text>&…

机器学习笔记 基于OpenCV的文本检测和识别模块

一、EAST文本检测器简述 east是一种高效准确的场景文本检测器,网络模型如下。该模型是一个适用于文本检测的全卷积神经网络,输出单词或文本行的密集每像素预测。这就省去了诸如候选建议、文本区域形成和单词分割等中间步骤。后处理步骤仅包括对预测的几何形状进行阈值处理和N…

【分布式】一致性哈希和哈希槽

当我们拥有了多台存储服务器之后&#xff0c;现在有多个key&#xff0c;希望可以将这些个key均匀的缓存到这些服务器上&#xff0c;可以使用哪些方案呢&#xff1f; 1. 普通哈希取模法 1.1 直接哈希取模 这是一种最容易想到的方法&#xff0c;使用取模算法hash&#xff08;k…