【Redis】Redis数据库的实现原理

news2025/4/16 21:56:50

 在之前的文章我们介绍过,Redis服务器在启动之初,会初始化RedisServer的实例,在这个实例中存在很多重要的属性结构,同理本篇博客中介绍的数据库实现原理也会和其中的某些属性相关,我们继续看一下吧。

1.服务器和客户端实现的数据库

 Redis服务器在启动时,会根据redis.conf文件的中databases xx这个配置决定创建多少个数据库(默认配置是16),启动后默认使用的0号数据库,当然可以使用select dbnum这个命令来切换。需要注意的是在redis集群模式下,只有0号数据库可以用,是无法切换到其他库的。
 Redis服务器会将所有的数据库都保存在服务器状态的redisServer的db数组中,数组的每一项都代表了一个数据库,用redisDb结构来表示,首先看一下redisServer.db的源码:

struct redisServer {
	...
	// 代表数据库的数组
    redisDb *db;
    // 这个记录的配置文件中数据库的数量
	int dbnum;  
    ...
}

 我们通过客户端向Redis写入的任何数据都会记录到这个db数组中,根据前面描述,我们知道可以通过select命令切换到另一个目标数据库,但是客户端是怎么记录的它当前操作的哪个数据库呢?我们继续看一下源码:

typedef struct client {
    ...
    // 指针指向当前客户端正在操作的数据库
    redisDb *db;            /* Pointer to currently SELECTed DB. */
	...
} client;

 看,在client客户端状态中,有一个db指针,指向了server.db数组中的某一项,代表了当前客户端正在操作的数据库。所以通过切换client.db的指针,调整客户端操作的数据库,这就是select命令的实现原理。
在这里插入图片描述

2.数据库字典的实现

 Redis是支持key-value键值对存储的,这其实是通过dict结构来实现的,在前面讲到的内容中,服务器和客户端都指向了一个redisDb的结构,在这个db结构中,就包含存储了键值对的字典结构,首先看一下源码:

typedef struct redisDb {
	...
	// 这个存放的就是键值对
    dict *dict;                 /* The keyspace for this DB */
    // 这个存放的是键值对的过期时间,下面一节会说到
    dict *expires;              /* Timeout of keys with a timeout set */
    ...
} redisDb;

 dict这个指针就指向了存储键值对的字典结构,key是字符串robj类型,value可以是任何的robj类型。当我们分别新增、删除、更新或者查询的时候,其实就是根据输入的key在这个字典上做curd的操作。我们在Redis写入两个键值对,图示如下:
在这里插入图片描述
 除了对数据库键值对的curd操作,基于整个数据操作的一些命令也是在这个dict上面实现的,比如清空所有键值对的flushdb,或者exists、del、dbsize命令等等。在执行命令前后,redis还会执行一些其他操作,比如检查是否超出最大内存,更新lru时间,记录慢查询日志,或者向monitor客户端发送命令等等,这就是redis数据字典的实现原理。

3.键值对的生命周期管理

 这里说的生命周期,其实就是指键值对的过期时间。通常我们使用expire key这个命令设置键的过期时间,但其实Redis是有四个命令支持设置过期时间的:

  • expire key seconds 将key的生命周期设置为second秒;
  • pexpire key milliseconds 将key的生命周期设置为milliseconds毫秒;
  • expireat key timestamp 将key的过期时间设置在timestamp这个秒的时间戳过期;
  • pexpireat key timestamp 将key的过期时间设置在timestamp这个毫秒的时间戳过期;

 值得说明的是,虽然有这么多命令支持设置过期时间,但是最终经过转换都是指向pexpireat这一个命令来实现。现在的问题是,这么多键值对的过期时间,在redis服务端是怎么保存和维护的呢?
 前面在看redisDb源码的时候,有一个expires属性,我们再把源码拿过来看一下:

typedef struct redisDb {
	...
    // 这个存放的是键的过期时间
    dict *expires;              /* Timeout of keys with a timeout set */
    ...
} redisDb;

 这就很清晰了,通过expires这个指针,指向了一个dict结构,字典中记录的就是所有键值对的过期时间。其中,key是键值对的键,value是long类型的毫秒精度的unix时间戳,即过期的时间点。值得注意的是,保存键值对的dict字典和保存过期时间的expires字典,key指针都指向相同的一个键字符串对象,所以在内存空间上是不会存在浪费的。
在这里插入图片描述

 除此之外,跟过期时间操作相关的两个命令,当然也是基于expires这个字典来实现的:

  • ttl 返回键值对的剩余时间
  • persist删除键值对的过期时间

4.过期键的管理策略

 既然有过期时间,那么键值对过期之后,是不是立即被删除了呢?答案肯定不是,redis通过惰性删除和定期删除两种策略实现对过期键的管理:

  • 惰性删除策略:当程序访问到某个键值对的时候,会对过期时间检查,如果过期就删除,否则不处理。
  • 定期删除策略:基于serverCron时间事件函数,从一定数量的数据库中取出一定数量的随机键进行检查,并删除其中过期的键值对。

 使用这两种过期键管理策略可以最大程度上在合理使用CPU时间和避免浪费内存空间之间取得平衡。

5.持久化对过期键的处理

  • rdb 持久化
    • save或者bgsave会检查键的过期时间,已过期的键不会保存到的持久化的rdb文件中。
    • 服务器启动载入rdb文件时,如果是主服务器,过期键会被忽略加载;如果是从服务器,不论是否过期,都会被加载。
  • aof 持久化
    • 写入aof文件时,key是会写入的,过期之后,通过追加del命令,才会显示的删除此过期键。
    • bgrewriteaof 重写时会检查键的过期时间,已过期的键不会写入新的aof文件中。
    • 服务器启动载入aof文件时,过期键也会被忽略,不会被加载。

6.主从复制对过期键的处理

 主从复制,为了保证数据的一致性,通常由主服务器执行更新的操作,然后将命令发送给从服务器。在3.2版本之前,由于惰性删除策略的存在,主服务器遇到对过期键的访问,会删除此键值对,并给客户端返回null值,但是从服务器由于不能执行删除操作,即便是此键已过期,也会返回对应的value值,出现数据不一致导致的脏读问题。
 在3.2版本之后,这个问题得到了修改,从服务器会判断当前键是否过期,如果已过期并且是从服务器的话,也会返回null值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/18780.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【设计模式】 - 创建者模式 - 原型模式

目录标题1. 原型模式1.1 概述1.2 结构1.3 实现1.4 浅克隆Demo1:基本类型Demo2:引用类型浅克隆总结:1.5 深克隆实现方式1:浅克隆嵌套1. Address类实现Cloneable接口,重写clone方法;2. 在Customer类的clone方法中调用Add…

[附源码]SSM计算机毕业设计智慧教室预约JAVA

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

2019年1+X 证书 Web 前端开发中级理论考试——易错题、陌生但又会考到的题目原题+答案

文章目录 🎯关于1X标准 🎯关于中级考点 ❗❗❗注意: 理论题题型包括单选题、多选题、判断题。 ❗注意:题目序号没有修改 ❗红色的选项才是正确答案 ❗如果题目后面没有红色的选项,那么括号里面的答案是正确的 …

Unity游戏Mod/插件制作教程01 - BepInEx的安装和使用

前言 本章节为没有使用过BepInEx的同学进行BepInEx的安装和使用方面的介绍,如果你之前已经使用过并了解如何使用,可以直接跳过本章节。 BepInEx下载 BepInEx的Github链接 https://github.com/BepInEx/BepInEx/releases 一共有3种版本,BepIn…

Hive环境搭建

3.1 Hive环境搭建 3.1.1 Hive引擎简介 Hive引擎包括:默认MR、tez、spark Hive on Spark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。 Spark on Hive : Hi…

人人开源后台项目maven构建(yyds)

人人开源后台项目maven构建(yyds) npm run serve 和 npm run dev 的区别在日常运行vue 项目中 在终端 运行命令有时用到 npm run serve 有时是 npm run dev。那么,什么时候用到 serve ,什么时候用到 dev 呢? 他们的区别是什么?一…

【学习笔记】《Python深度学习》第四章:机器学习基础

文章目录1 机器学习的四个分支1.1 监督学习1.2 无监督学习1.3 自监督学习1.4 强化学习2 评估机器学习模型2.1 训练集、验证集和测试集2.2 注意事项3 数据预处理、特征工程和特征学习3.1 神经网络的数据预处理3.2 特征工程4 过拟合与欠拟合4.1 减小网络大小4.2 添加权重正则化4.…

postgresql安装配置和基本操作

1.安装 linux上安装 最好是centos7.6或者7.8, 参考官网 PGSQL的官方地址:PostgreSQL: The worlds most advanced open source database PGSQL的国内社区:PostgreSQL中文社区:: 世界上功能最强大的开源数据库... 点击download PostgreSQ…

【Struts2】二_Struts2参数映射、核心配置文件struts.xml中的标签与属性的使用

文章目录Struts2一、参数映射:▶传递基本数据类型:▶传递对象二、核心配置文件struts.xml:2.1、constant标签2.2、package标签2.3、action标签三、Action配置:3.1、Action简介:3.2、继承ActionSupport类:3.…

JAVA初阶——继承和多态

目录 一、继承 1、定义: 2、用法: 3、使用从父类继承的成员 (1)、子类使用从父类继承的成员变量 (2)、子类使用从父类继承的成员方法 4、super (1)、定义: 5、子…

ID3算法

目录 ID3算法 例子 ID算法总结 ID3算法 ID3算法是在每个结点处选取能获得最高信息增益的分支属性进行分裂 在每个决策结点处划分分支、选取分支属性的目的是将整个决策树的样本纯度提升 衡量样本集合纯度的指标则是熵; 举例来说,如果有一个大小为10的…

被裁后,狂刷607页JUC源码分析笔记,立马拿蚂蚁offer

前言 可能大家最近,在公众号,或者各大自媒体平台,都能够刷到,因为疫情美国经济面临结构性衰退,美联储疯狂印钞导致世界性经济波动,导致国际环境不是很好,也间接影响到了中国,中国也…

跟艾文学编程《Python基础》(2)Python 容器

作者: 艾文,计算机硕士学位,企业内训讲师和金牌面试官,公司资深算法专家,现就职BAT一线大厂。 邮箱: 1121025745qq.com 博客:https://wenjie.blog.csdn.net/ 内容:跟艾文学编程《Pyt…

JAVA微服务场景下分布式日志收集排查问题实战

问题产生的根由?不同服务的日志存在哪里?我们怎么去排查线上问题? 问题场景:我们部署的java服务可能有几十个,不同的项目里面他是看不到别的服务的日志,只有服务的返回msg消息,相比传统的单体服…

计算机体系结构:1.1.系统加速比计算例题

文章目录题目内容题目分析题目求解题目内容 假设在某程序的执行过程中,浮点操作时间占整个执行时间的10%,现希望对浮点 操作加速 。 (1)设对浮点操作的加速比为Sf,请推导出程序总的加速比S和Sf之间的关系表达式&#…

IoU的计算实现详解(基于Python)

文章目录1. 交并比(IoU)2.原理3.代码实现1. 交并比(IoU) 具体来说,它是两边界框相交部分面积与相并部分面积之比,如下所示: 也就是两个框的交集和两个框的并集之比。 2.原理 这里详细解释一…

如何安装与配置Node.js

Node.js发布于2009年5月,由Ryan Dahl开发,是一个基于Chrome V8引擎的JavaScript运行环境,使用了一个事件驱动、非阻塞式I/O模型, 让JavaScript 运行在服务端的开发平台,它让JavaScript成为与PHP、Python、Perl、Ruby等…

使用轻量应用服务器搭配宝塔面板搭建可道云kodbox私有云网盘的方法教程

你是否有过网盘下载速度只有十几KB,时不时出现网盘的文件被删除的问题,不如自己搭建一个云网盘吧,只需要一云服务器,即可搭建一个跟某度云一样的云盘。可以自由下载,不限制网速,随时都可上传下载。这篇文章…

nginx+redis+jvm三级缓存设计与落地实现

由于涉及到个人隐私,使用的是阿里云平台,所以下面的IP地址和密码我都做了修改。不是真实的地址。此模拟秒杀商品列表信息缓存案例实现的技术解决方案。 远程环境1版本操作系统ubuntu22.04openresty1.21.4.1jdkOracle JDK17IP192.168.1.1远程环境2版本redis7.0.5Springboot2.5…

149. SAP UI5 Table 控件数据进行 Excel 导出时如何进行格式控制

文章目录 字符串类型的显示控制数值类型(Number)的值显示控制日期和时间显示的格式控制布尔值的显示控制BigNumber 和百分比数值的显示总结本教程的前一步骤,我们成功的将 sap.m.Table 控件里显示的数据导出到了本地 Excel 文件中。 下图是使用 sap.m.Table 显示的表格页面:…