逐字节讲解 Redis 持久化（RDB 和 AOF）的文件格式（一）

news2024/11/15 13:04:02

前言

相信各位对 Redis 的这两种持久化机制都不陌生，简单来说，RDB 就是对数据的全量备份，AOF 则是增量备份，而从 4.0 版本开始引入了混合方式，以 7.2.3 版本为例，会生成三类文件：RDB、AOF 和记录 aof 文件的元数据信息文件，如下图所示，这时的 AOF 可以看作是一种差异备份。

image-20231117142130770

接下来本文将结合具体的备份文件，通过分析其结构，从另一种角度来看两种持久化方式的差异。

RDB

首先是对 RDB 全量备份文件的解析，想要生成 RDB 文件，有两种方式，一种是手动方式：使用 save（阻塞）或者 bgsave（非阻塞）命令生成，一种是在配置文件中增加save m n（表示在 m 内，至少出现了 n 次变更就会执行 bgsave 命令）配置来实现。

下面就以一个具体的dump.rdb（在 0 号库中有一条键为 hello，值为 world 的记录）文件为例来解析其文件格式，由于 RDB 文件是二进制格式，这里使用了一个在线的十六进制编辑器进行查看：

image-20231117151039644

下文均是结合 Redis 7.2.3 版本的源码的 rdb.c 文件进行解析，对应源码地址。

0x00 Redis 版本

52 45 44 49 53 30 30 31 31，根据源码snprintf(magic,sizeof(magic),"REDIS%04d",RDB_VERSION);可以看到这里前五位是固定值REDIS，后四位用于标识RDB的版本对应11。

0x01 辅助信息

这部分涉及数据较多，先放出源码：

if (rdbSaveAuxFieldStrStr(rdb,"redis-ver",REDIS_VERSION) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb,"redis-bits",redis_bits) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb,"ctime",time(NULL)) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb,"used-mem",zmalloc_used_memory()) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb, "aof-base", aof_base) == -1) return -1;

结合编辑器右侧的信息，可以发现这部分数据下图中选中的数据：

在这里插入图片描述

  1. redis-ver(Redis 版本)

    这部分对应FA 09 72 65 64 69 73 2D 76 65 72 05 37 2E 32 32 2E 33，其中开头的FA(250)代表这部分数据是 AUX 属性字段，根据源码#define RDB_OPCODE_AUX 250可以了解到。然后是09 72 65 64 69 73 2D 76 65 72，09 代表随后的 9个字节是属性名，即redis-ver，最后是05 37 2E 32 32 2E 33，其中 05 代表随后的 5 个字节是属性名对应的字段值，即 Redis 的版本号7.2.3。

  2. redis-bits（位架构）

    这部分对应FA 0A 72 65 64 69 73 2D 62 69 74 73 C0 40。参考 1 可知开始的FA代表AUX，OA代表随后的 10 字节是属性名，即redis-bits。但是随后的C0就不再是代表值的长度了，这里先说明C0代表后续的一个字节按照整数进行读取，对应0x40（64），即代表是 Redis 的 64位架构。下面我们再来说明为什么会有以上的区别：

    其实代表值长度的不一定只有一个字节，这里会根据前两位进行判断（C0 对应1100 0000）：

    • 如果前两位是 00 ，那么后续的 6 位（可表示 0 ~ 63）就代表实际的字符串长度。

    • 如果前两位是 01，那么接下来的一个字节也会用于表示长度，加上第一个剩下的 6 位，总共 14 位（可表示0 ~ 16383）代表实际的字符串长度。

    • 如果前两位是 10，那么剩下 6 位的值如果是 0，就代表随后的 32 字节代表具体长度，如果剩下 6 位的值是 1，就代表随后的 64 字节代表具体长度。

    • 如果前两位是 11，则需要根据整个字节的值再进行判断，如果是C0就代表将随后的 1 字节表示整数，如果是 C1 就代表随后的 2 字节表示整数，如果是 C2 就代表随后的 4 字节表示整数，如果是C3就代表随后的内容是使用LZF 压缩算法处理后的内容。

  3. ctime（文件创建时间）

    这部分对应FA 05 63 74 69 6D 65 C2 44 11 57 65，参考 1 可知开始的FA代表AUX，05代表随后的 5 字节是属性名，即ctime。参考 2 中解析，可知随后的C2代表后续的 4 字节即44 11 57 65表示整数，由于需要按照小端序读取，因此对应的内容是 0x65571144，即秒级时间戳，如下图所示：

    image-20231120085845280

  4. used-mem（内存使用大小）

    这部分对应FA 08 75 73 65 64 2D 6D 65 6D C2 40 15 12 00，参考 1 可知开始的FA代表AUX，08代表随后的 8 字节是属性名，即used-mem。参考 3 ，可知随后的C2代表后续的 4 字节即40 15 12 00表示整数，对应的内容是 0x00121540，即 Redis 在 创建 rdb 文件前占用的内存是 1185088 字节（1.13 MB）。

  5. aof-base （是否为 aof 基准文件）

    这部分对应FA 08 61 6F 66 2D 62 61 73 65 C0 00，参考 1 可知开始的FA代表AUX，08代表随后的 8 字节是属性名，即aof-base。参考 2 中解析，可知随后的C0代表后续的 1 字节即00表示整数，即该 RDB 文件不是作为 AOF 的基准文件，后文中可以看到在 AOF 中生成的 RDB 文件中该值为 1。

0x02 数据部分

FE 00 FB 01 00 00 05 68 65 6C 6C 6F 05 77 6F 72 6C 64，这部分开始对应具体的数据信息，先展示源码：

/* save all databases, skip this if we're in functions-only mode */
if (!(req & SLAVE_REQ_RDB_EXCLUDE_DATA)) {
    for (j = 0; j < server.dbnum; j++) {
        if (rdbSaveDb(rdb, j, rdbflags, &key_counter) == -1) goto werr;
    }
}

// 以下内容是 rdbSaveDb 函数内的语句

/* Write the SELECT DB opcode */
if ((res = rdbSaveType(rdb,RDB_OPCODE_SELECTDB)) < 0) goto werr;
written += res;
if ((res = rdbSaveLen(rdb, dbid)) < 0) goto werr;
written += res;
/* Write the RESIZE DB opcode. */
unsigned long long expires_size = dbSize(db, DB_EXPIRES);
if ((res = rdbSaveType(rdb,RDB_OPCODE_RESIZEDB)) < 0) goto werr;
written += res;
if ((res = rdbSaveLen(rdb,db_size)) < 0) goto werr;
written += res;
if ((res = rdbSaveLen(rdb,expires_size)) < 0) goto werr;
written += res;

可以看出这部分是遍历所有的数据库内容然后进行保存，下面再结合具体的内容进行介绍。

首先是FE 00，其中FE(254)对应RDB_OPCODE_SELECTDB常量是查询数据库的标志，00即代表 0 号数据库。

然后是FB 01 00，其中FB(251)对应RDB_OPCODE_RESIZEDB常量是查询该数据库大小的标志，根据if ((res = rdbSaveLen(rdb,db_size)) < 0) goto werr;知道01代表数据库的大小，即只有一条数据，根据if ((res = rdbSaveLen(rdb,expires_size)) < 0) goto werr;知道00代表没有包含过期标志的数据。

最后是00 05 68 65 6C 6C 6F 05 77 6F 72 6C 64，代表具体的数据内容。其中开始的00代表类型是字符串，参考源码可知（RDB_TYPE_STRING 的值是 0）：

/* Save the object type of object "o". */
int rdbSaveObjectType(rio *rdb, robj *o) {
    switch (o->type) {
    case OBJ_STRING:
        return rdbSaveType(rdb,RDB_TYPE_STRING);
    case OBJ_LIST:
        if (o->encoding == OBJ_ENCODING_QUICKLIST || o->encoding == OBJ_ENCODING_LISTPACK)
            return rdbSaveType(rdb, RDB_TYPE_LIST_QUICKLIST_2);
        else
            serverPanic("Unknown list encoding");
    case OBJ_SET:
        if (o->encoding == OBJ_ENCODING_INTSET)
            return rdbSaveType(rdb,RDB_TYPE_SET_INTSET);
        else if (o->encoding == OBJ_ENCODING_HT)
            return rdbSaveType(rdb,RDB_TYPE_SET);
        else if (o->encoding == OBJ_ENCODING_LISTPACK)
            return rdbSaveType(rdb,RDB_TYPE_SET_LISTPACK);
        else
            serverPanic("Unknown set encoding");
    case OBJ_ZSET:
        if (o->encoding == OBJ_ENCODING_LISTPACK)
            return rdbSaveType(rdb,RDB_TYPE_ZSET_LISTPACK);
        else if (o->encoding == OBJ_ENCODING_SKIPLIST)
            return rdbSaveType(rdb,RDB_TYPE_ZSET_2);
        else
            serverPanic("Unknown sorted set encoding");
    case OBJ_HASH:
        if (o->encoding == OBJ_ENCODING_LISTPACK)
            return rdbSaveType(rdb,RDB_TYPE_HASH_LISTPACK);
        else if (o->encoding == OBJ_ENCODING_HT)
            return rdbSaveType(rdb,RDB_TYPE_HASH);
        else
            serverPanic("Unknown hash encoding");
    case OBJ_STREAM:
        return rdbSaveType(rdb,RDB_TYPE_STREAM_LISTPACKS_3);
    case OBJ_MODULE:
        return rdbSaveType(rdb,RDB_TYPE_MODULE_2);
    default:
        serverPanic("Unknown object type");
    }
    return -1; /* avoid warning */
}

随后的05 68 65 6C 6C 6F中的 05表示键的长度是5，对应68 65 6C 6C 6F即hello。最后的05 77 6F 72 6C 64代表值的长度也是 5，内容是77 6F 72 6C 64即world。

0x03 尾部信息

FF 18 7F 33 2E 0F C6 20 19，根据源码#define RDB_OPCODE_EOF 255可知，FF(25)是文件的 EOF 即结束标志。随后的 8 位根据源码可知对应 CRC64 校验码：

/* EOF opcode */
if (rdbSaveType(rdb,RDB_OPCODE_EOF) == -1) goto werr;

/* CRC64 checksum. It will be zero if checksum computation is disabled, the
 * loading code skips the check in this case. */
cksum = rdb->cksum;
memrev64ifbe(&cksum);
if (rioWrite(rdb,&cksum,8) == 0) goto werr;

AOF

AOF 用于对数据库的增量备份，如果需要开启，需要将配置文件中的appendonly设置为 yes。同时，根据需要可以，设置appenddirname对应保存的文件夹，设置appendfilename用于配置文件名，设置appendfsync 用于配置频率。开启后，可以在指定的文件夹下看到类似以下的文件结构：

image-20231117142130770

其中 rdb 结尾的代表是 AOF 备份的基准文件，aof 文件是增量备份的执行命令信息，manifest 文件是记录 aof 文件的元数据信息。

0x00 dump.aof.1.base.rdb

通过十六进制编辑器打开该文件，可以发现内容和 RDB 中的格式一致（创建数据前备份的，所以没有数据部分）：

在这里插入图片描述

而由于是 AOF 的基准文件，这里aof-base的值是01即代表是基准文件。

0x01 dump.aof.1.incr.aof

文本文件，内容如下（*开头代表命令包含的参数个数，$开头代表命令的长度）：

*2       // 两个参数
$6       // 第一个参数长度为 6, 对应 SELECT 的长度
SELECT   
$1       // 第二个参数长度为 1, 对应 0, 即 0 号数据库
0
*3       // 三个参数
$3       // 第一个参数长度为 3, 对应 set 的长度
set
$5       // 第二个参数长度为 5, 对应 hello 的长度
hello
$0       // 第三个参数长度为 0

*3       // 三个参数
$3       // 第一个参数长度为 3, 对应 set 的长度
set
$5       // 第二个参数长度为 5, 对应 hello 的长度
hello
$5
world    // 第三个参数长度为 5, 对应 world 的长度

0x02 dump.aof.manifest

文本文件，内容如下：

file dump.aof.1.base.rdb seq 1 type b
file dump.aof.1.incr.aof seq 1 type i

其中seq 1 代表文件序号为 1，type b代表type base即基准文件，type i代表type increment即增量文件。

总结

本文根据一个简单的 RDB 文件讲解了 RDB 文件的存储格式，同时也简单介绍了 AOF 的文件格式。关于 RDB 中的 LZF 压缩算法和更复杂数据的存储方式（包含过期时间，数据类型为 Set，Map）等未作介绍，将留到下次。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1229263.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

6.10二叉树的所有路径（LC257-E，不太会）

6.10二叉树的所有路径（LC257-E，不太会）

算法&#xff1a; 前序遍历&#xff1a; 因为要让父节点指向孩子节点&#xff0c;才能输出路径。 递归与回溯相辅相成&#xff0c;只要有递归&#xff0c;就一定有回溯。 举个例子理解一下&#xff1a; 中&#xff1a;先push入1 左&#xff1a;再Push入2 右&#xff1a;再…
阅读更多...
Linux系统编程 day03 Makefile、gdb、文件IO

Linux系统编程 day03 Makefile、gdb、文件IO

Linux系统编程 day03 Makefile、gdb、文件IO 1. Makefile2. gdb3. 文件IO 1. Makefile Makefile文件中定义了一系列规则来指定哪些文件需要先编译&#xff0c;哪些文件需要后编译&#xff0c;哪些文件需要重新编译&#xff0c;甚至更加复杂的功能操作。Makefile就像一个shell脚…
阅读更多...
详解“协方差”与“相关系数”

详解“协方差”与“相关系数”

引言 PCA的目标对象是矩阵&#xff0c;例如&#xff0c;有m个样本&#xff0c;每个样本有n个特征&#xff0c;那么就可以构造成一个样本矩阵&#xff0c;并转换成矩阵的形式。 PCA的最终目的是减少特征的个数&#xff0c;去掉那些不重要的特征&#xff0c;也就是减小矩阵列向量…
阅读更多...
【LeetCode:689. 三个无重叠子数组的最大和 | 序列dp+前缀和】

【LeetCode:689. 三个无重叠子数组的最大和 | 序列dp+前缀和】

&#x1f680; 算法题 &#x1f680; &#x1f332; 算法刷题专栏 | 面试必备算法 | 面试高频算法 &#x1f340; &#x1f332; 越难的东西,越要努力坚持&#xff0c;因为它具有很高的价值&#xff0c;算法就是这样✨ &#x1f332; 作者简介&#xff1a;硕风和炜&#xff0c;…
阅读更多...
在回调之间共享数据

在回调之间共享数据

可以在 App 中为 UI 组件编写回调函数&#xff0c;以指定用户与其交互时的行为方式。 在具有多个相互依赖的 UI 组件的 App 中&#xff0c;回调函数通常必须访问主 App 函数中定义的数据&#xff0c;或与其他回调函数共享数据。例如&#xff0c;如果创建一个具有列表框的 App&a…
阅读更多...
vue 如何实现粘贴复制功能

vue 如何实现粘贴复制功能

实现粘贴复制功能 vue 实现粘贴复制功能&#xff0c;也可用于app中h5插件&#xff0c;共四种方法&#xff0c;特别推荐第四种方法&#xff0c;具体还需了解根据需求使用 1. 安装第三方插件方法&#xff08;不推荐&#xff09; 这种方法兼容性很好&#xff0c;如果项目只使用了…
阅读更多...
如何自己生成fip.bin在Milkv-duo上跑freertos

如何自己生成fip.bin在Milkv-duo上跑freertos

前言 &#xff08;1&#xff09;PLCT实验室实习生长期招聘&#xff1a;招聘信息链接 &#xff08;2&#xff09;本来是要跑RT-Thread的&#xff0c;搞了很久&#xff0c;一直没成功。哭死&#xff0c;后面mentor通电话&#xff0c;让我先跑一下freertos试试。有可能是因为RT-Th…
阅读更多...
这5款好用的app，能让你生活质量和效率飙升

这5款好用的app，能让你生活质量和效率飙升

随着科技的进步和智能手机的普及&#xff0c;不少好用的手机APP出现让我们的生活更加便捷&#xff0c;也提升了我们的生活质量&#xff0c;带给我们不少惊喜。接下来&#xff0c;让我们一起探索这5款实用APP&#xff0c;看看有没有适合你的&#xff01; 1、粉笔 一款专门备考…
阅读更多...
全屋智能：鱼很大，但水更深

全屋智能：鱼很大，但水更深

1990年&#xff0c;作为世界首富的比尔盖茨&#xff0c;已经对智能家居生活有了明确畅想。他花了7年时间&#xff0c;耗资1亿多美元&#xff0c;在美国西雅图的华盛顿湖东岸&#xff0c;建了一座占地6600平方米的湖滨别墅。在这座被命名为“未来之屋”的豪宅里&#xff0c;到处…
阅读更多...
暖阳脚本_ 将Agent技术的灵活性引入RPA，清华等发布自动化智能体ProAgent

暖阳脚本_ 将Agent技术的灵活性引入RPA，清华等发布自动化智能体ProAgent

RPA暖阳脚本 近日&#xff0c;来自清华大学的研究人员联合面壁智能、中国人民大学、MIT、CMU 等机构共同发布了新一代流程自动化范式 “智能体流程自动化” Agentic Process Automation&#xff08;APA&#xff09;&#xff0c;结合大模型智能体帮助人类进行工作流构建&#x…
阅读更多...
OTP语音芯片 NV080D在智能空气检测仪的应用

OTP语音芯片 NV080D在智能空气检测仪的应用

随着人们对健康和环保的关注度不断提高&#xff0c;人们对看不见的家居环境也越来越重视。智能空气检测仪的市场需求也在不断增长中&#xff0c;呈现稳中向好的趋势。智能空气检测仪能够检测室内空气中的PM2.5、甲醛、TVOC等有害物质&#xff0c;同时还可以检测温湿度、空气质量…
阅读更多...
亚马逊云科技帮助客户在云中构建具有高可靠性和韧性的应用程序

亚马逊云科技帮助客户在云中构建具有高可靠性和韧性的应用程序

在一个理想的世界里&#xff0c;一切都非常完美&#xff0c;并且一直都在顺畅运作。早晨的通勤没有交通堵塞&#xff0c;最喜欢的停车位一直空着&#xff0c;一杯温度适宜的饮料&#xff0c;生活一帆风顺&#xff0c;没有任何中断。在需要时&#xff0c;您能得到所需的东西。但…
阅读更多...
如何简单挖掘公益SRC？

如何简单挖掘公益SRC？

目录 1、寻找漏洞 1)谷歌语法 2)fofa 2、挖掘漏洞 3、提交报告 第一步&#xff1a;“标题”和“厂商信息”和“所属域名” 第二步&#xff1a;其它内容 第三步&#xff1a;复现步骤 0、IP域名归属证明 1、漏洞页 2、该干啥 3、注入的结果 4、上榜吉时 时间&#x…
阅读更多...
多视图聚类的论文阅读（一）

多视图聚类的论文阅读（一）

当聚类的方式使用的是某一类预定义好的相似性度量时&#xff0c; 会出现如下情况&#xff1a; 数据聚类方面取得了成功&#xff0c;但它们通常依赖于预定义的相似性度量&#xff0c;而这些度量受原始方法的影响:当输入维数相对较高时&#xff0c;往往是无效的。 1. Deep Mult…
阅读更多...
asp.net校园二手交易平台系统VS开发sqlserver数据库web结构c#编程计算机网页

asp.net校园二手交易平台系统VS开发sqlserver数据库web结构c#编程计算机网页

一、源码特点 asp.net校园二手交易平台系统 是一套完善的web设计管理系统&#xff0c;系统采用mvc模式&#xff08;BLLDALENTITY&#xff09;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。开发环境为 vs2010&#xff0c;数据库为sqlserver2008&a…
阅读更多...
网络渗透测试（TCP/IP）理论篇

网络渗透测试（TCP/IP）理论篇

TCP/IP体系 垂直服务&#xff1a;底层为高层服务 TCP/IP体系结构是一个分层的协议体系&#xff0c;由多个层次组成&#xff0c;每个层次都负责不同的功能。以下是TCP/IP体系结构的主要层次&#xff1a; 物理层&#xff08;Physical Layer&#xff09;&#xff1a;该层负责传输…
阅读更多...
15篇MyBatis-Plus系列集合篇「值得收藏学习」

15篇MyBatis-Plus系列集合篇「值得收藏学习」

历史文章&#xff08;文章累计490&#xff09; 《国内最全的Spring Boot系列之一》 《国内最全的Spring Boot系列之二》 《国内最全的Spring Boot系列之三》 《国内最全的Spring Boot系列之四》 《国内最全的Spring Boot系列之五》 《国内最全的Spring Boot系列之六》 M…
阅读更多...
向量数据库——AI时代的基座

向量数据库——AI时代的基座

1.前言 向量数据库在构建基于大语言模型的行业智能应用中扮演着重要角色。大模型虽然能回答一般性问题&#xff0c;但在垂直领域服务中&#xff0c;其知识深度、准确度和时效性有限。为了解决这一问题&#xff0c;企业可以利用向量数据库结合大模型和自有知识资产&#xff0c;…
阅读更多...
金属压块液压打包机比例阀放大器

金属压块液压打包机比例阀放大器

液压打包机是机电一体化产品&#xff0c;主要由机械系统、液压控制系统、上料系统与动力系统等组成。整个打包过程由压包、回程、提箱、转箱、出包上行、出包下行、接包等辅助时间组成。市场上液压打包机主要分为卧式与立式两种&#xff0c;立式废纸打包机的体积比较小&#xf…
阅读更多...
释放固态继电器的力量：主要优势和应用

释放固态继电器的力量：主要优势和应用

固态继电器&#xff08;SolidStateRelay&#xff0c;缩写SSR&#xff09;&#xff0c;是由微电子电路&#xff0c;分立电子器件&#xff0c;电力电子功率器件组成的无触点开关。用隔离器件实现了控制端与负载端的隔离。固态继电器的输入端用微小的控制信号&#xff0c;达到直接…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023