Redis客户端命令到服务器底层对象机制的完整流程?什么是Redis对象机制?为什么要有Redis对象机制?

news2025/4/8 5:51:47

Redis客户端命令到服务器底层对象机制的完整流程

客户端 → RESP协议封装 → TCP传输 → 服务器事件循环 → 协议解析 → 命令表查找 → 对象机制 → 动态编码 → 数据结构操作 → 响应编码 → 网络回传 

Redis客户端命令到服务器底层对象机制的完整流程可分为协议封装、命令解析、多态执行、内存操作四个阶段。以下是结合RESP协议规范、对象机制和命令处理源码的详细流程分析:

一、客户端命令发送阶段

  1. 命令序列化
    客户端将用户输入的指令(如HSET user:1 name "Alice")按RESP协议编码为二进制格式。例如:

    *4\r\n$4\r\nHSET\r\n$6\r\nuser:1\r\n$4\r\nname\r\n$5\r\nAlice\r\n 
    

    其中*4表示4个参数段,$n表示后续字符串长度。

  2. 网络传输
    通过TCP套接字将序列化后的数据发送至Redis服务器。客户端可能使用连接池管理多个连接,支持超时重连机制。

二、服务器协议解析阶段

  1. 读取输入缓冲区
    服务器通过I/O多路复用检测到可读事件后,将协议数据存入客户端状态client的输入缓冲区querybuf,最大限制1GB(超限关闭连接)。

  2. 参数解析
    按RESP协议解码,分割出命令参数存入argv数组。例如解析出["HSET","user:1","name","Alice"],参数个数存入argc

  3. 命令表查找
    根据argv[0](命令名)在全局命令字典commandTable中查找对应的redisCommand结构,验证权限、参数个数等。例如HSET对应实现函数hsetCommand

三、对象机制与多态执行阶段

  1. 键对象检索
    在数据库字典中查找键user:1对应的redisObject

    robj *keyobj = lookupKeyWrite(c->db, c->argv[1]);
    

    若不存在则创建新对象,类型由命令决定(此处为OBJ_HASH)。

  2. 类型与编码检查

    • 验证redisObject.type是否匹配命令要求(如哈希命令需OBJ_HASH类型)。
    • 根据当前redisObject.encoding选择底层数据结构操作函数(如ziplisthashtable)。
  3. 动态编码转换
    若数据特征触发阈值(如哈希元素超过hash-max-ziplist-entries),执行编码转换:

    if (hashTypeLength(o) > server.hash_max_ziplist_entries)
        hashTypeConvert(o, OBJ_ENCODING_HT);
    

    此过程涉及数据迁移和旧结构内存释放。

  4. 执行底层操作
    调用编码对应的函数操作数据结构。例如哈希表使用dictReplace插入键值对:

    dictEntry *de = dictAddRaw(dict, field, &existing);
    dictSetVal(dict, de, value);
    

四、响应返回与内存管理

  1. 结果写入输出缓冲区
    操作结果按RESP协议编码后存入客户端bufreply链表。例如返回":1\r\n"表示成功插入1个元素。

  2. 内存回收与共享

    • 通过refcount引用计数自动回收无引用对象。
    • 小整数等共享对象直接复用,减少内存分配。
  3. 数据同步
    若开启AOF或主从复制,将命令追加到AOF缓冲区或发送给从节点。

什么是Redis对象机制?为什么要有Redis对象机制?

Redis对象机制是其实现多态数据结构和高效内存管理的核心设计,通过统一的对象模型(redisObject)封装了所有数据类型,对外提供一致的接口,同时支持多种底层编码的动态切换。

一、为什么需要对象机制?

  1. 统一接口与多态支持

    • Redis支持5种基础数据类型(字符串、列表、哈希、集合、有序集合),每种类型可能有多种底层实现(如哈希表可用ziplisthashtable)。对象机制通过redisObject统一封装,使得命令处理时无需关心具体实现,只需根据类型和编码调用对应函数,实现多态性。
  2. 灵活优化内存与性能

    • 根据数据特征动态选择最优编码。例如:
      • 小规模哈希使用ziplist节省内存,大规模时切换为hashtable提升操作效率。
      • 字符串根据长度选择intembstrraw编码,减少内存碎片。
  3. 内存管理与共享对象

    • 通过引用计数(refcount)自动回收无引用对象,避免内存泄漏。
    • 预创建常用共享对象(如0-9999的整数),减少重复分配,节省内存。
  4. 类型检查与安全

    • 执行命令前检查redisObjecttype属性,防止对错误类型执行操作(如对字符串执行列表命令)。

二、对象机制的核心:redisObject结构

typedef struct redisObject {
    unsigned type:4;      // 数据类型(如OBJ_STRING)
    unsigned encoding:4;  // 编码方式(如OBJ_ENCODING_INT)
    unsigned lru:24;      // 最近访问时间(用于LRU淘汰)
    int refcount;         // 引用计数 
    void *ptr;            // 指向实际数据结构的指针 
} robj;
  1. 关键属性解析

    • type(4位):标识数据类型,包括OBJ_STRINGOBJ_LIST等5种。
    • encoding(4位):决定底层数据结构,如ziplistskiplist等11种编码方式。
    • ptr:指向具体数据结构(如SDS字符串、quicklist列表)的内存地址。
    • refcount:引用计数,为0时触发内存回收;>1时表示共享对象。
    • lru:记录对象最后一次被访问的时间,用于内存淘汰策略(如maxmemory配置)。
  2. 编码方式与底层结构

    数据类型可能的编码方式适用场景
    字符串(String)intembstrraw整数值、短字符串(≤44B)、长字符串
    列表(List)quicklist所有列表操作
    哈希(Hash)ziplisthashtable小哈希(字段少且值小)、大哈希
    集合(Set)intsethashtable整数集合、混合类型集合
    有序集合(ZSet)ziplistskiplist+dict小规模有序集合、大规模需范围查询

三、对象机制的工作流程

  1. 创建对象

    • 根据数据类型和内容选择初始编码,如字符串若为整数则用int编码。
  2. 执行命令

    • 检查type是否匹配命令要求(如LPOPOBJ_LIST类型)。
    • 根据encoding选择底层数据结构的处理函数(如ziplisthashtable的插入逻辑)。
  3. 动态编码转换

    • 数据变化触发编码切换。例如哈希字段数超过hash-max-ziplist-entries时,从ziplist转为hashtable
  4. 内存回收与共享

    • 引用计数归零时,释放ptr指向的数据结构内存。
    • 预创建的共享对象(如小整数)被多个键共享,减少重复创建。

四、示例:字符串对象的多编码实现

  • int编码:存储整数值(如SET key 100),直接复用ptr指针存储数值。
  • embstr编码:短字符串(≤44字节)连续存储redisObjectSDS,减少内存分配次数。
  • raw编码:长字符串使用独立分配的SDS结构,支持动态扩容。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2330242.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ModuleNotFoundError: No module named ‘pandas‘

在使用Python绘制散点图表的时候,运行程序报错,如图: 报错显示Python 环境中可能没有安装 pandas 库,执行pip list命令查看,果然没有安装pandas 库,如图: 执行命令:python -m pip in…

【教程】MacBook 安装 VSCode 并连接远程服务器

目录 需求步骤问题处理 需求 在 Mac 上安装 VSCode,并连接跳板机和服务器。 步骤 Step1:从VSCode官网(https://code.visualstudio.com/download)下载安装包: Step2:下载完成之后,直接双击就能…

Unet网络的Pytorch实现和matlab实现

文章目录 一、Unet网络简介1.1 输入图像1.2 编码器部分(Contracting Path)1.3 解码器部分(Expanding Path)1.4 最后一层(输出)1.5 跳跃连接(Skip Connections) 二、Unet网络的Pytorc…

【合新通信】相控阵雷达RFoF方案的应用

一、相控阵雷达为何需要RFoF? 核心需求驱动 分布式部署:相控阵雷达(AESA/PESA)的T/R模块需分散布局(如舰载雷达阵面、卫星载荷),传统同轴电缆导致重量和损耗剧增。高频段挑战:X/Ku/…

原理图输出网表及调入

一、输出网表操作步骤 (1)选中.dsn文件,选者N或进入tools下拉列表选择Creat Netlists (2)导出网表后的文件 二、网表的导入 (1)执行菜单命令“File-Import-Logic/netlist”,将原理…

TDengine JAVA 语言连接器

简介 本节简介 TDengine 最重要且使用最多的连接器, 本节内容是以教科书式方式列出对外提供的接口及功能及使用过程中要注意的技术细节,大家可以收藏起来做为今后开发 TDengine 的参考资料。 taos-jdbcdriver 是 TDengine 的官方 Java 语言连接器,Java…

【NLP 55、实践 ⑬ LoRA完成NER任务】

目录 一、数据文件 二、模型配置文件 config.py 三、数据加载文件 loader.py 1.导入文件和类的定义 2.初始化 3.数据加载方法 代码运行流程 4.文本编码 / 解码方法    ① encode_sentence(): ② decode(): 代码运行流程 ③ padding(): 代码…

【蓝桥杯】Python大学A组第十五届省赛

1.填空题 1.1.拼正方形 问题描述 小蓝正在玩拼图游戏,他有个的方块和个的方块,他需要从中挑出一些来拼出一个正方形。 比如用个和个的方块可以拼出一个的正方形;用个的方块可以拼出一个的正方形。 请问小蓝能拼成的最大的正方形的边长为多少。 import math # 2*2的个数 a =…

小球反弹(蓝桥杯C语言)

有一长方形,长为 343720343720 单位长度,宽为 233333233333 单位长度。在其内部左上角顶点有一小球 (无视其体积),其初速度如图所示且保持运动速率不变,分解到长宽两个方向上的速率之比为 dx:dy15:17dx:dy15:17。小球碰到长方形的…

HarmonyOS-ArkUI Ability进阶系列-UIAbility与各类Context

UIAbility及相关类关系 一个模块编译的时候会出一个HAP包, 每一个HAP包在运行时都对应一个AbilityStage。 AbilityStage持有一个AbilityStageContext一个APP, 有时候会有很多个HAP包, 至少一个。 一个APP运行时,对应的是我们的App…

剑指Offer(数据结构与算法面试题精讲)C++版——day4

剑指Offer(数据结构与算法面试题精讲)C版——day4 题目一:和为k的子数组题目二:0和1个数相同的子数组题目三:左右两边子数组的和相等 题目一:和为k的子数组 结合前面着重阐述的双指针法这一经典的算法技巧&…

WebRTC技术简介及应用场景

写在前面 本文是参考稀土掘金的文章,整理得出,版权归原作者所有!参考链接请点击跳转 WebRTC(Web Real-Time Communication) 是一项开源技术,允许浏览器和移动应用直接进行实时音视频通信和数据传输,无需安装插件或第三方软件。它…

介绍几种创意登录页(含完整源码)

今天为大家收集了几种不同风格的登录页,搭配动态渐变背景,效果绝对惊艳! CSS3实现动态渐变玻璃拟态登录页 一、开篇语 纯CSS实现当下最火的玻璃拟态(Morphism)风格登录页,搭配动态渐变背景,效果绝对惊艳! …

Uni-app入门到精通:uni-app的基础组件

1、view view是容器组件&#xff0c;类似于HTML中的<div></div>标签&#xff0c;用于包裹各种元素内容&#xff0c;是页面布局常用的组件。view组件的属性如下 属性类型默认值说明hover-classStringnone指定按下去的样式类。当hover-class"none"时&…

大文件上传源码,支持单个大文件与多个大文件

大文件上传源码&#xff0c;支持单个大文件与多个大文件 Ⅰ 思路Ⅱ 具体代码前端--单个大文件前端--多个大文件前端接口后端 Ⅰ 思路 具体思路请参考我之前的文章&#xff0c;这里分享的是上传流程与源码 https://blog.csdn.net/sugerfle/article/details/130829022 Ⅱ 具体代码…

C语言--插入排序

插入排序&#xff1a;简单而高效的排序算法 在计算机科学中&#xff0c;排序是一种常见的操作&#xff0c;用于将一组数据按照特定的顺序排列。插入排序&#xff08;Insertion Sort&#xff09;是一种简单直观的排序算法&#xff0c;它的工作原理类似于我们整理扑克牌的过程。…

L2-024 部落 #GPLT,并查集 C++

文章目录 题目解读输入格式输出格式 思路Ac Code参考 题目解读 我们认为朋友的朋友都算在一个部落里&#xff0c;于是要请你统计一下&#xff0c;在一个给定社区中&#xff0c;到底有多少个互不相交的部落&#xff1f;并且检查任意两个人是否属于同一个部落。 输入格式 第一…

在线记事本——支持Markdown

项目地址 https://github.com/Anyuersuper/CloudNotebook 百度网盘 通过网盘分享的文件&#xff1a;CloudNotebook-master.zip 链接: https://pan.baidu.com/s/1_Y--aBzNkKiFRIMHYmwPdA?pwdyuer 提取码: yuer &#x1f4dd; 云笔记 (Cloud Notebook) 云笔记是一个简洁、安全…

Day2:前端项目uniapp壁纸实战

先来做一个轮番图。 效果如下&#xff1a; common-style.css view,swiper,swiper-item{box-sizing: border-box; } index.vue <template><view class"homeLayout"><view class"banner"><swiper circular indicator-dots autoplay…

LeetCode Hot100 刷题笔记(3)—— 链表

目录 前言 1. 相交链表 2. 反转链表 3. 回文链表 4. 环形链表 5. 环形链表 II 6. 合并两个有序链表 7. 两数相加 8. 删除链表的倒数第 N 个结点 9. 两两交换链表中的节点 10. K 个一组翻转链表 11. 随机链表的复制 12. 排序链表 13. 合并 K 个升序链表 14. LRU 缓存 前言 一、…