redis 字典的实现

news2024/11/15 0:08:11

1.数据结构

节点数据结构

因为是基于开链法的哈希表实现,所以需要维护了一个next节点

typedef struct dictEntry {
    void *key;
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
        double d;
    } v;
    struct dictEntry *next;
} dictEntry;

复制

哈希表数据结构

其中size是当前哈希表的大小,used是当前使用的大小,size会根据当前used的大小来做相应的调整,调整的过程就是字典动态扩容的过程,具体过程下面会描述。sizemask=size-1,是用来做掩码的,哈希算法算出的index,通过index&sizemask操作来代替除留余数,这么做的原因是&操作比%更快。

typedef struct dictht {
    dictEntry **table;
    unsigned long size;
    unsigned long sizemask;
    unsigned long used;
} dictht;

复制

字典数据结构

type是函数指针类型,封装了哈希函数,key比较函数,释放内存函数等等。一个高效的哈希函数能保证哈希的结果尽量均匀分布,redis中的字符串哈希算法便是著名的开源算法MurmurHash2,但是因为上层的有不同的数据结构,所以实现了不同的哈希函数。字典中维护两张哈希表,主要是用来做动态rehash的,rehashidx便是两张表动态rehash的索引。iterators是当前迭代器的个数,具体后面会详细介绍。

typedef struct dict {
    dictType *type;
    void *privdata;
    dictht ht[2];
    long rehashidx; /* rehashing not in progress if rehashidx == -1 */
    int iterators; /* number of iterators currently running */
} dict;

复制

字典定义整体的结构图如下:

2.特性介绍

redis的字典实现了很多特别的东西,花式造轮子的根本原因还是从时间与空间上做考量。

动态扩容/缩容

redis的数据都是放在第一张哈希表中ht[0]中的,所谓的动态扩容就是说ht[0]那张哈希表快不够用的时候,目前是used/size > 5的时候,使用ht[1]来扩大哈希表的容量。这其中有两种方式,一种是redis提供了显示的扩容的接口dictExpand,供外部调用,另外一种是在添加数据的时候调用_dictExpandIfNeeded,以此来判断是否需要扩容。缩容就是当前哈希表使用率 used/size 低于某个值时,目前这个值是10%,利用ht[1]缩小哈希表的容量。扩容和缩容的操作就是rehash的过程。

rehash+渐进式

rehash就是将第一张ht[0]的数据迁移到ht[1]的过程,rehash实现了两种策略,一种是在定时器的每个tick里面,执行databasesCron操作的时候,还有一种是在增加查找删除等字典操作的时候执行,这样的过程可以保证rehash的时候不会阻塞redis服务器,对用户来说,也是无感知的。rehash的过程中维护了一个索引,就是上面介绍的字典结构中的rehashidx,使用这个索引遍历ht[0],将数据无缝迁移到ht[1]。因为在rehash中的任何时刻,一个节点只能存在其中一张哈希表中,所以每次操作都需要处理两张表。

迭代器

redis里面的字典实现了两种迭代器,一种是安全的迭代器,一种是普通的迭代器。所谓安全就是指在迭代的过程中可以执行添加查找等操作,非安全的迭代器就是只能执行迭代操作。其实本质上就是安全的迭代器会给dict设置iterators++(dict里面的变量),这样字典的各种操作就不会执行rehash操作,如果在迭代的过程中执行了rehash,迭代索引就会错乱。

3.接口介绍

dict *dictCreate(dictType *type, void *privDataPtr);

复制

创建字典,目前redis中用到字典的地方有很多,包括全量的key,超时的key等等db中的kv, 命令回调表,hash结构,set结构,sortset结构等等。

int dictAdd(dict *d, void *key, void *val);

复制

添加数据,前面说到会执行rehash操作,并且如果字典底层正在rehash,索引的计算会读取两张表来判断,并且数据只会添加到第二张表里面。

dictEntry *dictFind(dict *d, const void *key)

复制

查找数据,和添加数据很类似,唯一的区别是查找数据的时候不会计算是否需要扩容。

int dictDelete(dict *d, const void *key);

复制

删除数据,和添加数据的过程类似,但是在删除数据的过程中不做缩容操作,缩容是上层负责主动调用缩容接口htNeedsResize和dictResize。

dictEntry *dictNext(dictIterator *iter)

复制

迭代字典,搭配dictGetIterator或者dictGetSafeIterator操作,前面有说到安全迭代器和非安全迭代器的区别,非安全的迭代器在初次迭代的时候会计算一个哈希值,释放迭代器的时候assert这个哈希值是否被改变了。

总结

redis字典的实现有很多有趣的特性,包括动态扩容缩容,渐进式rehash等,所有这些特性的出发点都是基于充分使用内存的角度去考虑。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/635535.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

景区旅游多商户版小程序v14.3.1+前端

🎈 限时活动领体验会员:可下载程序网创项目短视频素材 🎈 🎉 有需要的朋友记得关赞评,文章底部来交流!!! 🎉 ✨ 源码介绍 【新增】全新授权登录支持取消登录 【新增】商…

3.12生产者消费者模型 3.13条件变量 3.14信号量 C++实现生产者消费者模型

3.12生产者消费者模型 生产者消费者模型中的对象: 1、生产者 2、消费者 3、容器 若容器已满,生产者阻塞在这,通知消费者去消费;若容器已空,则消费者阻塞,通知生产者去生产。生产者可以有多个,消…

RK3588平台开发系列讲解(USB篇)Linux Android USB软件架构

平台内核版本安卓版本RK3588Linux 5.10Android 12文章目录 一、高通平台USB软件架构二、USB 设备侧软件组成2.1、OTG driver2.2、Device controller driver2.3、Gadget framework2.4、Function drivers三、USB 主机侧软件3.1、Host controller driver3.2、USB core3.3、USB PHY…

chatgpt赋能python:Python取消断点的方法

Python取消断点的方法 在Python开发过程中,我们经常需要设置断点来帮助我们调试代码。但是,有时候我们可能需要取消已设置的断点。本文将介绍如何取消Python中的断点。 1. 什么是断点 在Python中,断点是为了帮助调试代码而设置的一个标志。…

网络层:IPv4地址

网络层:IPv4地址 笔记来源: 湖科大教书匠:IPv4地址概述 湖科大教书匠:分类编址的IPv4地址 湖科大教书匠:划分子网的IPv4地址 湖科大教书匠:无分类编址的IPv4地址 IPv4地址就是给因特网(Internet)上的每一…

零售场景梳理和运筹优化工作经验总结

文章目录 亡羊补牢不为迟零售行业规模大卷出零售新高度运筹优化实践经验 亡羊补牢不为迟 由于工作岗位变动的缘故,暂时要告别零售场景了。当初自己没想太多就一头扎进了“新”零售这个场景,迄今为止都没有针对零售场景做一个通盘的梳理,现在…

御2pro,带屏遥控器航测设置

御2遥控器航测设置 0 前言1 遥控器设置2 航测软件设置3 航测设置 0 前言 无人机:御2 或者御2 pro,非变焦版本遥控器:大疆带屏控器 RM500 1 遥控器设置 默认的遥控器控制软件CONNECT只能航拍,无法航测,必须调节为航…

Docker常用基本命令

一、docker的基础命令 1、启动docker systemctl start docker 2、关闭docker systemctl stop docker 3、重启docker systemctl restart docker 4、设置docker开机自启动 systemctl enable docker 5 , 查看docker运行状态(显示绿色代表正常启动…

类和对象(再谈构造函数)

文章目录 1.再谈构造函数1.1构造函数的赋值1.2初始化列表1.3 explicit关键字 2. static成员2.1概念2.2特性2.3例题 3 .友元3.1 友元函数3.2友元类 4.内部类5.匿名对象6.拷贝对象时编译器的一些优化 1.再谈构造函数 1.1构造函数的赋值 在创建对象时,编译器通过调用…

使用自签发CA证书为EMQX开启双向认证

文章目录 背景信息1、CA证书信任模型2、创建证书2.1 Root CA 证书创建2.2 emqx 服务端证书签发2.3 中间CA证书签发2.4 设备证书签发 3、配置EMQX服务端证书4、客户端使用TLS连接EMQX 背景信息 本文主要介绍了通过建立三层CA证书链,为EMQX集群提供PKI服务&#xff0c…

STM32基于库函数新建工程模板

基于库函数版本 准备资料: a) V3.5 固件库包:STM32F10x_StdPeriph_Lib_V3.5.0 这是 ST 官网下载的固件库完 整版,我们光盘目录: 软件资料\STM32 固件库使用参考资料\STM32F10x_StdPeriph_Lib_V3.5.0 我们官方论坛下载地址&#…

C++入门(嵌入式学习)

C入门学习 前言C概述C和C的区别 引用引用概念引用性质引用的应用 C输入和赋值string字符串函数提高函数的默认值默认值的注意事项函数的重载函数重载可能产生的问题扩充 内联函数 前言 C概述 C是一种通用的高级编程语言,它是由Bjarne Stroustrup于20世纪80年代初在…

论文笔记:MEASURING DISENTANGLEMENT: A REVIEW OF METRICS

0 摘要 学习解缠和表示数据中的变化因素是人工智能中的一个重要问题。虽然已经取得了许多关于学习这些表示的进展,但如何量化解缠仍然不清楚。 虽然存在一些度量标准,但对它们的隐含假设、真正衡量的内容以及限制了解甚少。因此,当比较不同的…

睡眠脑电中的神经跨频率耦合函数

导读 人类大脑是一个紧密连接的复杂系统。虽然其结构比较固定,但它可以实现很多不同的功能。其中一个重要的功能是自然睡眠过程,这个过程可以改变意识和随意肌肉活动。在神经层面上,这些改变会伴随着大脑连接的变化。为了揭示这种与睡眠相关…

推荐一个好用的开发工具百宝箱

随着科技不断发展,越来越多的工具在网络上应运而生,方便我们更加高效地完成各种任务。今天我要向大家介绍一款在线工具——码加在线工具 - 做更好的工具,它可以帮助你轻松完成许多繁琐、复杂的工作。 首先,码加在线工具 是一款非…

一维信号进行小波去噪(python)

目录 小波变换小波去噪的原理小波阈值去噪的三个主要方面pywt.threshold函数进行小波去噪对ecg信号进行小波阈值去噪关于阈值输出参考 小波变换 小波变换是一种信号的时间——尺度(时间——频率)分析方法,它具有多分辨分析的特点&#xff0c…

【模型评估】ROC(Receiver operating characteristic)与 AUC

前面,我们提到了混淆矩阵,以及根据混淆矩阵进一步计算得到的敏感度(召回率)、特异度、精确度、准确度、F1 Score等等。那他们的前提都是要首先确定一个截断阈值。 【模型评估】混淆矩阵(confusion_matrix)…

理论粘贴板-背会了避免在大佬面前露馅-常更新

1.OLS说明 最小二乘法。给定序列X(x1,x2…xn),y,估计一个向量A(a0,a1.a2…)令y’a0a1x1a2x2…an*xn, 使得(y’-y)^2最小,计算A。 2.代码如下 来源《python机器学习实践指南》 import patsy import statsmodels.api as sm f ‘Rent ~ Zip Beds’ y, X patsy.dmat…

嘀嗒陪诊完整后台+前端全套小程序代码v1.0.8

就医相关陪护服务升级是未来发展趋势,嘀嗒陪诊是一个可以长期深耕持续运营的项目,并可借此切入拓展衔接养老、护理等领域。 嘀嗒陪诊小程序功能相对简单,后台也简捷,如果只是做个陪诊服务的小程序也基本能满足了,整体…

python基本语法知识(四)——包和模块

模块 例子1:导入某个模块中的具体功能 # 只导入time模块中的sleep方法,可以直接使用sleep调用不用加time. from time import sleep print("hello") sleep(500) print("fine")# 只导入time模块中的sleep方法,并给sleep起别名为sl f…