Redis原理篇(Dict的收缩扩容机制和渐进式rehash)

news2024/11/17 21:48:08

Dict(即字典)

Redis是一种键值型数据库,其中键与值的映射关系就是Dict实现的。

Dict通过三部分组成:哈希表(DictHashTable),哈希节点(DictEntry),字典(Dict)

其中哈希表的底层是数组(发生冲突时扩展成链表),用来存放哈希节点。

下面是哈希表和哈希节点的源码

首先看到dictht,即DictHashTable的缩写,下面是对其中属性的解释:

 dictEntry **table是哈希表的数组,每个元素都是一个指向 dictEntry 结构体的指针。这里使用双指针 ** 的原因是为了实现动态数组。

size是哈希表的大小

sizemask是用来对键值进行与运算(与取余结果一致,但是用与运算更快)。

used是节点个数

然后看到dictEntry,是节点,下面是对其中属性的解释:

key是键很好理解;

union是一个联合函数,意思是v可以是{}里面的任意一个值。

注意:发生hash冲突时,新元素添加在链表首位,再让新元素的next指向原来的链表的头,这样比较方便,如果把新元素添加到链表尾部的话要对链表进行变量,很麻烦。

Dict的扩容

Dict是通过数组和单向链表实现的,当存放数据越来越多,导致大量的哈希冲突,使得链表长度过长,这样的话查询效率就大打折扣。出现这种情况的根本原因是数组小了,所有解决方案就是对数组进行扩容。

负载因子 =节点个数/数组大小

下面是包含扩容 的代码

Dict的收缩

除了扩容外,当出现频繁的删除造成entry个数较少,而数组大小过大的资源浪费的情况时,就需要对Dict进行收缩,收缩的条件是:

下面是Dict收缩的代码

 可以看到收缩和扩容以及Dict初始化时都用到了dictExpand这个函数,主要的逻辑还是在这个函数里面的,所有我们来看看这个函数源码:

 注意到这里有个rehash的操作,为什么要进行这个操作呢?

扩容和收缩不就是改变数组的大小吗?直接改不就行了?

显然,这样是不行的,因为Dict的删除,查询,更改都是要通过键值来找到对应entry的,当我数组的大小改变,那么我使用原来的hash函数运算得到的就不是原来的那个key了。

因为key的查询与sizemask有关,这个sizemask变化了,那么就当然得不到原本的那个key。

再注意到,这个dictExpand函数内部并没有进行具体的rehash的操作,

只是将rehashidx赋值为了0,

这个rehashidx还有印象吗?我帮忙回忆一下:

没错,就是这个rehash的进度。

那为什么不在dictExpand函数里面一次性将ht[0]全部赋值给ht[1]呢?

答案如下: 

Rehash

 但是渐进式rehash也有个问题,就是每次增删改查都只迁移一个entry链表(包含key对应的entry以及由hash冲突导致生成的链表),这个进度是比较缓慢的,那在增删改查的时候会遇到问题,因为此时数据在2张表里面,ht[0]和ht[1],怎么办?

其实也很简单,首先在新增的时候肯定是将新的entry给ht[1],因为要是写进了ht[0],到时候还是要给ht[1];

然后是删除,更改,查询,这两张表都访问一遍就行了。数据反正不在ht[0]就在ht[1]。

因为是使用指针这种数据结构,从ht[0]迁移到ht[1]就是改个指针指向的操作就行,很方便,并且改变了指针的指向后,ht[0]里面就查不到移走的那个entry链表了,不用考虑是否要在ht[0]里面删除一次再到ht[1]里面删除一次的问题。

这里有个演示可以看一下:

1.size是4,现在又第5个元素要加进来,并且后台没有进行resave等操作,开始进行扩容操作

2.现在元素个数是5,比5大一是6,第一个比6大的2的n次方是8,

申请内存空间,大小是8个entry赋值给ht[1]

3.把rehashidx赋值为0,表示可以开始rehash

4.在增删改查时发现rehashidx不是-1,就从ht[rehashidx]开始,一个一个迁移到ht[1]

5.迁移完毕后就将ht[1]下的新的hash表转移到ht[0],再将rehashidx赋值-1,还有size等属性也要更改,ht[1]的size,sizemask,used重新置为0,hash表置为null

至此,rehash完成

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1376276.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

pgzrun 生命游戏制作过程详解

背景资料 康威生命游戏(Game of Life)是剑桥大学约翰何顿康威设计的计算机程序。 美国趣味数学大师马丁加德纳(Martin Gardner,1914-2010)通过《科学美国人》杂志,将康威的生命游戏介绍给学术界之外的广大渎者,一…

互联网大厂职场各职级P6/P7和核心能力

目录 具体能力要求总结 具体能力要求 专业工匠 p5 被别人带领p6 独立完成项目全流程,指导 2-3 人 乐队指挥 p7 带行政团队 7-10 ,项目团队,专项团队,复杂系统设计 1-3 个一般系统构成p8 领域专家 垂直 3 个团队 ,横…

蓝桥杯基础知识3 memset()

蓝桥杯基础知识3 memset() #include <bits/stdc.h> using namespace std;int main(){int a[5]; //随机数for(int i 0;i < 5; i)cout << a[i] << \n;cout << \n;memset(a, 0, sizeof a); //0for(int i 0;i < 5; i)cout << a[i] << …

Proteus仿真stm32f103r6输出PWM/正弦波

资料下载地址&#xff1a;Proteus仿真stm32f103r6输出PWM/正弦波 一、仿真图 Proteus仿真stm32f103r6输出PWM/正弦波 二、程序 #include "pbdata.h"u16 fre; void RCC_Configuration(void); void GPIO_Configuration(void); void TIM3_Configuration();void Dela…

Kotlin程序设计(三)高级用法

Kotlin程序设计高级篇 在学习了前面的内容之后&#xff0c;相信各位小伙伴应该对Kotlin这门语言有了一些全新的认识&#xff0c;我们已经了解了大部分的基本内容&#xff0c;从本章开始&#xff0c;就是对我们之前所学的基本内容的进一步提升。 泛型 在前面我们学习了最重要…

【信息论与编码】【北京航空航天大学】实验二、哈夫曼编码【C语言实现】(下)图像编码压缩

实验2 哈夫曼编码&#xff08;下&#xff09;&#xff08;图像编码&#xff09; 实验简介&#xff1a; 本次实验为实验1&#xff1a;哈夫曼编码的后续补充&#xff0c;实验1见博客&#xff1a;实验一、哈夫曼编码【C语言实现】&#xff08;上&#xff09; 说明&#xff1a; 实…

Redis系列-15.Redis的IO多路复用原理解析

&#x1f44f;作者简介&#xff1a;大家好&#xff0c;我是爱吃芝士的土豆倪&#xff0c;24届校招生Java选手&#xff0c;很高兴认识大家&#x1f4d5;系列专栏&#xff1a;Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术&#x1f525;如果感觉博主的文章还不错的…

【REST2SQL】05 GO 操作 达梦 数据库

【REST2SQL】01RDB关系型数据库REST初设计 【REST2SQL】02 GO连接Oracle数据库 【REST2SQL】03 GO读取JSON文件 【REST2SQL】04 REST2SQL第一版Oracle版实现 信创要求用国产数据库&#xff0c;刚好有项目用的达梦&#xff0c;研究一下go如何操作达梦数据库 1 准备工作 1.1 安…

查询速度提升15倍!银联商务基于 Apache Doris 的数据平台升级实践

本文导读&#xff1a; 在长期服务广大规模商户的过程中&#xff0c;银联商务已沉淀了庞大、真实、优质的数据资产数据&#xff0c;这些数据不仅是银联商务开启新增长曲线的基础&#xff0c;更是进一步服务好商户的关键支撑。为更好提供数据服务&#xff0c;银联商务实现了从 H…

关于高通Android 平台上qssi的介绍

1. QSSI 是 Qualcomm Single System Image 的缩写。 2. Android Q上开始支持QSSI。 3. QSSI 是用来编译system.img的 3.1 QSSI编译注意事项 lunch qssi ------ 编译system.img lunch target ------ 编译其余的image 3.2 有QSSI和没有QSSI的编译流程对比 没有QS…

3Dmax不能渲染怎么办?

使用3Dmax渲染异常的话&#xff0c;主要在于以下几点&#xff1a; 1.素材丢失导致渲染效果错误 max文件贴图丢失或对应路径不存在 2.相机位置 先要考虑是相机位置&#xff0c;不管用的普通相机还是物理相机。 看它的位置是不是放在了模型的里面或者是墙体的外面&#xff0c;…

如何构建Prompt,帮我生成QA,作为召回率检索的测试集?

最近在做搜索召回率的提升工作。粮草未动兵马先行&#xff01;在做之前应该先有一把尺子来衡量召回率的好坏。所以应该先构建测试数据集&#xff0c;然后去做标准化测试。 有了测试机集以后。再去做搜索优化&#xff0c;才能看出来效果。 当然可以选择一些开源的测试集。如果可…

“三指针法“合并两个有序数组(力扣每日一练)

我的第一想法确实是&#xff1a;先合并数组&#xff0c;再排序&#xff0c;搞完。 哈哈哈&#xff0c;想那么多干嘛&#xff0c;目的达成了就好了。 力扣官方题解是双指针&#xff1a; 还有糕手&#xff1a; Python&#xff1a; def merge(nums1, m, nums2, n):# 两个指针分别…

合并 K 个升序链表[困难]

一、题目 给你一个链表数组&#xff0c;每个链表都已经按升序排列。请你将所有链表合并到一个升序链表中&#xff0c;返回合并后的链表。 示例 1&#xff1a; 输入&#xff1a;lists [[1,4,5],[1,3,4],[2,6]] 输出&#xff1a;[1,1,2,3,4,4,5,6] 解释&#xff1a;链表数组如…

经管类CSSCI、北核期刊投稿指南数据(2023年更新)/经管类的期刊投稿指南

经管类CSSCI、北核期刊投稿指南&#xff08;2023年更新&#xff09; 1、内容包括&#xff1a;投稿指南-CSSCI版本、CSSCI扩展版本、北大核刊版本、建议期刊版本、所有期刊。 2、范围&#xff1a;CSSCI、CSSCI扩展、北大核刊 3、说明&#xff1a;包含经管类期刊的发表难度&am…

Spark六:Spark 底层执行原理SparkContext、DAG、TaskScheduler

Spark底层执行原理 学习Spark运行流程 学习链接&#xff1a;https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ 一、Spark运行流程 流程&#xff1a; SparkContext向管理器注册并向资源管理器申请运行Executor资源管理器分配Executor&#xff0c;然后资源管理器启动Execut…

Day4Qt

1.头文件: #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTime>//时间类 #include <QTimer>//时间事件类 #include <QTimerEvent>//定时器类 #include <QTextToSpeech> namespace Ui { class Widget; }class Widget : publi…

Leetcode2982. 找出出现至少三次的最长特殊子字符串 II

Every day a Leetcode 题目来源&#xff1a;2982. 找出出现至少三次的最长特殊子字符串 II 解法1&#xff1a;字符串分割 分类讨论 按照相同字母分组&#xff0c;每组统计相同字母连续出现的长度。例如 aaaabbbabb 把 a 分成一组&#xff0c;组内有长度 4 和长度 1&#x…

2022-ECCV-Explaining Deepfake Detection by Analysing Image Matching

一、研究背景 1.大量工作将深度伪造检测作为一个二分类任务并取得了良好的性能。 2.理解模型如何在二分类标签的监督下学习伪造相关特征仍难是个艰巨的任务。 3.视觉概念&#xff1a;具有语义的人脸区域&#xff0c;如嘴、鼻子、眼睛。 二、研究目标 1.验证假设&#xff0c;并…

centos8部署MySQL5.7故障集

转载说明&#xff1a;如果您喜欢这篇文章并打算转载它&#xff0c;请私信作者取得授权。感谢您喜爱本文&#xff0c;请文明转载&#xff0c;谢谢。 在centos8系统上安装MySQL&#xff0c;使用的是centos7上安装MySQL的脚本&#xff0c;出现了以下问题&#xff0c;以做记录&…