Redis的数据结构

news2024/12/26 11:07:15

一)SDS

在redis中,保存key的是字符串,value往往是字符串或者是字符串的集合,可见字符串是redis中最常用的一种数据结构:

但是在redis中并没有直接使用C语言的字符串,因为C语言的字符串存在很多问题

1)获取字符串的长度需要通过运算

2)非二进制安全,想要获取字符串的长度,恰好有一个字符是/0,那么会读取一半就结束了

3)字面值不可修改,因为这样的字符串保存在字符串常量池中

所以Redis构建了一种新的字符串结构,称之为简单动态字符串,Simple Dynamic String,简称为SDS,如果执行了命令set name zhangsan 那么会构建一个是name的SDS,还有一个是zhangsan的SDS

1)len:表示无符号整型8个比特位表示的数据范围是0-255,允许的最长的字符串长度是255个字节

2)alloc:因为在C语言里面,要是想创建任意类型的结构,内存空间必须要程序员手动进行申请,但是申请的字节数不一定是和字符串申请的总字节数一样大

 

前三个是对结构体的描述信息,真正读字符串的时候是根据len来进行读取的

 

SDS的优点:

1)获取字符串长度的时间复杂度是O(1),因为SDS中已经保存了字符串的长度,不需要重新计算

2)支持动态扩容

3)减少内存分配次数

4)二进制安全

二)IntSet 

IntSet是Redis中set集合实现的一种方式,是基于整数数组来实现的,并且具备长度可变,有序等特征

 

为了方便查找,Redis会将inset中的所有的整数按照升序依次存放到contents数组中

 

现在数组中每一个数字都是在int_t的范围内,因此采用的编码方式是INTSET_ENC_INT16,那么每一个部分所占用的字节大小就是14字节,contents中每一个元素大小都是统一的为了方便寻址

encoding:4个字节,length:4个字节,contents:2*3=6字节(为了方便寻址,找到对应的元素)

假设现在有一个inset,元素是{5,10,15},采用的编码是INTSET_ENC_INT16,每一个整数占2个字节

现在我们向其中添加一个数字,50000,这个数字超出了int16_t的范围,intset就会自动将编码方式调到合适的大小,以当前案例来说,流程如下:

1)升级编码为INTSET_ENC_INT32,每一个整数占用4个字节,并按照新的编码方式以及元素个数进行扩容数组

2)倒序依次按照数组中的元素拷贝到扩容时的正确位置,先设置20的位置,2*4=8,从8位置开始进行设置20元素,否则按照正序会出现元素覆盖

3)将带添加的元素放到数组末尾

 

4)最后将inset中的encoding属性改成INTSET_ENC_INT32,并将length属性改成4

/* Insert an integer in the intset */
第一个参数是当前你要插入的元素,第二个参数是你要向哪一个intset中插入
第三个参数标识插入成功还是失败
intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
    // 获取当前要插入的元素的编码
    uint8_t valenc = _intsetValueEncoding(value);
    // 要插入到setint的位置
    uint32_t pos;
    
    if (success) *success = 1;
    /* Upgrade encoding if necessary. If we need to upgrade, we know that
     * this value should be either appended (if > 0) or prepended (if < 0),
     * because it lies outside the range of existing values. */
    if (valenc > intrev32ifbe(is->encoding)) {
判断要插入的值的编码是不是超过了当前inset的编码
        /* This always succeeds, so we don't need to curry *success. */
当前插入的值的编码超出当前inset编码则需升级
        return intsetUpgradeAndAdd(is,value);  
    } else {
        /* Abort if the value is already present in the set.
         * This call will populate "pos" with the right position to insert
         * the value when it cannot be found. */
        if (intsetSearch(is,value,&pos)) {  
在当前inset中查找值与value一样的元素的角标pos
            if (success) *success = 0; 
如果找到了,则无需插入,直接结束并返回失败
            return is;
        }
 除了循环之后pos的位置是恰好是intset中的元素比当前要插入的新元素大的位置
 数组扩容
        is = intsetResize(is,intrev32ifbe(is->length)+1);
 移动数组中pos之后的元素到pos+1,给新元素腾出空间
        if (pos < intrev32ifbe(is->length)) 
intsetMoveTail(is,pos,pos+1);
    }
    
 在pos位置插入新元素
    _intsetSet(is,pos,value);
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;
}

既然要插入的新的元素已经超出了原有的编码范围了,那么新插入的元素相比数组中的元素是大还是小呢?是都有可能的,因为这个数字可能是正数,比数组中的所有元素都大,要么是负数,比数组中的所有元素都小,所以说最后的元素要么插入在所有元素之后,要么插入在所有元素之前;

/* Upgrades the intset to a larger encoding and inserts the given integer. */
static intset *intsetUpgradeAndAdd(intset *is, int64_t value) {
// 获取当前intset编码
    uint8_t curenc = intrev32ifbe(is->encoding);  
// 获取当前要插入的值的编码,也就是未来intset新的编码
    uint8_t newenc = _intsetValueEncoding(value); 
// 获取inset中的元素个数 
    int length = intrev32ifbe(is->length);  
/ 判断新元素是大于0还是小于0,小于0插入队首,大于0插入队尾
    int prepend = value < 0 ? 1 : 0;  

    /* First set new encoding and resize */
// 重置编码为新编码
    is->encoding = intrev32ifbe(newenc); 
// 重置数组大小,尝试申请数组空间
    is = intsetResize(is,intrev32ifbe(is->length)+1);  

    /* Upgrade back-to-front so we don't overwrite values.
     * Note that the "prepend" variable is used to make sure we have an empty
     * space at either the beginning or the end of the intset. */
    while(length--) 
        /*
           倒序便利,逐个搬运元素到新的位置
           _intsetGetEncoded按照旧编码方式查找旧元素
           _intsetSet按照新编码方式插入新元素
        */
第一个参数时intset
第二个参数是角标也就是元素的位置,如果是1表示当前这个要插入的数字是负数,就意味着要查在数组的第一个位置,所以当前角标数+1,如果是0那么意味着这个元素是正数,一定是将来插入数组的最后一个元素,那么对应的交标数就不会发生变化
第三个参数是要调整的元素(先通过_intsetGetEncodedc查找旧的元素在intset中的位置)
        _intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));

    /* Set the value at the beginning or the end. */
    if (prepend) // 插入新元素,prepend决定是队首还是队尾,为0表示向0号位置插入
        _intsetSet(is,0,value);
    else
        _intsetSet(is,intrev32ifbe(is->length),value);
    // 修改数组长度
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;
}
/* Search for the position of "value". Return 1 when the value was found and
 * sets "pos" to the position of the value within the intset. Return 0 when
 * the value is not present in the intset and sets "pos" to the position
 * where "value" can be inserted. */
static uint8_t intsetSearch(intset *is, int64_t value, uint32_t *pos) {
    // 初始化二分查找需要的min,max,mid
    int min = 0, max = intrev32ifbe(is->length)-1, mid = -1;
    int64_t cur = -1;  // mid对应的值

    /* The value can never be found when the set is empty */
    if (intrev32ifbe(is->length) == 0) {  // 如果数组为空则不用找
        if (pos) *pos = 0;
        return 0;
    } else {  // 数组不为空则判断value是否大于最大值,小于最小值
        /* Check for the case where we know we cannot find the value,
         * but do know the insert position. */
        if (value > _intsetGet(is,max)) {  // 大于最大值则直接插入队尾
            if (pos) *pos = intrev32ifbe(is->length);
            return 0;
        } else if (value < _intsetGet(is,0)) {  // 小于最小值则插入队首
            if (pos) *pos = 0;
            return 0;
        }
    }
    // 二分查找
    while(max >= min) {
        mid = ((unsigned int)min + (unsigned int)max) >> 1;
        cur = _intsetGet(is,mid);
        if (value > cur) {
            min = mid+1;
        } else if (value < cur) {
            max = mid-1;
        } else {
            break;
        }
    }

    if (value == cur) {
        if (pos) *pos = mid;
        return 1;
    } else {
        if (pos) *pos = min;
        return 0;
    }
}

intset可以看作是特殊的整数数组,是具备一些特点的:

1)Redis会保证IntSet中的数组元素的个数是唯一的

2)具备类型升级机制,可以节省内存空间

3)底层使用二分查找的方式进行查询

Dict:

redis是一个键值型的数据库,可以根据键快速实现增删改查功能,而键和值的映射关系是通过Dict来实现的

Dict由三部分组成,分别是哈希表,哈希节点,字典

//相当于是哈希表中的节点
typedef struct dictEntry{
     //键,SDS结构
     void *key;

     //值,可以是指针,或者是整数
     union{
         void *val;
         unit64_tu64;
         int64_ts64;
     }v;

     //指针,指向下一个dictEntry,形成链表
     struct dictEntry *next;
 }dictEntry;
//相当于是哈希表
typedef struct dictht{
    //table数组,存放dickEntry
    dickEntry **table;

    //记录哈希表的大小,即table数组的大小
    unsigned long size;

    //哈希表掩码,等于size - 1,用来和哈希值做&运算,运算更快
    unsigned long sizemask;

    //哈希表中哈希表节点的数量
    unsigned long used;
}dictht;
typedef struct dict{
     //类型函数
     dickType *type;

     //私有数据
     void *privdata;

     //哈希表
     dictht ht[2];

     //rehash索引
     //-1时表示没有在进行rehash
     in trehashidx;
 }dict;

当向Dict添加键值对的时候,Redis首先会根据Key计算出hash值,然后再来利用哈希值&sizemark来计算出元素存储到哈希表的位置;

 

字典:

type:不同的场景下使用不同的dictType也就是不同的哈希函数

 

Dict的扩容:

1)Dict中的HashTable就是使用数组和双向链表的实现,当集合中元素个数比较多的时候,必然会导致哈希冲突增多,链表过长,还会导致查询效率大大降低

2)Dict在进行新增键值对的时候都会检查负载因子(used/size),在满足下面两种情况的时候会触发扩容:

2.1)哈希表的负载因子大于1,况且服务器没有执行bgsave或者AOF重写操作等后台进程,因为执行这些进程会使CPU的使用是非常高,而且还会有大量IO的读写,会影响redis主进程的阻塞;

2.2)哈希表的负载因子大于5

dict_can_size是redis内部维护的一个变量,表示如果bgsave或者AOF重写操作执行,会把这个变量变成0,如果没有执行后台进程,那么会把这个值变成1

dict_force_resize_ratio是5

 

Dict的收缩 

Dict除了做扩容之外,每一次删除元素的时候也会对负载因子做检查,当负载因子小于0.1并且哈希表中的元素个数大于4才会做收缩

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/579543.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

突破自动化测试瓶颈!WEB自动化测试鼠标与键盘操作最佳实践分享

目录 引言 鼠标操作方法 说明 实例化对象 方法 实例1 实例2 拖拽 注意 键盘操作 说明 Keys类 常用的键盘操作 案例 结语 引言 在现代软件测试中&#xff0c;WEB自动化测试已经成为了必不可少的一部分&#xff0c;然而&#xff0c;面对各种繁琐的测试场景&#xf…

章节2: husky + 自动检测是否有未解决的冲突 + 预检查debugger + 自动检查是否符合commit规范

在章节1中我们学习到了commit的规范、husky的安装和使用、lint-staged怎么安装以及怎么用来格式化代码。那么这篇文章我们来看看commit预处理中我们还能做哪些处理呢&#xff1f; 自然&#xff0c;我们还是要用到husky这个东西的&#xff0c;大致过程其实和章节1异曲同工&#…

sql语句查询数据库字段和表字段数量

》新建数据库:CREATE DATABASE IF NOT EXISTS 数据库名; 示例&#xff1a;:CREATE DATABASE IF NOT EXISTS test_db; 》进入数据库&#xff1a;use 数据库名称&#xff1b; 示例&#xff1a;use test_db; 》数据库中创建表: create table 表名(字段名 字段类型(长度),字段名 字…

零基础自学黑客【网络安全】啃完这些足够了

我刚学网络安全&#xff0c;该怎么学&#xff1f;要学哪些东西&#xff1f;有哪些方向&#xff1f;怎么选&#xff1f; 怎么入门&#xff1f; 这个 Web 安全学习路线&#xff0c;整体大概半年左右&#xff0c;具体视每个人的情况而定。 &#xff08;上传一直很模糊&#xff0c…

网络安全做红队攻防 35 岁以后可以干嘛?

35岁之后不是都当技术总监&#xff0c;CTO了或者自己创业了吗&#xff1f; 不会&#xff0c;单渗透测试来说&#xff0c;到后期更多是经验的积累。同一个事情&#xff0c;经验老道师傅的可能用更少的命令&#xff0c;发更少的请求完成这个事情&#xff0c;更隐蔽&#xff0c;更…

从AI到BI:隐语SCQL深度解读(附视频)

3月29日,“隐语开源社区开放日”活动顺利举办。当天隐语社区正式开源SCQL引擎,在工业界首次实现了隐私数据从Al到BI分析,是隐语走向易用的重要一步!下文为隐语框架负责人王磊在活动现场的分享内容。 我们知道,在隐私计算目前应用较多的场景中,无论是风控场景的LR、XGB,还…

每日学术速递5.27

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV 1.Control-A-Video: Controllable Text-to-Video Generation with Diffusion Models 标题&#xff1a;Control-A-Video&#xff1a;使用扩散模型生成可控的文本到视频 作者&#xff…

vcruntime140.dll无法继续执行代码如何修复,使用这个方法不求人

VCRUNTIME140.dll 是由微软公司开发的一个库文件&#xff0c;属于 Visual C Redistributable 软件包的一部分。它包含了许多与 C 应用程序运行时相关的函数和数据类型。这些函数和数据类型包括内存管理、异常处理、文件 I/O 等等。如果您在运行某个程序时发现缺少了 VCRUNTIME1…

PriorityQueue优先级队列

前言 优先级队列就是在堆的基础上进行改造&#xff0c;那么什么是堆&#xff0c;又什么是优先级队列呢&#xff1f; 我们一起来看看吧&#xff01; 目录 前言 一、堆 &#xff08;一&#xff09;堆的创建 &#xff08;二&#xff09;堆的插入 &#xff08;三&#xff09;堆…

win10 nvprof的性能分析表

交叉访问是全局内存中最糟糕的访问模式&#xff0c;因为它浪费总线带宽 使用多个线程块对基于交叉的全局内存访问重新排序到合并访问 https://mp.weixin.qq.com/s/h2XKth1bTujnrxyXTJ2fwg <<<numBlocks, blockSize>>> 的两个参数应该怎么设置好呢。首先&…

lazada商品评论数据接口,支持多站点

可以使用Lazada的开放平台API来获取商品评论数据。以下是使用API获取Lazada商品评论数据的基本步骤&#xff1a; 1.注册Lazada开发者账号&#xff0c;创建API密钥和访问令牌。 2.调用Lazada Open API中的Product Review API&#xff0c;提供商品的SKU或Seller SKU参数&#x…

Spring Authorization Server 系列(二)获取授权码

Spring Authorization Server 系列&#xff08;二&#xff09;获取授权码 概述获取授权码获取授权码的url逻辑解析匹配url参数解析 三级目录 概述 Spring Authorization Server 是基于 OAuth2.1 和 OIDC 1.0 的。 只有 授权码&#xff0c;刷新token&#xff0c;客户端模式。 …

Python GUI:真的只知道PyQt?

B站|公众号&#xff1a;啥都会一点的研究生 有时候我们有需求将程序制作成GUI&#xff08;图形用户界面&#xff09;格式&#xff0c;以方便用户通过图形图标与电子设备进行交互&#xff0c;而大多数像我一样的小白基本上只知道PyQt&#xff0c;往往制作出来的界面一眼就可辨别…

如何编写快速高效的SQL查询(一)——MySQL8.0优化器查询优化处理与样例

当希望MySQL能够以更高的性能运行查询时&#xff0c;最好的办法就是弄清楚MySQL是如何优化和执行查询的。一旦理解了这一点&#xff0c;很多查询优化工作实际上就是遵循一些原则让优化器能够按照预想的合理的方式运行。 MySQL是如何执行一个查询的过程的&#xff1f;根据图8-1可…

SpringCloud高级篇 - 微服务保护

✨作者&#xff1a;猫十二懿 ❤️‍&#x1f525;账号&#xff1a;CSDN 、掘金 、个人博客 、Github &#x1f389;公众号&#xff1a;猫十二懿 学习课程视频 SpringCloud 高级篇 – 微服务保护 1.初识Sentinel 1.1.雪崩问题及解决方案 1.1.1.雪崩问题 微服务中&#xff0…

Spring IOC体系结构设计原理详解

Spring是一个开源的JavaEE全栈框架&#xff0c;其中最为重要的核心模块是Spring IOC&#xff08;Inversion of Control&#xff09;容器。它负责对象的生命周期管理及依赖注入&#xff0c;为开发者提供了一种主动参与对象创建过程的方式。本文将从IOC容器的设计原理出发&#x…

新增ES6中的扩展

1. ES6中数组新增了哪些扩展&#xff1f; Rest 参数与 Spread 语法 在 JavaScript 中&#xff0c;很多内建函数都支持传入任意数量的参数。 例如&#xff1a; Math.max(arg1, arg2, ..., argN) —— 返回参数中的最大值。Object.assign(dest, src1, ..., srcN) —— 依次将属…

Java 修饰符关键字

&#x1f49f;这里是CS大白话专场&#xff0c;让枯燥的学习变得有趣&#xff01; &#x1f49f;没有对象不要怕&#xff0c;我们new一个出来&#xff0c;每天对ta说不尽情话&#xff01; &#x1f49f;好记性不如烂键盘&#xff0c;自己总结不如收藏别人&#xff01; static …

【图神经网络】手把手带你快速上手OpenHGNN

手把手带你快速上手OpenHGNN 1. 评估新的数据集1.1 如何构建一个新的数据集 2. 使用一个新的模型2.1 如何构建一个新模型 3. 应用到一个新场景3.1 如何构建一个新任务3.2 如何构建一个新的trainerflow 内容来源 1. 评估新的数据集 如果需要&#xff0c;可以指定自己的数据集。…

【ROS】服务通信、话题通信的应用

Halo&#xff0c;这里是Ppeua。平时主要更新C语言&#xff0c;C&#xff0c;数据结构算法…感兴趣就关注我吧&#xff01;你定不会失望。 服务通信、话题通信的应用 0. 话题发布1.话题订阅2.服务调用3.话题通信与服务通信的比较 本章将来学习如何利用话题通信&#xff0c;服务…