Redis数据结构——QuickList、SkipList、RedisObjective

news2024/11/23 15:11:02

承接上文，本文主要介绍QuickList、SkipList、RedisObjective

四、 Redis数据结构-QuickList

问题1：ZipList虽然节省内存，但申请内存必须是连续空间，如果内存占用较多，申请内存效率很低。怎么办？

答：为了缓解这个问题，我们必须限制ZipList的长度和entry大小。

问题2：但是我们要存储大量数据，超出了ZipList最佳的上限该怎么办？

答：我们可以创建多个ZipList来分片存储数据。

问题3：数据拆分后比较分散，不方便管理和查找，这多个ZipList如何建立联系？

答：Redis在3.2版本引入了新的数据结构QuickList，它是一个双端链表，只不过链表中的每个节点都是一个ZipList。
在这里插入图片描述

为了避免QuickList中的每个ZipList中entry过多，Redis提供了一个配置项：list-max-ziplist-size来限制。
如果值为正，则代表ZipList的允许的entry个数的最大值
如果值为负，则代表ZipList的最大内存大小，分5种情况：

-1：每个ZipList的内存占用不能超过4kb。
-2：每个ZipList的内存占用不能超过8kb。
-3：每个ZipList的内存占用不能超过16kb。
-4：每个ZipList的内存占用不能超过32kb。
-5：每个ZipList的内存占用不能超过64kb。

其默认值为 -2：
在这里插入图片描述

以下是QuickList的和QuickListNode的结构源码：

typedef struct quicklist {
    //头节点指针
	quicklistNode *head;
    //尾节点指针
	quicklistNode *tail;
	//所有ziplist的entry的数量
    unsigned long count;l
    //ziplists总数量
	unsigned long len;
	//ziplist的entry上限，默认值-2
    int fill : QL_FILL_BITS;
	//首尾不压缩的节点数量
	unsigned int compress : QL_COMP_BITS;
    //内存重分配时的书签数量及数组，一般用不到
    unsigned int bookmark_count: QL_BM_BITS;
    quicklistBookmark bookmarks[;
} quicklist;

typedef struct quicklistNode {
    //前一个节点指针
	struct quicklistNode *prev;
    //下一个节点指针
	struct quicklistNode *next;
    //当前节点的ZipList指针
    unsigned char *zl;
	//当前节点的ZipList的字节大小
    unsigned int sz;
	//当前节点的ZipList的entry个数
    unsigned int count : 16;
	//编码方式:1，ZipList; 2，Izf压缩模式
    unsigned int encoding : 2;
	//数据容器类型(预留): 1，其它;2，ZipListunsigned 
    int container : 2;
	//是否被解压缩。1︰则说明被解压了，将来要重新压缩
    unsigned int recompress : 1;
	unsigned int attempted_compress : 1;//测试用
    unsigned int extra : 10;/*预留字段*/
} quicklistNode;

我们接下来用一段流程图来描述当前的这个结构

在这里插入图片描述

总结：

QuickList的特点：

是一个节点为ZipList的双端链表。
节点采用ZipList，解决了传统链表的内存占用问题。
控制了ZipList大小，解决连续内存空间申请效率问题。
中间节点可以压缩，进一步节省了内存。

五、 Redis数据结构-SkipList

SkipList（跳表）首先是链表，但与传统链表相比有几点差异：

元素按照升序排列存储。
节点可能包含多个指针，指针跨度不同。

在这里插入图片描述

//t_zset.c
typedef struct zskiplist {
    //头尾节点指针
	struct zskiplistNode *header, *tail;
    //节点数量
	unsigned long length;
	//最大的索引层级，默认是1
    int level;
}zskiplist;

typedef struct zskiplistNode {
    sds ele; //节点存储的值
	double score;//节点分数，排序、查找用
	struct zskiplistNode *backward;//前一个节点指针
    struct zskiplistLevel {
		struct zskiplistNode *forward;//下—个节点指针
        unsigned long span;//索引跨度
	} leveli;//多级索引数组
} zskiplistNode;

在这里插入图片描述

小总结：

SkipList的特点：

跳跃表是一个双向链表，每个节点都包含score和ele值。
节点按照score值排序，score值一样则按照ele字典排序。
每个节点都可以包含多层指针，层数是1到32之间的随机数。
不同层指针到下一个节点的跨度不同，层级越高，跨度越大。
增删改查效率与红黑树基本一致，实现却更简单。

六、Redis数据结构-RedisObject

Redis中的任意数据类型的键和值都会被封装为一个RedisObject，也叫做Redis对象，源码如下：

1、什么是redisObject：
从Redis的使用者的角度来看，⼀个Redis节点包含多个database（非cluster模式下默认是16个，cluster模式下只能是1个），而一个database维护了从key space到object space的映射关系。这个映射关系的key是string类型，⽽value可以是多种数据类型，比如：string, list, hash、set、sorted set等。我们可以看到，key的类型固定是string，而value可能的类型是多个。
⽽从Redis内部实现的⾓度来看，database内的这个映射关系是用⼀个dict来维护的。dict的key固定用⼀种数据结构来表达就够了，这就是动态字符串sds。而value则比较复杂，为了在同⼀个dict内能够存储不同类型的value，这就需要⼀个通⽤的数据结构，这个通用的数据结构就是robj，全名是redisObject。

在这里插入图片描述

Redis的编码方式

Redis中会根据存储的数据类型不同，选择不同的编码方式，共包含11种不同类型：

编号	编码方式	说明
0	OBJ_ENCODING_RAW	raw编码动态字符串
1	OBJ_ENCODING_INT	long类型的整数的字符串
2	OBJ_ENCODING_HT	hash表（字典dict）
3	OBJ_ENCODING_ZIPMAP	已废弃
4	OBJ_ENCODING_LINKEDLIST	双端链表
5	OBJ_ENCODING_ZIPLIST	压缩列表
6	OBJ_ENCODING_INTSET	整数集合
7	OBJ_ENCODING_SKIPLIST	跳表
8	OBJ_ENCODING_EMBSTR	embstr的动态字符串
9	OBJ_ENCODING_QUICKLIST	快速列表
10	OBJ_ENCODING_STREAM	Stream流

五种数据结构

Redis中会根据存储的数据类型不同，选择不同的编码方式。每种数据类型的使用的编码方式如下：

数据类型	编码方式
OBJ_STRING	int、embstr、raw
OBJ_LIST	LinkedList和ZipList(3.2以前)、QuickList（3.2以后）
OBJ_SET	intset、HT
OBJ_ZSET	ZipList、HT、SkipList
OBJ_HASH	ZipList、HT