String
String是Redis中最常见的数据存储类型:
- 其基本编码方式是RAW,基于简单动态字符串(SDS)实现,存储上限为512mb。
- 如果
存储的SDS长度小于44字节
,则会采用EMBSTR编码,此时object head与SDS是一段连续空间。申请内存时只需要调用一次内存分配函数,效率更高。(redis分配内存按2^n字节分配,当SDS占44字节时,object head与SDS占用64字节,不会产生内存碎片) - 如果
存储的字符串是整数值
,并且大小在LONG_MAX范围内,则会采用INT编码:直接将数据保存在RedisObject的ptr指针位置(刚好8字节,可以存储任意大小整数),不再需要SDS了。
整体结构:
查看数据编码方式 object encoding key
List
Redis的List类型可以从首、尾操作列表中的元素(列表左右两边都可以push、pop):
满足上述功能的数据结构有如下三种:
- LinkedList :普通链表,可以从双端访问,内存占用较高,内存碎片较多
- ZipList :压缩列表,可以从双端访问,内存占用低,存储上限低
QuickList:LinkedList + ZipList
,可以从双端访问,内存占用较低,包含多个ZipList,存储上限高
具体实现:
-
在3.2版本之前,Redis采用ZipList和LinkedList来实现List,当元素数量小于512并且元素大小小于64字节时采用ZipList编码,超过则采用LinkedList编码。
-
在3.2版本之后,Redis统一采用QuickList来实现List:
-
(where参数区分从头或者尾添加元素)
整体结构:
Set
Set是Redis中的单列集合,满足下列特点:
- 不保证有序性
- 保证元素唯一
- 求交集、并集、差集
上述特点基本都需借助元素是否存在功能,满足快速高效判断元素是否存在数据结构如下:
- HashTable,也就是Redis中的Dict,不过Dict是双列集合(可以存键、值对)【SkipList跳表有序因此不满足】
具体实现:
Set是Redis中的集合,不一定确保元素有序,可以满足元素唯一、查询效率要求极高。
- 为了查询效率和唯一性,set采用
HT编码(Dict)
。Dict中的key用来存储元素,value统一为null。 - 当存储的所有数据都是整数,并且元素数量不超过set-max-intset-entries时,Set会采用
IntSet编码
,以节省内存。
添加元素IntSet可能会转为Dict
整体结构:
ZSet
ZSet也就是SortedSet
,其中每一个元素都需要指定一个score值和member值:
有如下特点:
- 可以根据score值排序后
- member必须唯一
- 可以根据member查询分数
zset底层数据结构必须满足键值存储、键必须唯一、可排序这几个需求,如下两个编码结构满足需求:
- SkipList:可以排序,并且可以同时存储score和ele值(member)
- HT(Dict):可以键值存储,并且可以根据key找value
两者结合才能满足所有需求。
源码
完整结构
操作效率是很高,但是占用内存较大,每个元素存储两份
当元素数量不多时,HT和SkipList的优势不明显,而且更耗内存
。因此zset还会采用ZipList结构来节省内存
,不过需要同时满足两个条件:
① 元素数量小于zset_max_ziplist_entries,默认值128
② 每个元素都小于zset_max_ziplist_value字节,默认值64
添加元素ZipList可能转化为SkipList(ZSet编码转换)
ziplist本身没有排序功能,而且没有键值对的概念,因此需要有zset通过编码实现
:
- ZipList是连续内存,因此score和element是紧挨在一起的两个entry, element在前,score在后
- score越小越接近队首,score越大越接近队尾,按照score值升序排列
Hash
Hash结构与Redis中的Zset非常类似:
- 都是键值存储
- 都需求根据键获取值
- 键必须唯一
区别如下:
- zset的键是member,值是score;hash的键和值都是任意值
- zset要根据score排序;hash则无需排序
因此,Hash底层采用的编码与Zset也基本一致,只需要把排序有关的SkipList去掉即可
:
-
Hash结构默认采用ZipList编码,用以节省内存
。 ZipList中相邻的两个entry 分别保存field和value -
当数据量较大时,Hash结构会转为HT编码,也就是Dict
,触发条件有两个:① ZipList中的元素数量超过了hash-max-ziplist-entries(默认512)
② ZipList中的任意entry大小超过了hash-max-ziplist-value(默认64字节)
完整结构
源码
添加元素
是否进行编码转换
最后插入元素(存在的更新不存在的新增)