一、SDS(Simple Dynamic String,简单动态字符串)
Redis没有使用C语言传统的字符串表示方式(以’\0’结尾的字符数组),而是自己实现了sds的抽象类型,Redis默认使用sds作为字符串的表示。
set msg "hello, world"
其中,key为保存字符串“msg”的sds,value为保存字符串“hello,world”的sds。
除了用来保存字符串的值外,sds还被用作buffer(缓冲区),比如:AOF持久化模块中的AOF缓冲区,及客户端的输入缓冲区等。
1.SDS的定义
每个src/sds.h/sdshdr结构表示一个sds对象。sdshdrxx会根据字符串的实际长度,选取合适的结构,最大化节省内存空间。获取字符串长度时间复杂度O(1)。
attribute ((packed)) : 告诉编译器,不要因为内存对齐而在结构体中填充字节,以保证内存的紧凑,这样sds - 1就可以得到flags字段,进而能够得到其头部类型。如果填充了字节,则就不能得到flags字段。
/* Note: sdshdr5 is never used, we just access the flags byte directly.
* However is here to document the layout of type 5 SDS strings. */
struct __attribute__ ((__packed__)) sdshdr5 {
unsigned char flags; /* 3 lsb of type, and 5 msb of string length */
char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
uint8_t len; // 已经使用的字节数
uint8_t alloc; // 实际可以存储的字节最大长度,不包括SDS头部和结尾的空字符
unsigned char flags; // flags中的低3个bit决定使用哪种结构存储字符串,高5bit未使用
char buf[]; // 柔性数组,用来保存实际的字符串
};
struct __attribute__ ((__packed__)) sdshdr16 {
uint16_t len; /* used */
uint16_t alloc; /* excluding the header and null terminator */
unsigned char flags; /* 3 lsb of type, 5 unused bits */
char buf[];
};
struct __attribute__ ((__packed__)) sdshdr32 {
uint32_t len; /* used */
uint32_t alloc; /* excluding the header and null terminator */
unsigned char flags; /* 3 lsb of type, 5 unused bits */
char buf[];
};
struct __attribute__ ((__packed__)) sdshdr64 {
uint64_t len; /* used */
uint64_t alloc; /* excluding the header and null terminator */
unsigned char flags; /* 3 lsb of type, 5 unused bits */
char buf[];
};
1.2 空间预分配
用来优化SDS的字符串增长操作:当SDS的API对一个SDS进行修改,并且需要对SDS进行空间扩展的时候,程序不仅会为SDS分配修改所必须要的空间,还会为SDS分配额外的未使用空间。通过空间预分配策略,Redis可以减少连续执行字符串增长操作所需的内存重分配次数。
1.3 惰性空间释放
用来优化SDS字符串缩短操作:当SDS的API对一个SDS进行缩短时,程序并不立即回收多出来的字节,而是通过alloc和len的差值,将这些字节数量保存起来,等待将来使用。
1.4 二进制安全
C语言的字符串中的字符必须符合某种编码(如:ASCII),并且除了字符串末尾的空字符,其他位置不能包含空字符,否则,会出现数据被截断的情况,比如:
如果使用C字符串所用的函数来识别,只能读取到“hello”,后面的“world”会被忽略,这个限制使得C字符串只能保存文本数据,而不能保存图片、视频、压缩文件等二进制数据。
SDS的API都会以二进制的方式来处理SDS存放在buf数组里的数据,Redis使用这个数组保存的是一系列二进制数据,而不是保存字符。SDS使用len属性的值判断字符串是否结束,而不是空字符,即SDS是二进制安全的。