Background
Redis(Remote Dictionary Server)是一种基于键值对的内存数据库,通常被称为数据结构服务器。它支持多种数据结构,例如字符串(String)、哈希(Hash)、列表(List)、集合(Set)、有序集合(Sorted Set)等,并提供了丰富的命令接口,使得开发者可以方便地利用这些数据结构来实现各种复杂应用。
Redis具有高性能、高可靠性和高可扩展性等特点,它将所有的数据保留在内存中,并通过异步方式将数据写入磁盘,以保证数据的持久化。同时,Redis还支持数据复制、主从架构、哨兵模式等多种高可用解决方案,可以用于构建分布式系统。
由于Redis的优秀性能和易用性,它已经成为了一个非常流行的开源项目,被广泛应用于Web应用程序、缓存、消息队列、计数器等领域。
主要为了阅读redis源码做好大局观和理论上的铺垫
数据结构
redis支持的key或者value的数据的底层数据结构如下
key/value的映射采用一个全局hash表
但是因为hash冲突的存在,可能退化成链,所以我们要rehash,但是为了更低的延迟,我们要可以做一个优化:之前的rehash分为3步:1)分配一个hash table大小两倍的hash table, 2)把hash table1的数据转移到hash table2 3)释放hash table1的空间
优化后,因为主要是2)太耗时了,一个请求把延时都承担了,所以我们可以把这个转移分担到每一个请求操作上:
不同操作的复杂度
1.单点操作一般很快,通过hash找到value,然后对其底层数据结构操作即可
2.range sort对于hash table来说很慢,O(N), O(NlogN)。但是对于leveldb这种sorted key就比较友好了。
3.统计操作就是操作元数据
4.最后就是查询末尾啥的。。。
线程模型
都说redis是单线程模型,但这个单线程是指处理get, put,这些操作是单线程,还有很多别的线程IO,background线程。
为啥单线程还是快
1)因为多线程对同一资源的竞争的协调是有代价的,比如cpu cache失效啥的,多线程实际上是这样的
2)IO处理上用了多路复用和非阻塞操作
但是还是存在性能瓶颈
持久化
AOF日志
注意redis是先内存,后日志,不是WAL,因为redis主要是做缓存用的,不是真的数据库,如果丧失真的数据库的话,这样做可能会导致数据丢失。好处是当前操作不阻塞,但是可能会稍微导致下一个操作阻塞
append only file
关于持久化到磁盘的时机有三个可选择的
1)always,修改就写入
2)everysecond,每秒批处理
3)NO 防止内存中,有操作系统决定
但是日志不能无限增加,所以我们要重写,重写就是根据当前内存中有的元素做一个put操作记录,这样就大大减少了日志的大小
AOF重写过程--------------一个拷贝,两处日志
AOF还是有阻塞风险的
AOF重写用两个日志是因为防止污染主日志和减少并发竞争。
内存快照
因为我们在日志里面记录的是操作,如果我们运行了一天挂了,那么我们也要跑上一天来恢复,同理一年也是
内存快照-----------1)对哪些做快照2)做快照时redis是否阻塞
1)全量快照,对每个数据都要做
2)不阻塞,通过fork的copy on write技术来处理,复制内存,然后子进程做快照,父进程进行操作,如果修改了key/value的话,子进程就读取key/value的副本
但是内存全量快照负担重,我们可以第一个做全量,后面做增量,也就是快照+AOF的这种结合。就是raft日志快照,和log record一样。
进程绑核是将一个进程或线程固定到一个或多个特定的CPU核心上,以优化系统性能和资源利用率