Redis之所以性能强,最主要原因是基于内存存储。但是单节点的Redis其内存大小不宜过大,会影响持久化或主从同步性能。
可以通过配置文件来设置最大内存
# maxmemory <bytes>
maxmemory 1gb
一、过期策略
可以通过expire命令给Redis的key设置TTL
思考:
1、Redis是如何知道一个key是否过期?
答:利用两个Dict分别记录key-value对,及key-ttl对。从key-value中获取到key,再到key-ttl对中查询。
2、是不是TTL到期就立即删除了?
答:惰性删除和周期删除
1、DB结构
Redis本身是一个典型的key-value内存存储数据库,因此所有的key、value都保存在Dict结构中。有两个Dict:一个记录key-value;另一个记录key-TTL
2、惰性删除
(1)定义
不是在TTL到期后就立刻删除,而是在访问一个key的时候,检查该key的存活时间,如果已经过期才执行删除。
// 查找一个key执行写操作
robj *lookupKeywritewithFlags(redisDb *db, robj *key, int flags) {
// 检查key是否过期
expireIfNeeded(db , key);
return lookupkey(db , key, flags);
// 查找一个key执行读操作
robj *lookupKeyReadwithFlags(redisDb *db, robj *key, int flags) {
robi *val;
// 检查key是否过期
if (expireIfNeeded(db,key) == 1) {
// ...略
}
return lookupKey(db ,key,flags);
}
int expireIfNeeded(redisDb *db, robj *key) {
// 判断是否过期,如果未过期直接结束并返回0
if (!keyIsExpired(db,key)) {
return 0;
}
// 删除过期key
deleteExpiredKeyAndPropagate(db , key);
return 1;
}
3、周期删除
(1)定义
通过一个定时任务,周期性的抽样部分过期的key,然后执行删除。执行周期有两种:
- Redis会设置一个定时任务serverCron(),按照server.hz的频率来执行过期key清理,模式为SLOW
- Redis的每个事件循环前会调用beforesleep0)函数,执行过期key清理,模式为FAST
SLOW源码
//server .c
void initServer(void){
// 创建定时器,关联回调函数serverCron,处理周期取决于server,hz,默认10
aeCreateTimeEvent(server.el,1,serverCron,NULL,NULL)
}
//server.c
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData){
// 更新Lruclock到当前时间,为后期的LRU和LFU做准备
unsigned int lruclock = getLRUClock();
atomicSet(server.lruclock,lruclock);
// 执行database的数据清理,例如过期key处理
databasesCron();
return 1000/server.hz:
}
void databasesCron(void) {
// 尝试清理部分过期key,清理模默认为SLOW
activeExpireCycle(ACTIVE_EXPIRE_CYCLE_SLOW);
}
FAST源码
void beforeSleep(struct aeEventLoop*eventLoop){
// 尝试清理部分过期key,清理模式默认为FAST
activeExpireCycle(ACTIVE_EXPIRE_CYCLE_FAST);
}
void aeMain(aeEventLoop *eventLoop) {
eventLoop->stop = 0;
while (!eventLoop->stop) {
// beforesleep() --> Fast模式清理
// n = aeApiPoll()
//如果n > 0,FD就绪,处理IO事件
//如果到了执行时间,则调用serverCron() --> SLOW模式清理
(2)模式规则
SLOw模式规则:
- 执行频率受server.hz影响,默认为10,即每秒执行10次,每个执行周期100ms。
- 执行清理耗时不超过一次执行周期的25%.
- 逐个遍历db,逐个遍历db中的bucket,抽取20个key判断是否过期
- 如果没达到时间上限(25ms)并且过期key比例大于10%,再进行一次抽样,否则结束
FAST模式规则(过期key比例小于10%不执行):
- 执行频率受beforeSleep()调用频率影响,但两次FAST模式间隔不低于2ms
- 执行清理耗时不超过1ms
- 逐个遍历db,逐个遍历db中的bucket,抽取20个key判断是否过期
- 如果没达到时间上限(1ms)并且过期key比例大于10%,再进行一次抽样,否则结束
4、总结
1、RedisKey的TTL记录方式:
在RedisDB中通过一个Dict记录每个Key的TTL时间
2、过期key的删除策略:
- 惰性删除:每次查找key时判断是否过期,如果过期则删除
- 周期删除:定期抽样部分key,判断是否过期,如果过期则删除。
3、周期删除的两种模式:
- SLOW模式执行频率默认为10,每次不超过25ms
- FAST模式执行频率不固定,但两次间隔不低于2ms,每次耗时不超过1ms
二、内存淘汰策略
1、定义
内存淘汰:就是当Redis内存使用达到设置的阈值时,Redis主动挑选部分key删除以释放更多内存的流程。
(1)什么时候检查内存超出阈值?
答:任何Redis客户端命令执行时,都去检查内存,尝试做内存淘汰。
(2)如何挑选key
Redis支持8种不同策略来选择要删除的key:
策略 | 说明 |
---|---|
noeviction | 不淘汰任何key,但是内存满时不允许写入新数据,默认就是这种策略。 |
volatile-ttl | 对设置了TTL的key,比较key的剩余TTL值,TTL越小越先被淘汰。 |
allkeys-random | 对全体key,随机进行淘汰。也就是直接从db->dict中随机挑选。 |
volatile-random | 对设置了TTL的key ,随机进行淘汰。也就是从db->expires中随机挑选。 |
allkeys-lru | 对全体key,基于LRU算法进行淘汰。 |
volatile-lru | 对设置了TTL的key,基于LRU算法进行淘汰。 |
allkeys-lfu | 对全体key,基于LFU算法进行淘汰。 |
volatile-lfu | 对设置了TTL的key,基于LFI算法进行淘汰。 |
比较容易混淆的有两个:
- LRU(Least Recently Used):最少最近使用。用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。
- LFU (Least Frequently Used):最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高。
备注:
LFU的访问次数之所以叫做逻辑访问次数,是因为并不是每次key被访问都计数,而是通过运算:
1、生成0~1之间的随机数R
2、计算1/(旧次数*lfu_log_factor+ 1),记录为P,lfu_log_factor默认为10
3、如果R<P,则计数器+1,且最大不超过255
4、访问次数会随时间衰减,距离上一次访问时间每隔lfu_decay_time 分钟(默认1),计数器-1
修改策略
# conf配置文件
maxmemory-policy noeviction