Redis的缓存过期淘汰策略
- 一 面试题引入
- 二 Redis内存满了怎么办?
- 2.1 redis默认内存多少?在哪里查看?如何设置修改?
- 2.2 如果Redis内存使用超出了设置的最大值会怎样?
- 三 Redis里的数据怎么没的?它如何删除呢?
- 3.1 Redis过期键的删除策略
- 3.1.1 立即删除
- 3.1.2 惰性删除
- 3.1.3 定期删除
- 3.1.4 上述策略的缺陷
- 四 Redis缓存淘汰策略
- 4.1 redis关于缓存淘汰策略的配置文件
- 4.2 lru与lfu的区别?
- 4.3 Redis缓存淘汰策略
- 4.4 平时使用的淘汰策略
- 4.5 淘汰策略的配置与修改
- 五 redis缓存淘汰策略配置性能建议
一 面试题引入
- 生产上你们redis内存设置多少?
- 如何配置,修改redis的内存大小?
- 如果内存满了怎么办?
- redis清理内存的方式?定期删除和惰性删除了解过吗?
- redis缓存淘汰策略有哪些?分别是什么?你用哪个?
- redis的LRU了解过吗?请手写LRU。
- LRU和LFU算法的区别是什么?
- …
二 Redis内存满了怎么办?
2.1 redis默认内存多少?在哪里查看?如何设置修改?
-
如何查看Redis最大占用内存
注意: maxmemory参数是bytes字节类型,注意转换 -
redis默认内存多少可以用?
config get maxmemory :默认大小为0。
如果不设置最大内存大小或者设置最大内存大小为0,在64位操作系统下不限制内存大小,在32位操作系统下最多使用3GB内存。注意:在64bit系统下,maxmemeory设置为0表示不限制Redis内存使用
。 -
一般生产上你如何配置?
一般推荐Redis设置内存为最大物理内存的四分之三。 -
如何修改redis内存设置?
-
通过修改配置文件
-
通过命令修改:config set maxmemory 104857600
注意:重启后失效
-
-
怎么查看redis内存使用情况?
- info memory
- config get maxmemory
2.2 如果Redis内存使用超出了设置的最大值会怎样?
三 Redis里的数据怎么没的?它如何删除呢?
3.1 Redis过期键的删除策略
3.1.1 立即删除
Redis不可能时时刻刻遍历所有被设置了生存时间的key,来检测数据是否已经到了过期时间,然后对它进行删除。
立即删除能保证内存中数据的最大新鲜度,因为它保证过期键值会在过期后马上被删除,其所占用的内存也会随之释放。但是立即删除对CPU是最不友好的。因为删除操作会占用CPU的时间,产生大量的性能消耗,同时也会影响数据的读取操作。
小总结: 对CPU不友好,用处理器性能换取存储空间(拿时间换空间)。
3.1.2 惰性删除
数据到达过期时间,不做处理。等下次访问该数据时:
- 如果未过期,返回数据。
- 如果已过期,删除,返回不存在。
惰性删除策略的缺点是:对内存是最不友好的
。
如果一个键已经过期,而这个键仍然保留在redis中,那么只要这个过期键不被删除,它所占用的内存就不会释放。在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远不会被删除(除非用户手动执行FLUSHDB),我们甚至可以将这种情况看做是一种内存泄漏–无用的垃圾数据占用了大量的内存,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。
小总结: 对memory不友好,用存储空间换取处理器性能(拿空间换时间)
开启惰性淘汰: lazyfree-lazy-eviction = yes
3.1.3 定期删除
定期删除策略是前两种策略的折中:
定期删除策略每隔一段时间执行一次删除过期键操作
并通过限制删除操作执行时长和频率来减少删除操作对CPU时间的影响。
周期性轮询Redis库中的时效性数据,采用 随机抽取 的策略,利用过期数据占比的方式控制删除频度。
特定1:CPU性能占用设置有峰值,检测频度可自定义设置。
特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理。
总结: 周期性抽查存储空间(随机抽查,重点抽查)
定期删除策略的难点是确定删除操作执行的时长和频率:如果删除操作执行得太频繁或者执行的时间太长,定期删除策略就会退化成立即删除策略,以至于将CPU时间过多地消耗在删除过期键上面。如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除策略一样,出现浪费内存的情况。因此,如果采用定期删除策略的话,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率
。
3.1.4 上述策略的缺陷
- 定期删除时,从来没有被抽查到的key
- 惰性删除时,从来没有被点中使用过。
上述两种情况会导致大量过期的key堆积在内存中,导致Redis内存空间紧张或者很快耗尽。
四 Redis缓存淘汰策略
4.1 redis关于缓存淘汰策略的配置文件
4.2 lru与lfu的区别?
- LRU means Least Recently Used
- LFU means Least Frequently Used
区别:
- LRU:最近最少使用页面置换算法,淘汰最长时间未被使用的页面,看页面最后一次被使用到发生调度的时间长短,首先淘汰最长时间未被使用的页面。
- LFU:最近最不常用的页面置换算法,淘汰一定时期内被访问次数最少的页,看一定时间段内页面被使用的频率,淘汰一定时期内被访问次数最少的页。
4.3 Redis缓存淘汰策略
- noeviction:不会驱逐任何key,表示即使内存达到上限也不进行置换,所有能引起内存增加的命令都会返回error。
- allkeys-lru:对所有key使用LRU算法进行删除,优先删除掉最近最不经常使用的key,用以保存新数据。
- volatile-lru:对所有设置了过期时间的key使用LRU算法进行删除
- allkeys-random:对所有key随机删除
- volatile-random:对所有设置了过期时间的key随机删除
- volatile-ttl:删除马上要过期的key
- allkeys-lfu:对所有key使用LFU算法进行删除
- volatile-lfu:对所有设置了过期时间的key使用LFU算法进行删除
4.4 平时使用的淘汰策略
- 在所有的key都是最近最经常使用,那么就需要选择allkeys-lru进行置换最近最不经常使用的key,如果你不确定使用哪种策略,那么推荐使用allkeys-lru
- 如果所有的key的访问概率都是差不多的,那么可以选择allkeys-random策略去置换数据
- 如果对数据有足够的了解,能够为key指定hint(通过expire/ttl指定),那么可以选择volatile-ttl进行置换。
4.5 淘汰策略的配置与修改
- 直接使用config命令(重启失效)
- redis.conf配置文件修改
五 redis缓存淘汰策略配置性能建议
- 避免存储bigkey
- 开启惰性淘汰,lazyfree-lazy-eviction=yes