问题:单机qps增加时请求摘要后端,耗时也会增加,因为超过了后端处理能力(最大qps,存在任务堆积)。
- 版本一
引入LruCache。为了避免数据失效,cache数据的时效性要小于摘要后端物料的更新时间,设置0.8倍的过期时间。写cache时将数据更新的时间戳一起缓存下来,读cache时计算当前时间与时间戳的差值是否超过过期时间,如果过期清空缓存数据。
如何防止大量缓存数据一起失效?
问题:并发读写的LruCache使用锁保护,单机qs过高时锁竞争严重,很多时间消耗在锁等待上,导致耗时增长。
-
版本二
Cache分片,引入key的哈希函数,将数据分散到不同分片上,减小临界区,降低锁的竞争。分片数可以与线程数保持一致。 -
版本三
读cache时使用零拷贝机制,对缓存数据增加原子变量的引用计数,每次获取数据时引用计数+1,释放数据时-1,计数为0且达到过期时间时从cache中清除,防止内存泄漏。