面试官:如何解决 Redis 数据倾斜、热点等问题

news2024/11/28 20:59:59

Redis 作为一门主流技术,应用场景非常多,很多大中小厂面试都列为重点考察内容

前几天有小伙伴学习时,遇到下面几个问题,来咨询小编

考虑到这些问题比较高频,工作中经常会遇到,这里写篇文章系统讲解下

问题描述:

向你提问:小编,在复习redis时,有些疑问,麻烦看看: 

如果redis集群出现数据倾斜,数据分配不均,该如何解决?

处理hotKey时,为key创建多个副本,如k-1,k-2…, 如何让这些副本能均匀写入?如何均匀访问?

redis使用hash slot来维护集群。与一致性哈希类似,都可以避免全量迁移。为什么不直接使用一致性hash?

小编 回复:

分布式缓存作为性能加速器,在系统优化中承担着非常重要的角色。相比本地缓存,虽然增加了一次网络传输,大约占用不到 1 毫秒外,但是却有集中化管理的优势,并支持非常大的存储容量。

分布式缓存领域,目前应用比较广泛的要数 Redis 了,该框架是纯内存储存,单线程执行命令,拥有丰富的底层数据结构,支持多种维度的数据存储和查找。

当然,数据量一大,各种问题就出现了,比如:数据倾斜、数据热点等

什么是数据倾斜?

单台机器的硬件配置有上限制约,一般我们会采用分布式架构将多台机器组成一个集群,下图的集群就是由三台Redis单机组成。客户端通过一定的路由策略,将读写请求转发到具体的实例上。

由于业务数据特殊性,按照指定的分片规则,可能导致不同的实例上数据分布不均匀,大量的数据集中到了一台或者几台机器节点上计算,从而导致这些节点负载多大,而其他节点处于空闲等待中,导致最终整体效率低下。

数据倾斜有哪些原因呢?

1、存在大key

比如存储一个或多个 String 类型的 bigKey 数据,内存占用很大。

Tom哥之前排查过这种问题,有同事开发时为了省事,采用JSON格式,将多个业务数据合并到一个 value,只关联一个key,导致了这个键值对容量达到了几百M。

频繁的大key读写,内存资源消耗比较重,同时给网络传输带了极大的压力,进而导致请求响应变慢,引发雪崩效应,最后系统各种超时报警。

解决方案:

办法非常简单,采用化整为零的策略,将一个bigKey拆分为多个小key,独立维护,成本会降低很多。当然这个拆也讲究些原则,既要考虑业务场景也要考虑访问场景,将关联紧密的放到一起。

比如:有个RPC接口内部对 Redis 有依赖,之前访问一次就可以拿到全部数据,拆分将要控制单值的大小,也要控制访问的次数,毕竟调用次数增多了,会拉大整体的接口响应时间。

浙江的政府机构都在提倡优化流程,最多跑一次,都是一个道理。

2、HashTag 使用不当

Redis 采用单线程执行命令,从而保证了原子性。当采用集群部署后,为了解决mset、lua 脚本等对多key 批量操作,为了保证不同的 key 能路由到同一个 Redis 实例上,引入了HashTag 机制。

用法也很简单,使用{}大括号,指定key只计算大括号内字符串的哈希,从而将不同key的健值对插入到同一个哈希槽。

举个例子:

192.168.0.1:6380> CLUSTER KEYSLOT testtag
(integer) 764
192.168.0.1:6380> CLUSTER KEYSLOT {testtag}
(integer) 764
192.168.0.1:6380> CLUSTER KEYSLOT mykey1{testtag}
(integer) 764
192.168.0.1:6380> CLUSTER KEYSLOT mykey2{testtag}
(integer) 764

check 下业务代码,有没有引入HashTag,将太多的key路由到了一个实例。结合具体场景,考虑如何做下拆分。

就像 RocketMQ 一样,很多时候只要能保证分区有序,就可以满足我们的业务需求。具体实战中,要找到这个平衡点,而不是为了解决问题而解决问题。

3、slot 槽位分配不均

如果采用 Redis Cluster 的部署方式,集群中的数据库被分为16384个槽(slot),数据库中的每个健都属于这16384个槽的其中一个,集群中的每个节点可以处理的0个或最多16384个槽。

你可以手动做迁移,将一个比较大的 slot 迁移到稍微空闲的机器上,保证存储和访问的均匀性。

什么是缓存热点?

缓存热点是指大部分甚至所有的业务请求都命中同一份缓存数据,给缓存服务器带来了巨大压力,甚至超过了单机的承载上限,导致服务器宕机。

解决方案:

1、复制多份副本

我们可以在key的后面拼上有序编号,比如key#01、key#02。。。key#10多个副本,这些加工后的key位于多个缓存节点上。

客户端每次访问时,只需要在原key的基础上拼接一个分片数上限的随机数,将请求路由不到的实例节点。

注意:缓存一般都会设置过期时间,为了避免缓存的集中失效,我们对缓存的过期时间尽量不要一样,可以在预设的基础上增加一个随机数。

至于数据路由的均匀性,这个由 Hash 算法来保证。

2、本地内存缓存

把热点数据缓存在客户端的本地内存中,并且设置一个失效时间。对于每次读请求,将首先检查该数据是否存在于本地缓存中,如果存在则直接返回,如果不存在再去访问分布式缓存的服务器。

本地内存缓存彻底“解放”了缓存服务器,不会对缓存服务器有任何压力。

缺点:实时感知最新的缓存数据有点麻烦,会产生数据不一致的情况。我们可以设置一个比较短的过期时间,采用被动更新。当然,也可以用监控机制,如果感知到数据已经发生了变化,及时更新本地缓存。

Redis Cluster 为什么不用一致性Hash?

Redis Cluster 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽。集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么node-1 包含 0 到 5460 号哈希槽,node-2 包含 5461 到 10922 号哈希槽,node-3包含 10922  到 16383 号哈希槽。

一致性哈希算法是 1997年麻省理工学院的 Karger 等人提出了,为的就是解决分布式缓存的问题。

一致性哈希算法本质上也是一种取模算法,不同于按服务器数量取模,一致性哈希是对固定值 2^32 取模。

公式 = hash(key) % 2^32

其取模的结果必然是在 [0, 2^32-1] 这个区间中的整数,从圆上映射的位置开始顺时针方向找到的第一个节点即为存储key的节点

一致性哈希算法大大缓解了扩容或者缩容导致的缓存失效问题,只影响本节点负责的那一小段key。如果集群的机器不多,且平时单机的负载水位很高,某个节点宕机带来的压力很容易引发雪崩效应。

举个例子:

Redis 集群 总共有4台机器,假设数据分布均衡,每台机器承担 四分之一的流量,如果某一台机器突然挂了,顺时针方向下一台机器将要承担这多出来的 四分之一 流量,最终要承担 二分之一 的流量,还是有点恐怖。

但是如果采用 CRC16计算后,并结合槽位与实例的绑定关系,无论是扩容还是缩容,只需将相应节点的key做下数据平滑迁移,广播存储新的槽位映射关系,不会产生缓存失效,灵活性很高。

另外,如果服务器节点配置存在差异化,我们可以自定义分配不同节点负责的 slot 编号,调整不同节点的负载能力,非常方便。

好了,今天就分享这么多。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/88093.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

健身房头戴式耳机好吗、最优秀的健身房耳机推荐

作为一名运动爱好者,无论是在户外跑步、骑行,还是在室内健身,耳机都是平日运动时不可或缺的装备。即使在日常通勤中,很多人也不能缺少它的陪伴。普通的耳机很好选择,只需要看音质好不好就可,运动耳机就比较…

win10系统下安装JDK1.8及配置环境变量的方法

1:下载安装包 地址:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 选择与自己环境相匹配的安装包 后续过程需要登录Oracle账号,如果你网络环境不好或者没有Oracle账号,请按照文末默认获取方式获…

ssm+Vue计算机毕业设计校园闲置物品交易系统(程序+LW文档)

ssmVue计算机毕业设计校园闲置物品交易系统(程序LW文档) 项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项…

GCSE英语语言考试-叙述视角

What is narrative voice? Narrative voice is the perspective the story is told from. The writer chooses a narrative voice carefully, as it can have an important effect on the story and the reader’s response. 什么是叙述视角? 叙述视角是讲述故事的…

机器人逆向运动学(IK)入门:问题分析

在游戏开发和机器人开发中进场需要用到的一个场景是,给机器人或者游戏角色末位置的位置和姿态,求解可到达给定位置和姿态的各关节的角度值,这里就需要逆向运动学去求解这个问题,在场景中有着很多的应用,比如说六轴机械…

电脑重装系统蓝屏详细解决方法分享

我们在使用电脑时我们经常会遇到各种问题,比如卡顿,死机,蓝屏,黑屏等等。今天这里小编为大家介绍的是电脑蓝屏的问题,电脑蓝屏会导致数据丢失、未保存的文件丢失、游戏关键时刻坑队友等情况。接下来,小编就…

使用Github Actions自动部署vue项目到nginx服务器

解决的问题:妈妈再也不担心我deploy时候手滑了 1. 避免手动执行重复的前端发布流程,节约开发时间和耐心 2. 减少了使用Jenkins类似的工具来做这种简单的发布流程,减少了第三方系统(Jenkins)的维护成本 前置条件 1.…

MySQL数据库学习(7)

一、简介 MySQL是最流行的关系型数据库管理系统,在这里我使用 PyMySQL 连接数据库,并实现简单的增删改查。 PyMySQL是在 Python3.x版本中用于连接 MySQL服务器的一个库,Python2中则使用 mysqldb。 PyMySQL遵循 Python数据库 API v2.0规范&…

保命小诀窍:IDEA远程Debug技巧,你了解吗?

前言 昨天看到一个问题,“疫情结束后你最想吃什么?” 仔细想了一下,火锅?烤肉? 看了一下体重秤,怕是只能报个健身房了。 你以为你胖N斤的时间复杂度是O(2^N), 事实上它是O(1),嗖…

MySQL——MySQL的flush

有时候会出现这么一种情况:一条 SQL 语句,正常执行的时候特别快,但是有时也不知道怎么回事,它就会变得特别慢,并且这样的场景很难复现,它不只随机,而且持续时间还很短。 SQL语句为何变慢了 根…

Oracle单机部署:数据库安装

Oracle单机部署:数据库安装安装前须知数据库字符集自动内存管理数据库安装配置图形化安装安装后检查🐬 使用oracle用户来安装数据库。 安装前须知 数据库字符集 在创建数据库之后,更改字符集在时间和资源上的代价都是非常昂贵的。可能需要…

全球银行最大分布式核心系统全面上线,邮储银行做到了!

摘要:近年来,国家陆续出台金融科技相关政策,提出创新驱动发展战略,强调以新一代信息和网络技术为支撑,拓展互联网金融,促进技术创新和商业模式创新的融合。本文分享自华为云社区《全球银行最大分布式核心系…

算法设计 - 01背包问题

学习来源 【自制】01背包问题算法动画讲解_哔哩哔哩_bilibili 问题描述 有N件物品,第i件物品的重量是w[i],价值是p[i]。 有一个背包,背包的承重是W。 求解:将哪些物品装入背包可获得最大价值。 实例说明 有如下物品&#xff…

尚医通-MyBatis-Plus:条件查询Wapper(五)

(1)MyBatis-Plus:条件查询 实现对数据库复杂的条件操作: Wrapper : 条件构造抽象类,最顶端父类 AbstractWrapper : 用于查询条件封装,生成 sql 的 where 条件 QueryWrapper &…

【文献研究】车辆路径问题静态合作博弈的数学模型及算法实现

前言:以2015年发表在期刊《MATHEMATICAL GAME THEORY AND APPLICATIONS》上的文章《Strong Coalitional Equilibrium in a Transportation Game》为学习资料,学习关于车辆路径模型的合作博弈。以下是本人对文献内容的一些粗浅理解,由于本人英…

linux批量操作文件命令总结

总结下常用的linux命令,linux下的命令组合着实强大。有时候即便是使用的windows系统也可以在Dos窗口下使用linux下的一些命令工具,完成一些文本日常处理。 查找所有文件 find ./ -name "*.log" 查找某一后缀的文件并删除 find ./ -name &qu…

shell篇---运行python,单个或多个

shell运行python1、方法1在shell中利用export指定python解释器路径2、方法2利用conda激活虚拟环境,进入文件执行目录执行3、多个python(具体例子)4、具体例子code启动查看1、方法1 在shell中利用export指定python解释器路径 编写如下run.sh…

H5页面转微信小程序(web-view)

效果 先放效果让大家看一下吧,过程很简单。 H5页面图 小程序预览图 准备工作 注册一个小程序(一定得是企业认证账号,个人账号无法使用web-view),具体注册就不演示了。 国内的备案域名(你H5页面和后台…

SpringMVC学习:二、SSM整合

3. SSM 整合 3.1 需求 使用SpringMVC和MyBatis完成用户管理系统. 3.2 整合思路 springspringmvcmybaits的系统架构: 步骤: 第一步:整合dao层 ​ mybatis和spring整合,通过spring管理mapper接口。 ​ 使用mapper的扫描器自动扫描mapper接口在…

C++ Win32程序编写入门

翻译:原文地址 一、关于Win32 ​ 本文档描述了Win329.1版的功能。若要下载Win32的程序清单,可以点击这里。 Win32是一个用于构建windows应用程序的C库。Win32是MFC的免费替代品。它还有一个额外的优势,即能够在各种免费编译器上运行…