Redis脑裂问题详解及解决方案

news2024/11/15 12:14:03

Redis脑裂问题

Redis脑裂问题是指在主从集群中同时存在两个主节点,这会导致不同客户端往不同的主节点写入数据,最终导致数据不一致,甚至数据丢失。

哨兵主从集群脑裂

场景描述

假设有三台服务器:一台主服务器,两台从服务器,还有一个哨兵。当网络波动导致哨兵无法检测到主节点时,哨兵可能会通过选举将一个从节点提升为新的主节点。如果此时一些客户端仍连接到旧的主节点,而其他客户端连接到了新的主节点,就会出现脑裂问题。最终,恢复后的老主节点会被降级为从节点,并从新主节点同步数据,这期间写入旧主节点的数据会丢失。

解决方案

通过配置以下参数可以减少脑裂问题导致的数据丢失:

min-replicas-to-write 2
min-replicas-max-lag 10
  • min-replicas-to-write 2:要求至少有两个从节点才能进行写操作。
  • min-replicas-max-lag 10:从节点与主节点的复制延迟不能超过10秒。

配置这两个参数后,如果发生脑裂,原主节点会拒绝客户端的写入请求,从而避免大量数据丢失。

集群脑裂

Redis集群一般不会发生脑裂,因为集群通过过半选举机制来防止脑裂问题。每个Redis集群有16384个槽,任何一个槽没有指派到节点时,整个集群就会不可用。为了确保集群的稳定性,建议构建至少有3个主节点的集群,且主节点数量为奇数。

尽管如此,脑裂问题在分布式系统中依然不可完全避免,受限于CAP理论的制约。

多级缓存实例

一个使用了Redis集群和其他缓存技术的应用系统架构如下:

image.png

架构流程

  1. 负载均衡:用户请求通过负载均衡服务分发到Nginx上。负载均衡算法常用轮询或一致性哈希。
  2. Nginx本地缓存:Nginx应用服务器读取本地缓存(如Lua Shared Dict、Nginx Proxy Cache或本地Redis),如果命中则直接返回,提升整体吞吐量并减轻后端压力。
  3. 分布式缓存:若本地缓存未命中,则读取Redis分布式缓存集群(可采用主从架构提升性能和吞吐量)。若命中则返回数据,并回写到Nginx本地缓存。
  4. 回源到应用服务器:若Redis缓存未命中,则请求回源到Tomcat集群,尝试再读一次主Redis集群。
  5. Tomcat本地缓存:在Tomcat集群中,首先读取本地平台级缓存,若命中则返回并同步到主Redis集群。
  6. 数据库查询:所有缓存未命中时,查询数据库或其他服务获取数据并返回。

总结

该架构通过多级缓存机制提升系统性能:

  • Nginx本地缓存:解决热点数据缓存问题。
  • Redis分布式缓存:减少访问回源率。
  • Tomcat平台级缓存:防止缓存失效带来的冲击。
  • 数据库缓存:提升数据库查询效率。

多级缓存的使用保障了系统的高效性和稳定性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1814095.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

据阿谱尔统计显示,2023年全球电动汽车充电设备市场价值为62.1亿美元

根据阿谱尔 (APO Research)的统计及预测,2023 年全球电动汽车充电设备市场价值为 62.1 亿美元,预计到 2030 年将达到 391.1 亿美元,预测期内(2024-2030 年)复合年增长率为 31.47%。 电动汽车 (EV) 充电设备…

如何有效处理服务器后台密码暴露

服务器后台密码的暴露是信息安全领域中的严重事件,它可能引发未经授权的数据访问、恶意软件植入或系统功能滥用等一系列问题。本文将探讨几种处理服务器后台密码暴露的有效策略,包括紧急响应步骤、密码安全增强措施及长期预防机制,并提供实际…

Unity射击游戏开发教程:(27)创建带有百分比的状态栏

创建带有弹药数和推进器百分比的状态栏 在本文中,我将介绍如何创建带有分数和百分比文本的常规状态栏。 由于 Ammo Bar 将成为 UI 的一部分,因此我们需要向 Canvas 添加一个空的 GameObject 并将其重命名为 AmmoBar。我们需要一个文本和两个图像对象,它们是 AmmoBar 的父级。…

如何使用 Vue.js 和 Java 开发一个完整的 Web 应用

个人名片 🎓作者简介:java领域优质创作者 🌐个人主页:码农阿豪 📞工作室:新空间代码工作室(提供各种软件服务) 💌个人邮箱:[2435024119qq.com] &#x1f4f1…

测试基础12:测试用例设计方法-边界值分析

课程大纲 1、定义 经验发现,较多的错误往往发生在输入或输出范围的边界上,因为边界值是代码判断语句的点,一般容易出问题(数值写错、多加或丢失等号、写错不等号方向…)。所以增加对取值范围的边界数据的测试&#xff…

使引用作为函数参数将变量i和j的值互换

C之所以增加引用机制,主要是把它作为函数参数,以扩充函数传递数据的功能。 解题思路: 传递变量的地址。形参是指针变量,实参是一个变量的地址,调用函数时,形参(指针变量)得到实参变…

AI大模型时代:程序员如何面对“焦虑”并抓住“风口”

前言 最近,我和不少程序员朋友聊起了全网都在热议的大模型,如ChatGPT、GPT-4、文心一言等。大家的反应出乎我意料,普遍感到焦虑和迷茫。 这些大模型的出现,确实令人兴奋,仿佛一夜之间,AI就能做很多事情&…

专家解读 | NIST网络安全框架(3):层级配置

NIST CSF在核心部分提供了六个类别的关键功能和子功能,并围绕CSF的使用提供了层级(Tier)和配置(Profile)两种工具,使不同组织和用户更方便有效地使用CSF,本文将深入探讨CSF层级和配置的主要内容…

【deepin 产品面对面】玲珑入门教程:从源代码开始构建玲珑格式应用

内容来源:deepin(深度)社区 请首先阅读玲珑官方文档 ll-builder 简介 | 玲珑,本文以构建 desktop-entry-editor 为例,该项目依赖较为简单,仅需玲珑官方文档中默认提供的基础运行环境即可成功构建运行。 第一…

web基础htTP协议

web基础 域名概述: 域名空间结构 网页的概念 HTML概述 DNS解析的三种方式 /etc/hosts 在Linux系统中,/etc/hosts 文件负责快速解析,它包含了IP地址与主机名的映射关系。在没有DNS服务器的情况下,可以使用本地/etc/hosts 文件完成…

用户管理与服务器远程管理

用户管理 服务器系统版本介绍 windows服务器系统:win2000 win2003 win2008 win2012 linux服务器系统:Redhat Centos 用户管理 用户概述 (1)每一个用户登录系统后,拥有不同的操作权限。 (2)…

【实例分享】访问后端服务超时,银河麒麟服务器操作系统分析及处理建议

1.服务器环境以及配置 【机型】 处理器: Intel 32核 内存: 128G 整机类型/架构: x86_64虚拟机 【内核版本】 4.19.90-25.22.v2101.kylin.x86_64 【OS镜像版本】 kylin server V10 SP2 【第三方软件】 开阳k8s 2.问题现象描述 …

三十二、 数据跨境传输场景下的 PIA 与数据出境风险自评估是一回事吗?

PIA 与数据出境风险自评估并不相同。PIA 是《个人信息保护法》第五十五条明确提出要求企业在向境外提供个人信息前应当开展的自评估工作,而数据出境风险自评估则是《评估办法》第五条提出的要求符合数据出境安全评估申报情形的企业在申报前应当开展的自评估工作。 换…

使用 SPICE 模型模拟 MOSFET 电流-电压特性

绘制漏极电流与漏极电压的关系图 我们首先绘制漏极电流 ( I D ) 与漏源电压 ( V DS ) 的基本图。为此,我们将栅极电压设置为远高于阈值电压的固定值,然后执行直流扫描模拟,其中V DD的值逐渐增加。图 1 显示了我们将使用的原理图。 LTspice N…

❎35岁程序员,转行了么?

新职业 在Boss直聘、智联等招聘网站中,您是否遇见过这样的职位邀请?它的名字叫做LORA模型训练师。 从图上我们可以看出其需要的技能大致是下面的样子: Stable Diffusion: 机器学习、神经网络、模型训练的知识;Lora: 训练Lora模型…

css系列:音频播放效果-波纹律动

介绍 语音播放的律动效果,通俗来说就是一个带动画的特殊样式的进度条,播放的部分带有上下律动的动画,未播放的部分是普通的灰色竖状条。 实现中夹带了less变量、继承和循环遍历,可以顺带学习一下。 结果展示 大致效果如图所示…

在调用接口上map与forEach的区别

在场景:一个表格数据需要上传,每行表格需要上传图片->这就需要在提交时对数据也就是数组进行处理(先将每个元素图片上传拿到图片id 这种情况我刚开始就用的map处理,然后问题来了,提交的接口调用了,但是…

linux搭建harbor镜像仓库

安装docker-compose:安装docker-compose_安装 docker-compose-CSDN博客 安装harbor,我安装的是v2.4.3 #下载安装包 wget https://github.com/goharbor/harbor/releases/download/v2.4.3/harbor-offline-installer-v2.4.3.tgz#解压 tar -zxvf harbor-off…

【Python】selenium的异常类selenium.common.exceptions的汇总

我们在使用selenium爬虫的过程中,可能会遇到各种报错,例如: 这些报错是selenium.common.exceptions 是 Selenium WebDriver 库中的一个模块,它包含了 WebDriver 操作中可能遇到的各种异常类。这些异常类帮助开发者在自动化测试过…

Nodejs 第七十七章(MQ高级)

MQ介绍和基本使用在75章介绍过了,不再重复 MQ高级用法-延时消息 什么是延时消息? Producer 将消息发送到 MQ 服务端,但并不期望这条消息立马投递,而是延迟一定时间后才投递到 Consumer 进行消费,该消息即延时消息 插件安装 R…