【Redis】高级篇: 一篇文章讲清楚Redis的单线程和多线程

news2024/11/29 10:43:47

目录

面试题

Redis到底是多线程还是单线程?

简单回答

详解

Redis的“单线程”

Redis为什么选择单线程?

后来Redis为什么又逐渐加入了多线程特性?

Redis为什么快?

回答

IO多路复用

Unix网络编程的5种IO模型

主线程和IO线程怎么协作完成请求处理的

四个阶段

浅谈IO多路复用

文件描述符(FileDescriptor, FD)

什么是IO多路复用

场景模拟

总结

Redis 7 默认设置是否开启了多线程?

总结


这篇我们从几个面试题入手

面试题

Redis到底是多线程还是单线程?

简单回答

Redis 是从4开始慢慢支持多线程的,直到 Redis6/7 后才稳定

详解

这种问法其实并不严谨,单线程还是多线程需要视版本而定。

Redis的版本很多3.X、4.X、6.X,版本不同架构也是不同的,不限定版本问是否单线程也不太严谨。

版本3.×(最早版本),也就是大家口口相传的Redis是单线程;

版本4.×,严格意义来说也不是单线程,而是负责处理客户端请求的线程单线程,但是开始加了点多线程的东西(异步删除);

版本6.x 开始,全面支持多线程。

Redis的“单线程”

Redis的“单线程”主要是指Redis的网络IO键值对读写是由一个线程来完成的,Redis在处理客户端的请求时包括获取(socket读)、解析、执行、内容返回(socket写)等都由一个顺序串行的主线程处理(第一篇介绍过的那些原子的命令),这也是Redis对外提供键值存储服务的主要流程。

Redis采用Reactor模式的网络模型,对于一个客户端请求,主线程负责一个完整的处理过程,如下图:

补充:

Reactor 模式是一种并发模型,在这种模型中,主线程(Reactor)避免了由于等待一或多个并发事件(比如 I/O 操作)的完成而无法继续工作的阻塞。通过使用非阻塞 I/O 操作和事件通知,主线程在并发操作完成时得到通知。

一般来说,Reactor 模式的工作流程如下:

  1. 应用程序将需要监听的 I/O 事件(比如 socket 的可读、可写事件)注册到 Reactor 中,并且关联对应的处理事件。
  2. Reactor 不断地轮询这些事件,当某个事件到达的时候(比如 socket 中有数据可读),Reactor 将这个事件对应的处理事件唤醒,交由一个工作线程(或者称之为 EventHandler)去处理。
  3. 工作线程处理完相应的事件后,通知 Reactor 继续监听这个事件。

这种模型非常适合于大并发,少逻辑的网络程序中,比如 Nginx 中就用到了这种设计模式。通过这种方式,一个线程可以处理很多连接的事件,而不需要为每个连接都创建一个线程,这样就可以避免线程切换的开销,并且可以更有效地使用系统资源。

但Redis的其他功能,比如持久化RDB、AOF、异步删除、集群同步数据等都是由额外的线程执行的,因此整个Redis可以看作是多线程的。

Redis为什么选择单线程?

准确的说,应该是Redis 4.0之前一直采用单线程

主要原因有:

  • 使用单线程模型使Redis的开发和维护更简单
  • 虽然使用的是单线程,但也可以并发处理多客户端的请求(IO多路复用和非阻塞IO)
  • 对于Redis系统来说,主要的性能瓶颈是内存/网络带宽,而非CPU
后来Redis为什么又逐渐加入了多线程特性?
  • 硬件的发展
    • CPU并不是Redis的瓶颈,通常Redis要不受内存限制要不受网络限制,但是随着计算机硬件的发展,多核CPU已经成为常态,为了更大限度的利用CPU
  • 单线程的缺点
    • Redis使用单线程也是有一定缺点的,比较典型的就是使用del指令删除大key数据时(比如包含了成千上万个元素的hash集合,关于大key的问题我们会在Redis系列的下一篇专门介绍,这里先简单举个例子),del指令就会造成主线程卡顿。
    • 由于Redis3.x完全是单线程的,del指令删除时会等待⌛️很久才释放,如果再加上高并发场景(˶‾᷄ ⁻̫ ‾᷅˵)额。。这就是Redis3.x单线程时代最经典的故障,大key删除的头疼问题,于是Redis4.0就新增了多线程模块,也主要是为了解决这个问题。
    • 此外例如flushdb还有flushall在数据量达到一定程度时,也会造成卡顿,因此一开始Redis就是把某些时间复杂度高,占主线程CPU时间片较高,造成主线程卡顿的操作使用多线程来处理(bio子线程),以减少主线程阻塞时间,从而减少那个诸如del操作导致性能和稳定性的问题。

总的来说,就是与时俱进( ̄∇ ̄)/🎉~~~

Redis为什么快?

回答

Redis 3.0 单线程时代依旧很快的原因:

  • 基于内存操作:Rdis的所有数据都存在内存中,因此所有的运算都是内存级别的,所以他的性能比较高
  • 数据结构简单:Rdis的数据结构是专门设计的,而这些简单的数据结构的查找和操作的时间大部分复杂度都是O(1),因此性能比较高
  • 多路复用和非阻塞I/O:Redis使用多路复用功能来监听多个socket连接客户端,这样就可以使用一个线程连接来处理多个请求,减少线程切换带来的
  • 避免上下文切换:因为是单线程模型,因此就避免了不必要的上下文切换和多线程竞争,这就省去了多线程切换带来的时间和性能上的消耗,而且单线程

现在Redis快的原因

在上面原因的基础上

  • IO多路复用 + epoll函数使用

接下来我们详细介绍下IO多路复用

IO多路复用

IO多路复用(IO multiplexing)是Unix网络编程的5种IO模型之一。

Unix网络编程的5种IO模型

  • Blocking IO 阻塞IO
  • NoneBlocking IO 非阻塞IO
  • IO multiplexing IO 多路复用
  • signal driven IO 信号驱动IO
  • asynchronous IO 异步IO

Redis一直被大家熟知的就是它的单线程架构,虽然从Redis4.0开始使用了多线程,也是为了处理数据删除、快照删除等耗时操作,从网络IO处理到实际的读写命令处理都是由主线程独自处理的(心疼下主线程)。

在Redis 6/7中,Redis全面支持了多线程。这是由于随着硬件性能的提升,Redis的性能瓶颈主要出现在网络IO上,就是完全靠单个主线程处理网络请求的速度跟不上底层网络硬件的速度,于是采用多个线程处理网络IO,提高网络请求处理的并行度。

但是,Redis的多IO线程只是用来处理网络请求的,对于读写操作命令 Redis 仍然使用单线程来处理。这是因为,Redis处理请求时,网络处理经常是瓶颈,通过多个IO线程并行处理网络操作,可以提升实例的整体处理性能。而继续使用单线程执行命令操作,就不用为了保证Lua脚本、事务的原子性,额外开发多线程互斥加锁机制了(不管加锁操作处理),这样一来,Redis 线程模型实现就简单了。

主线程和IO线程怎么协作完成请求处理的

四个阶段

  • 阶段一:服务端和客户端建立Socket连接,并分配处理线程 首先,主线程负责接收建立连接请求,当有客户端请求和实例建立Socket连接时,主线程会创建和客户端的连接并把Socket放入全局等待队列中,紧接着,主线程通过轮询方法把Socket连接分配给IO线程
  • 阶设二:IO线程读取并解折请求 主线程一旦把Socket分配给IO线程,就会进入阻塞状态,等待IO线程完成客户端请求的读取和解析,因为有多个IO线程在并行处理,所以,这个过程很快就可以完成。
  • 阶段三:主线程执行请求操作 等到IO线程解析完请求,主线程还是会以单线程的方式执行这些命令操作。
  • 阶设四:IO线程回写Socket和主线程清空全局队列 当主线程执行完请求操作后,会把需要返回的结果写入缓冲区,然后,主线程会阻塞等待IO线程,把这些结果回写到Socket中,并返回给客户端。和IO线程读取和解析请求一样,IO线程回写Socket时,也是有多个线程在并发执行,所以回写Socket的速度也很快。等到IO线程回写Socket完毕,主线程会清空全局队列,等待客户端的后续请求。

浅谈IO多路复用

由于IO多路复用(IO multiplexing)是Unix网络编程的5种IO模型之一,我们先介绍下Linux的相关内容,便于理解(熟悉的人可以直接跳到下一趴)。

在Linux中,一切皆文件,这就要提到“文件描述符”这个概念了。

文件描述符(FileDescriptor, FD)

文件描述符是计算机科学中的一个术语,是一个用于表述指向文件的引用的抽象化概念。

文件描述符在形式上是一个非负整数,实际上它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向该进程返回一个文件描述符。

在程序设计中,文件描述符这一概念往往只适用于UNIX或者Linux这样的操作系统。

什么是IO多路复用

一种同步的IO模型,实现一个线程监视多个文件句柄,一旦某个文件句柄就绪,就能通知到对应程序进行相应的读写操作,没有文件句柄就绪时,就会阻塞应用程序,从而释放CPU资源。

我们来介绍几个概念:

  • I/O
    • 网络I/O,尤其在操作系统层面指数据在内核态和用户态之间的读写操作
  • 多路
    • 多个客户端连接(连接就是套接字描述符,即socket或者channel)
  • 复用
    • 复用一个或者几个线程连接
  • IO多路复用
    • 也就是说一个或者一组线程处理多个TCP,使用单进程就能实现同时处理多个客户端的连接,无需创建或者维护过多的进程/线程

总结

  • 一个服务端进程可以同时处理多个套接字描述符
  • 实现多路复用的模型有3种:可以分select->poll->epoll3个阶段来描述

场景模拟

不知道大家有没有注意过麻辣烫店是怎么做煮麻辣烫的,他们可不是一碗一碗单独的锅单独的灶煮的(太费💰),一般是有一个方形大锅,整个锅里加满水,下面一个灶加热,大锅里分成一个个小格子(就类似重庆火锅那种九宫格),每个小格子里煮一个客人选的菜。

基本流程就是,客人选完菜去收银那里称斤付款(人多则需要排队),服务员每收到一个客人选的菜,就把它们倒进一个小格子里煮,然后再回来收下一位的……还会时不时看看哪个小格子里的菜熟了,就把它盛到碗里,端回给客人

我们根据模拟情景来简单概括下IO多路复用模型:

将用户Socket对应的文件描述符(FileDescriptor)注册进epoll,然后epoll帮你监听哪些Socket上有消息到达,这样就避免了大量的无用操作,此时的Socket应该采用非阻塞模式,这样整个过程只在调用select、poll、epoll这些函数是才会阻塞,收发客户消息是不会阻塞的,整个进程/线程就会被充分利用起来,这就是事件驱动,所谓的reactor反应模式。

在单个线程通过记录跟踪每一个Socket(I/O流)的状态来同时管理多个I/O流,一个服务端进程可以同时处理多个套接字描述符,以此来提高服务器的吞吐能力

大家都用过nginx,nginx使用epoll接收请求,ngnix会有很多链接进来,epoll会把他们都监视起来,然后像拨开关一样,谁有数据就拨向谁,然后调用相应的代码处理。Redis类似同理,这就是IO多路复用原理,有请求就响应,没请求不打扰。

IO多路复用达到的效果就是只使用一个服务端进程可以同时处理多个套接字描述符连接。

客户端请求服务端时,实际就是在服务端的Socket文件中写入客户端对应的文件描述符(FileDescriptor),如果有多个客户端同时请求服务端,为每次请求分配一个线程,类似每次来就new一个太耗费服务端资源,因此,只使用一个线程来监听多个文件描述符,即IO多路复用。

采用IO多路复用技术可以让单个线程高效的处理多个连接请求,一个服务端进程可以同时处理多个套接字描述符。

从Rdis6开始,就新增了多线程的功能来提高I/O的读写性能,他的主要实现思路是将主线程的IO读写任务拆分给一组独立的线程去执行,这样就可以使多个Socket的读写可以并行化了,采用多路I/O复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗),将最耗时的Socket的读取、请求解析、写入单独外包出去,剩下的命令执行仍然由主线程串行执行并和内存的数据交互。

于是,网络IO操作就变成多线程了,其他核心操作仍然是主线程单独处理(线程安全)

总结

  • Redis的工作线程是单线程的,但是整个Redis是多线程的
  • Redis6/7将网络数据读写、请求协议解析通过多个IO线程来处理,真正执行命令的线程仍然是主线程单独进行操作(单线程),一举两得,既解决网络IO问题(多个IO线程),有保证了线程安全且处理方式简单(单线程执行命令)

Redis 7 默认设置是否开启了多线程?

如果你在实际应用中,发现Redis实例的CPU开销不大但吞吐量却没有提升,可以考虑使用Reds7的多线程机制(默认关闭,需手动开启),加速网络处理,进而提升实例的吞吐量。

Redis7将所有的数据放在内存中,内存的响应时长大约为100纳秒,对于小数据,Redis服务器可以处理8W到10W的QPS(实验室数据,极限),但是对于大部分的公司已经够用了,所以在Redis6.0以后,多线程机制默认是关闭的,如果需要使用,则要在redis.conf配置文件中修改,主要改两个地方:

  1. 设置io-threads-do-redis配置项为yes,表示启动多线程
  2. 设置线程个数,io-threads 个数,关于个数的设置,官方的建议是如果为4核的CPU,建议线程数设置为2或3,如果为8核CPU建议线程数设置为6(线程数一定要小于机器核数,并非越大越好)

总结

Redis基于内存操作数据结构简单多路复用非阻塞I/O等特性,避免了不必要的上下文切换,在单线程的环境下依旧很快。但对于大数据的key删除还是会卡顿,因此在4.0版本中引入了多线程unlink key/flushall async等命令,主要用于Redis数据的异步删除。而在Redis6/7中引入了I/O多线程的读写,增加了吞吐量,而命令的执行依旧是有主线程串行执行的,因此在多线程下操作Redis既能保持良好的性能响应速度,并且不会出现线程安全的问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/792947.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

温湿度传感器的工作原理及应用领域你了解多少呢?

传感器是一种将物理量转换为电信号的装置,用于检测温度、湿度、压力、光强、震动等物理量。它能够将检测到的物理量转换为电信号,并输送到计算机、单片机等设备进行分析和处理。生产生活中,不同的场所和环境对温湿度有着特殊要求,…

看完即会,抓取微信小程序数据包教程

在给VIP学员答疑的时候,有很多小伙伴问到能不能抓取到微信小程序数据呢?答案当然是肯定的,通过Fiddler或者Charles这些主流的抓包工具都可以抓得到,在IOS平台抓取微信小程序和https请求都是一样的设置,接下来给大家通过…

【代码随想录day20】验证二叉搜索树

题目 给你一个二叉树的根节点 root ,判断其是否是一个有效的二叉搜索树。 有效 二叉搜索树定义如下: 节点的左子树只包含 小于 当前节点的数。 节点的右子树只包含 大于 当前节点的数。 所有左子树和右子树自身必须也是二叉搜索树。 思路 最开始想简单…

Linux 学习记录58(ARM篇)

Linux 学习记录58(ARM篇) 本文目录 Linux 学习记录58(ARM篇)一、GIC相关寄存器1. 系统框图2. 中断号对应关系 二、GICD寄存器1. GICD_CTLR2. GICD_ISENABLERx3. GICD_IPRIORITYRx4. GICD_ITARGETSRx5. GICD_ICPENDRx 三、GICC寄存器1. GICC_PMR2. GICC_CTLR3. GICC_IAR4. GICC_…

JAVA面试总结-Redis篇章(五)——持久化

Java面试总结-Redis篇章(五)——持久化 1.RDBRDB全称Redis Database Backup file (Redis数据备份文件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件&#x…

持续贡献开源力量,棱镜七彩加入openKylin

近日,棱镜七彩签署 openKylin 社区 CLA(Contributor License Agreement 贡献者许可协议),正式加入openKylin 开源社区。 棱镜七彩成立于2016年,是一家专注于开源安全、软件供应链安全的创新型科技企业。自成立以来&…

短视频账号矩阵系统源码开发部署路径

一、短视频批量剪辑的开发逻辑算法 1.视频剪辑之开发算法 自己研发视频剪辑是指通过对视频素材进行剪切、调整、合并等操作,利用后台计算机算法,进行抽帧抽组抽序进行排列以达到对视频内容进行修改和优化的目的。自己研发的视频剪辑工具可以通过后台码…

系统集成项目管理工程师挣值分析笔记大全

系统集成项目管理工程师挣值分析笔记大全 挣值分析是一种项目管理技术,用于量化和监控项目绩效。它通过比较计划值(PV)、实际成本(AC)和挣值(EV)三个参数来评估项目的进展情况和成本绩效。 挣值…

系统架构设计师-软件架构设计(3)

目录 一、软件架构风格(其它分类) 1、闭环控制结构(过程控制) 2、C2风格 3、MDA(模型驱动架构 Model Driven Architecture) 4、特定领域软件架构(DSSA) 4.1 DSSA基本活动及产出物…

《CUDA C++ Programming Guide》第一章 CUDA介绍

第一章 CUDA介绍 1.1 使用GPUs的好处 在相同的价格和功耗范围内,图形处理器 GPU 比 CPU 提供了更高的指令吞吐量和内存带宽, 许多应用程序利用这些更高的功能在 GPU 上比在 CPU 上运行得更快。相比较其他计算设备,如 FPGA,也是非常节能的&a…

协议和模型

1 规则 1.1 通信基础知识 不同网络的规模、形状和功能都存在很大差异。它们可以复杂到通过互联网来连接设备,也可以简单到直接将两台计算机用一根电缆连接,或者是介于这两种之间。然而,只是完成终端设备之间的有线或无线物理连接并不足以实…

MATLAB基础知识回顾

目录 1.帮助命令 2.数据类型 3.元胞数组和结构体 4.矩阵操作 4.1 矩阵的定义与构造 4.2 矩阵的四则运算 4.3 矩阵的下标 5.程序结构 5.1 for循环结构 5.2 分支结构 7.基本绘图操作 7.1.二维平面绘图 6.2 三维立体绘图 7.图形的保存与导出 8.补充 语句后⾯加;的作…

Kaggle图表内容识别大赛TOP方案汇总

赛题名称:Benetech - Making Graphs Accessible 赛题链接:https://www.kaggle.com/competitions/benetech-making-graphs-accessible 赛题背景 数以百万计的学生有学习、身体或视力障碍,导致人们无法阅读传统印刷品。这些学生无法访问科学…

人机合一Linux

未来云系统成为主流,维护电脑这种充满时代特性的技术,完全不重要了。 无论是学习还是工作,电脑都是IT人必不可少的重要武器,一台好电脑除了自身配置要经得起考验,后期主人对它的维护也是决定它寿命的重要因素&#xff…

【01trie】CF1851F

Problem - F - Codeforces 题意: 思路: 首先最大异或对可以用01trie解决 trie树入门_lamentropetion的博客-CSDN博客 ai xor x 和 aj xor x 都必须为1 因此可以转换为 ai 和 aj 最小异或对问题 改一下01trie的板子即可 主要修改部分在query上 p…

如何把视频中的背景删掉,AI抠像,瞬间换背景!

不用绿幕也能快速抠除视频背景。一个可以去除视频背景的AI智能抠像工具,上传视频后会自动去除背景,支持单人、多人等各类场景,智能扫描识别,发丝级细节处理,快捷高效。 随着AI 抠像技术的不断成熟和普及,我…

5-7月大更新!EasyOps®全平台34+新特性齐上线~

为了提供更好的产品使用体验,优维从未停止更新升级的脚步。在5-7月份,EasyOps全平台更新上线34新功能,涉及Hyperlnsight超融合监控、CMDB、DevOps、AutoOps、ITSM、公共服务,在不断的技术创新过程中,进一步加速IT运维效…

存算一体化(Processing in Memory, PIM)入门

一、 存算一体化 概念: 简单来说就是将存储资源中嵌入计算能力,以新的运算架构进行二维和三维矩阵乘法/加法运算。这样减少了数据频繁移动带来的延迟和能耗方面的开销。 背景: 虽然多核(例如CPU)/众核(例…

视频监控综合管理平台EasyCVR多分屏默认播放协议的配置优化

视频监控综合管理平台EasyCVR具备视频融合汇聚能力,TSINGSEE青犀视频平台基于云边端一体化架构,可支持多协议、多类型设备接入,包括:NVR、IPC、视频编码器、无人机、车载设备、智能手持终端、移动执法仪等。国标GB28181视频平台Ea…

Mysql执行计划字段解释

文章目录 一、前言二、如何查看执行计划三、执行计划各字段解释四、select_type4.1、SIMPLE(简单查询)4.1.1、简单的单表查询4.1.2、多表连接查询 4.2、PRIMARY(主查询)4.2.1、包含复杂子查询的外层查询4.2.2、UNION语句中的第一个…