Redis单线程 Vs 多线程

news2025/1/9 20:20:03

Redis单线程 Vs 多线程

  • 一 面试题引入
    • 1.1 Redis到底是单线程还是多线程?
    • 1.2 IO多路复用
    • 1.3 Redis为什么快?
    • 1.4 Subtopic
  • 二 Redis为什么选择单线程?
    • 2.1 这种问法其实并不严谨,为啥这么说?
    • 2.2 Redis是单线程究竟何意?
    • 2.3 Redis3.X单线程时代但性能依旧很快的主要原因
    • 2.4 多线程的引入及其原因
  • 三 Redis为什么快?
    • 3.1 Redis性能瓶颈
    • 3.2 主线程和IO线程是怎么协作完成请求处理的
    • 3.3 Unix网络编程中五种IO模型
      • 3.3.1 Blocking IO:阻塞IO
      • 3.3.2 NoneBlocking IO:非阻塞IO
      • 3.3.3 IO multiplexing IO:IO多路复用
      • 3.3.4 signal driven IO:信号驱动IO
      • 3.3.5 asynchronous IO:异步IO
  • 四 简单说明
  • 五 Redis7默认是否开启了多线程?

一 面试题引入

1.1 Redis到底是单线程还是多线程?

1.2 IO多路复用

1.3 Redis为什么快?

1.4 Subtopic

二 Redis为什么选择单线程?

2.1 这种问法其实并不严谨,为啥这么说?

Redis的版本很多3.X、4.X、6.X,版本不同架构也是不同的,不限定版本问是否单线程是不严谨的。

  • 版本3.X,最早版本,Redis是单线程
  • 版本4.X,严格意义来说也不是单线程,而是负责处理客户端请求的线程是单线程。但是开始加入了点多线程的东西(异步删除)。
  • 2020年5月版本6.0.X后及2022年出的7.0版本后,告别了大家印象中的单线程,用一种全新的多线程来解决问题。

在这里插入图片描述

2.2 Redis是单线程究竟何意?

Redis是单线程主要是指Redis的网络IO和键值对读写是由一个线程来完成的,Redis在处理客户端的请求时包括获取(socket读)、解析、执行、内容返回(socket写)等都由一个顺序串行的主线程处理,这就是所谓的“单线程”。这也是Redis对外提供键值存储服务的主要流程。
在这里插入图片描述
但Redis的其他功能,比如持久化RDB、AOF、异步删除、集群数据同步等等,其实是由额外的线程执行的。
Redis命令工作线程是单线程的,但是整个Redis来说,是多线程的。

2.3 Redis3.X单线程时代但性能依旧很快的主要原因

  • 基于内存操作:redis的所有数据都存在内存中,因此所有的运算都是内存级别的,所以它的性能比较高。
  • 数据结构简单:Redis的数据结构是专门设计的,而这些简单的数据结构的查找和操作的时间大部分复杂度都是O(1),因此性能比较高。
  • 多路复用和非阻塞I/O:Redis使用I/O多路复用功能来监听多个socket连接客户端,这样就可以使用一个线程连接来处理多个请求,减少线程切换带来的开销,同时也避免了I/O阻塞操作。
  • 避免上下文切换:因为是单线程模型,因此就避免了不必要的上下文切换和多线程竞争,这就省去了多线程切换带来的时间和性能上的消耗,而且单线程不会导致死锁问题的发生。

简单来说,Redis4.0之前一直采用单线程的主要原因有以下三个原因:

  1. 使用单线程模型使Redis的开发和维护更简单,因为单线程模型方便开发和调试。
  2. 即使使用单线程模式也并发的处理多客户的请求,主要使用的是IO多路复用和非阻塞IO;
  3. 对于Redis系统来说,主要的性能瓶颈是内存或者网络带宽而并非CPU

2.4 多线程的引入及其原因

比如当Redis需要删除一个很大的数据时,因为是单线程原子命令操作,这就会导致Redis服务卡顿。
于是在Redis 4.0 中就新增了多线程的模块,当然此版本中的多线程主要是为了解决删除数据效率比较低的问题。

unlink key
flushdb async
flushall async
把删除工作交给了后台的子线程异步来删除数据。

因为Redis是单个主线程处理,redis之父antirez一直强调“Lazy Redis is better Redis”。
而lazy free的本质就是把某些cost(主要时间复制度,占用主线程cpu时间片)较高删除操作。从Redis主线程剥离让子线程来处理。极大地减少主线程阻塞时间,从而减少删除导致性能和稳定性问题。

三 Redis为什么快?

3.1 Redis性能瓶颈

对于Redis主要的性能瓶颈是内存或者网络带宽而并非CPU。
Redis6/7 真正多线程登场:
在Redis6/7中,非常受关注的第一个新特性就是多线程。这是因为,Redis一直被大家熟知的就是它的单线程架构,虽然有些命令操作可以用后台线程或子线程执行(比如数据删除、快照生成、AOF重写)。但是,从网络IO处理到实际的读写命令处理,都是由单个线程完成的。
随着网络硬件的性能提升,Redis的性能瓶颈有时会出现在网络IO的处理上,也就是说,单个主线程处理网络请求的速度跟不上底层网络硬件的速度。
为了应对这个问题:采用多个IO线程来处理网络请求,提高网络请求处理的并行度,Redis6/7就是采用这种方法。
但是,Redis的多IO线程只是用来处理网络请求的,对于读写操作命令Redis仍然使用单线程来处理。 这是因为,Redis处理请求时,网络处理经常是瓶颈,通过多个IO线程并行处理网络操作,可以提升实力的整体处理性能。而继续使用单线程执行命令操作,就不用为了保证Lua脚本、事务的原子性,额外开发多线程互斥锁机制了,这样一来,Redis线程模型实现就简单了。

3.2 主线程和IO线程是怎么协作完成请求处理的

在这里插入图片描述

3.3 Unix网络编程中五种IO模型

3.3.1 Blocking IO:阻塞IO

3.3.2 NoneBlocking IO:非阻塞IO

3.3.3 IO multiplexing IO:IO多路复用

  1. Linux世界一切皆文件

    文件描述符、检查FD,句柄。
    FileDescriptor,文件描述符是计算机科学中的一个术语,是一个用于表述指向文件的引用的抽象化概念。文件描述符在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程锁维护的该进行打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。在程序设计中,文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。

  2. 多路复用

    一种同步的IO模型,实现一个线程监视多个文件句柄,一旦某个文件句柄就绪就能够通知到对应应用程序进行相应的读写操作,没有文件句柄就绪时就会阻塞应用程序从而释放CPU资源。
    概念:

    • I/O:网络I/O,尤其是操作系统层面指数据在内核态和用户态之间的读写操作。
    • 多路:多个客户端连接(连接就是套接字描述符,即socket或者channel)。
    • 复用:复用一个或几个线程。
    • IO多路复用:也就是说一个或一组线程处理多个TCP连接,使用单进程就能够实现同时处理多个客户端的连接,无需创建或者维护过多的进程/线程。

    总结: 一个服务端进行可以同时处理多个套接字描述符,实现IO多路复用的模型有3种,可以分select->poll->epoll三个阶段来描述。在这里插入图片描述
    IO多路复用模型:在这里插入图片描述

小总结: 只使用一个服务端进行可以同时处理多个套接字描述符连接。

面试题:redis为什么这么快?
IO多路复用+epoll函数使用,才是redis为什么这么快的直接原因,而不是仅仅单线程命令+redis安装在内存中。

3.3.4 signal driven IO:信号驱动IO

3.3.5 asynchronous IO:异步IO

四 简单说明

Redis工作线程是单线程的,但是对于整个Redis来说是多线程的。
问题: 主线程和IO线程是怎么协作完成请求处理的?
I/O的读和写本身是堵塞的,比如当socket中有数据时,Redis会通过调用先将数据从内核态空间拷贝到用户态空间,再交给Redis调用,而这个拷贝的过程就是阻塞的,当数据量越大时拷贝所需要的时间就越多,而这些操作都是基于单线程完成的。
在这里插入图片描述
从Redis6开始,就新增了多线程的功能来提高IO的读写性能,他的主要实现思路是是将主线程的IO读写任务拆分给一组独立的线程去执行, 这样就可以使用多个socket的读写可以并行化了。采用多路I/O复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗),将最耗时的Socket的读取,请求解析、写入单独外包出去,剩下的命令执行仍然由主线程串行执行并和内存的数据交互。
在这里插入图片描述
结合上图可知:网络IO操作就变成多线程化了,其他核心部分仍然是线程安全的,是个不错的折中办法。

Redis6/7 将网络数据读写、请求协议解析通过多个IO线程来处理,对于真正的命令执行来说,仍然使用主线程操作。
在这里插入图片描述

五 Redis7默认是否开启了多线程?

在实际应用中,发现Redis实例的CPU开销不大但吞吐量却没有提升,可以考虑使用Redis7的多线程机制,加速网络处理,进而提升实例的吞吐量。
Redis7将所有的数据放在内存中,内存的响应时长大约为100纳秒,对于小数据包,Redis服务器可以处理8W到10W的QPS,这也是Redis的处理极限了。对于80%的公司来说,单线程的Redis意见足够使用了。
在这里插入图片描述
在这里插入图片描述

  • 设置io-thread-do-reads配置项为yes,表示启动多线程。
  • 设置线程个数。关于线程数的设置,官方的建议是如果为4核的CPU,建议线程数设置为2或3,如果为8核CPU建议线程数设置为6,线程数一定要小于机器核数,线程数并不是越大越好。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/534679.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

什么是JavaScript?为什么需要学习它?

JavaScript是一种广泛使用的编程语言,它被用于开发Web应用程序、桌面应用程序和移动应用程序。它的出现可以追溯到1995年,由瑞典计算机科学家Tim Bergling和美国计算机科学家John Resig共同开发。 JavaScript的历史可以追溯到20世纪90年代,当…

完美解决:由于找不到MSVR100.dll ,无法继续执行代码

当我们在运行某一个软件时,突然提示找不到MSVCR100.dll,我相信有不少用户都遇到过这种情况,并且在重新安装软件后还是无法解决。那么电脑提示找不到MSVCR100.dll该怎办呢? MSVCR100.dll是什么? 在解决找不到MSVCR100.dll这个问…

RabbitMQ之交换机详解

1 Exchages ​ 我们假设的是工作队列背后,每个任务都恰好交付给一个消费者(工作进程)。在这一部分中,我们将做一些完全不同的事情,我们将消息传达给多个消费者。这种模式 称为 ”发布/订阅“。 ​ 为了说明这种模式,我们将构建一…

vi和vim编辑器介绍与使用

VI 和 VIM 编辑器是 Unix 和 Linux 操作系统中最常用的文本编辑工具之一。虽然它们都用于编辑文本文件,但它们有一些不同之处。本文将对 VI 和 VIM 编辑器进行介绍,帮助你更好地了解编辑器的特性和优点。 Linux下常见的文本编辑器有: emacsp…

Unity解决在摄像机上面设置了TargetTexture后获取屏幕坐标不准的问题

大家好,我是阿赵 这里来分享一个最近遇到的小问题。 一、发现问题 如果我们想将3D模型放在UI上,一个比较普遍的做法是: 用一个单独的摄像机,把3D模型拍下来,并转成RenderTexture,贴到RawImage上。 那么如…

枚举类型enum详解

概述 enum是C语言中的一个关键字,enum叫枚举数据类型,枚举数据类型描述的是一组整型值的集合(这句话其实不太妥当),因为枚举类型是一种基本数据类型,而不是一种构造类型,它不能再分解成什么基本…

架构设计如何绘图?

大家好,我是易安! 很多同学技术能力很强,架构设计也做得很好,但是在给别人讲解的时候,总感觉像是“茶壶里煮饺子,有货倒不出”。 其实,在为新员工培训系统架构、给领导汇报技术规划、上技术大会…

详解c++STL—容器vector

一、vector基本概念 功能: vector数据结构和数组非常相似,也称为单端数组 vector与普通数组的区别: 不同之处在于数组是静态空间,而vector可以动态扩展 动态扩展: 并不是在原空间之后续接新空间,而是找…

阿里云ECS服务器实例挂载数据盘步骤

1、首先登录阿里云ECS服务器,通过 df -h 命令查看当前磁盘挂载情况,可以发现只有系统盘40G 2、通过 fdisk -l 命令查看磁盘情况,可以发现有两个盘: 系统盘 /dev/vda: 42.9GB, 数据盘 /dev/vdb: 322.1GB 3、运行 fdisk…

c++进阶项目—基于多态的职工管理系统

一、管理系统需求 公司中职工分为三类:普通员工、经理、老板 显示信息时,需要显示职工编号、职工姓名、职工岗位、以及职责 1、普通员工职责:完成经理交给的任务 2、经理职责:完成老板交给的任务,并下发任务给员工…

“Shell“正则表达式;文本三剑客Sed

文章目录 一.正则表达式1.1正则表达式介绍1.2命令演示1.3正则表达式实验演示 二.Sed编辑器2.1Sed介绍2.2操作命令演示2.3替换2.4插入2.4总结: 一.正则表达式 1.1正则表达式介绍 通常用于判断语句中,用来检查某一字符串是否满足某一格式 正则表达式是由…

unity,如何让人物随着鼠标滑动而转向?

介绍 unity,如何让人物随着鼠标滑动而转向? 方法 using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.EventSystems;public class PlayerMovement : MonoBehaviour {public float speed 6f; …

STM32之IIC

(24条消息) C51之olde显示屏模块的使用_c51 oled_陈学弟的博客-CSDN博客IIC介绍 (24条消息) C51之olde显示屏模块的使用_c51 oled_陈学弟的博客-CSDN博客 函数封装 用到的库函数: HAL_StatusTypeDef HAL_I2C_Mem_Write ( I2C_HandleTypeDef * hi2c , uint16_t…

Day 1 认识软件测试——(软件测试定义、目的、原则)

Day 1 认识软件测试——(软件测试定义、目的、原则) 文章目录 Day 1 认识软件测试——(软件测试定义、目的、原则)软件测试的定义软件测试的目的软件测试的经济学问题黑盒测试白盒测试软件测试原则小结所谓软件测试,就是一个过程或一系列过程,用来确定计算机代码完成了其…

LitCTF 2023 WriteUp(部分)

Index 前言题目Web我Flag呢? Pwn只需要nc一下~口算题卡题目分析EXP: 狠狠的溢出涅~题目分析EXP: ezlogin题目分析EXP: Reverse世界上最棒的程序员 ez_XOREXP: CryptoHex?Hex!(初级)梦想是红色的原来你也玩原神 Misc签到!(初级)Wha…

【MyBatis】Spring Boot整合MyBatis操作数据库

文章目录 1. MyBatis是什么?2. 为什么要学MaBatis?3. MyBatis环境搭建4. MyBatis的使用4.1 简单示例4.2 获取动态参数4.2.1 ${xxx}获取动态参数4.2.2 #{xxx}获取动态参数4.2.3 #{xxx}与${xxx}获取字符串类型数据4.2.4 sql注入问题4.2.5 模糊查询like4.2.…

“Shell“脚本命令

文章目录 一.sort命令二.uniq命令三.tr命令四.cut命令五.split命令六.paste命令七.eval命令 一.sort命令 以行为单位对文件内容进行排序,也可以根据不同的数据类型来排序;比较原则是从首字符向后,依次按ASCII码值进行比较,最后将…

“Shell“数组

文章目录 一.数组1.1数组定义的方法1.2示例在这里插入图片描述 二.数组包2.1数组包括的数据类型2.2传输数组2.3返回数组 一.数组 1.1数组定义的方法 (30 20 10 60 50 40) //以空格相间隔的数组0 1 2 3 4 5 //下标方法一&am…

ACL 2022 | chatglm微调神器P-Tuning v2论文学习

一、概述 title:P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks 论文地址:https://arxiv.org/abs/2110.07602 代码:GitHub - THUDM/P-tuning-v2: An optimized deep prompt tuning st…

ESP32 浮点性能评估

根据数据表,处理器应该包含一个硬件浮点单元: ESP32数据手册摘录 我编写了一个小测试来测量单精度(32 位)和双精度(64 位)的基本浮点运算。除了这些基本测试之外,我还测量了一个典型的小型算法的性能,该算法计算天文学中使用的本地视恒星时间。 作为参考,我在 STM32…