Redis单线程还是多线程?

news2024/11/15 17:47:55

😃 个人学习笔记,不喜勿喷,望大佬指正!

目录

一、Redis为什么选择单线程

1. 是什么?

这种问法其实并不严谨,为啥这么说呢? \textcolor{blue}{\large 这种问法其实并不严谨,为啥这么说呢?} 这种问法其实并不严谨,为啥这么说呢?

Redis的版本很多3.x、4.x、6.x,版本不同架构也是不同的,不限定版本问是否单线程也不太严谨。
1 版本3.x ,最早版本,也就是大家口口相传的redis是单线程。
2 版本4.x,严格意义来说也不是单线程,而是负责处理客户端请求的线程是单线程,但是开始加了点多线程的东西(异步删除)。---貌似
3 2020年5月版本的6.0.x后及2022年出的7.0版本后,告别了大家印象中的单线程,用一种全新的多线程来解决问题。---实锤

有几个里程碑式的重要版本 \textcolor{blue}{\large 有几个里程碑式的重要版本} 有几个里程碑式的重要版本

在这里插入图片描述

5.0版本是直接升级到6.0版本,对于这个激进的升级,Redis之父antirez表现得很有信心和兴奋,所以第一时间发文来阐述6.0的一些重大功能”Redis 6.0.0 GA is out!”

当然, R e d i s 7.0 后版本更加厉害 \textcolor{red}{\large 当然,Redis7.0后版本更加厉害} 当然,Redis7.0后版本更加厉害

2. why,为什么之前选择单线程?

理清一个事实,通常说, R e d i s 是单线程究竟何意? \textcolor{green}{\large 理清一个事实,通常说,Redis是单线程究竟何意?} 理清一个事实,通常说,Redis是单线程究竟何意?

Redis是单线程主要是指Redis的网络IO和键值对读写是由一个线程来完成的,Redis在处理客户端的请求时包括获取(socket 读)、解析、执行、内容返回(socket 写) 等都由一个顺序串行的主线程处理,这就是所谓的“单线程”。这也是Redis对外提供键值存储服务的主要流程。

在这里插入图片描述

但Redis的其他功能, 比如持久化 R D B 、 A O F 、异步删除、集群数据同步等等,其实是由额外的线程执行的。 R e d i s 命令工作线程是单线程的,但是,整个 R e d i s 来说,是多线程的; \textcolor{red}{比如持久化RDB、AOF、异步删除、集群数据同步等等,其实是由额外的线程执行的。Redis \\命令工作线程是单线程的,但是,整个Redis来说,是多线程的;} 比如持久化RDBAOF、异步删除、集群数据同步等等,其实是由额外的线程执行的。Redis命令工作线程是单线程的,但是,整个Redis来说,是多线程的;

请说说演进变化情况 \textcolor{green}{\large 请说说演进变化情况} 请说说演进变化情况

Q:Redis3.X单线程时代但是性能依旧很快的主要原因?

A:

基于内存操作: Redis 的所有数据都存在内存中,因此所有的运算都是内存级别的,所以他的性能比较高;
数据结构简单:Redis 的数据结构是专门设计的,而这些简单的数据结构的查找和操作的时间大部分复杂度都是 0(1),因此性能比较高;

多路复用和非阻塞 I/O: Redis使用 I/O多路复用功能来监听多个 socket连接客户端,这样就可以使用一个线程连接来处理多个请求,减少线程切换带来的开销,同时也避免了 I/O 阻塞操作;

避免上下文切换:因为是单线程模型,因此就避免了不必要的上下文切换和多线程竞争,这就省去了多线程切换带来的时间和性能上的消耗,而且单线程不会导致死锁问题的发生

3. 作者原话使用单线程原因,官网证据

官网:https://redis.io/docs/getting-started/faq/

旧版本Redis官网说明,说Redis就是单线程

在这里插入图片描述

Redis是单线程的。如何利用多个CPU /内核?
CPU并不是您使用Redis的瓶颈,因为通常Redis要么受内存限制,要么受网络限制。例如,使用在平均Linux系统上运行的流水线Redis每秒可以发送一百万个请求,因此,如果您的应用程序主要使用O(N)或O(log(N) )命令,则几乎不会使用过多的CPU。

但是,为了最大程度地利用CPU,您可以在同一框中启动多个Redis实例,并将它们视为不同的服务器。在某个时候,单个盒子可能还不够,因此,如果您要使用多个CPU,则可以开始考虑更早地进行分片的某种方法。您可以在“分区”页面中找到有关使用多个Redis实例的更多信息。

但是,在Redis 4.0中,我们开始使Redis具有更多线程,目前,这仅限于在后台删除对象,以及阻正通过Redis模块实现的命令。对于将来的版本,计划是使Redis越来越线程化。

他的大体意思是说 Redis 是基于内存操作的, 因此他的瓶颈可能是机器的内存或者网络带宽而并非 C P U \textcolor{red}{\large 因此他的瓶颈可能是机器的内存或者网络带宽而并非 CPU} 因此他的瓶颈可能是机器的内存或者网络带宽而并非CPU,既然 CPU 不是瓶颈,那么自然就采用单线程的解决方案了,况且使用多线程比较麻烦。 但是在 R e d i s 4.0 中开始支持多线程了,例如后台删除、备份等功能。 \textcolor{red}{\large 但是在 Redis 4.0 中开始支持多线程了,例如后台删除、备份等功能。} 但是在Redis4.0中开始支持多线程了,例如后台删除、备份等功能。

新版本Redis官网原话,去掉了单线程的
在这里插入图片描述

R e d i s 4.0 之前 \textcolor{red}{\large Redis4.0之前} Redis4.0之前一直采用单线程的主要原因有以下三个

  1. 使用单线程模型是 Redis 的开发和维护更简单,因为单线程模型方便开发和调试;
  2. 即使使用单线程模型也并发的处理多客户端的请求,主要使用的是IO多路复用和非阻塞IO;
  3. 对于Redis系统来说, 主要的性能瓶颈是内存或者网络带宽而并非 C P U 。 \textcolor{red}{\large 主要的性能瓶颈是内存或者网络带宽而并非 CPU。} 主要的性能瓶颈是内存或者网络带宽而并非CPU

二、 为什么逐渐加入多线程特性

1. 单线程也有苦恼,举个例子

正常情况下使用 del 指令可以很快的删除数据,而当被删除的 key 是一个非常大的对象时,例如key包含了成千上万个元素的 hash 集合时,那么 del 指令就会造成 Redis 主线程卡顿。

这就是 r e d i s 3. x 单线程时代最经典的故障,大 k e y 删除的头疼问题, \textcolor{red}{\large 这就是redis3.x单线程时代最经典的故障,大key删除的头疼问题,} 这就是redis3.x单线程时代最经典的故障,大key删除的头疼问题,由于redis是单线程的,del bigKey …

等待很久这个线程才会释放,类似加了一个synchronized锁,你可以想象高并发下,程序堵成什么样子?

2. 如何解决

  • 使用惰性删除可以有效的解决性能问题

  • 案例

    比如当我(Redis)需要删除一个很大的数据时,因为是单线程原子命令操作,这就会导致 Redis 服务卡顿,于是在 Redis 4.0 中就新增了多线程的模块,当然此版本中的多线程主要是为了解决删除数据效率比较低的问题的。

    unlink key
    flushdb async
    flushall async
    把删除工作交给了后台的子线程异步删除数据了

    因为Redis是单个主线程处理,redis之父antirez一直强调"Lazy Redis is better Redis"。

    而lazy free的本质就是把某些cost(主要时间复杂度,占用主线程cpu时间片)较高删除操作,从redis主线程剥离让bio子线程来处理,极大地减少主线阻塞时间。从而减少删除导致性能和稳定性问题。

  • 在Redis4.0就引入了多个线程来实现数据的异步惰性删除等功能但是其处理读写请求的仍然只有一个线程,所以仍然算是狭义上的单线程。

redis6/7的多线程特性和IO多路复用入门

对于Redis 主要的性能瓶颈是内存或者网络带宽而并非 C P U 。 \textcolor{red}{\large 主要的性能瓶颈是内存或者网络带宽而并非 CPU。} 主要的性能瓶颈是内存或者网络带宽而并非CPU

在这里插入图片描述
在这里插入图片描述

3. 所以Redis的瓶颈可以初步定为:网络IO

  • r e d i s 6 / 7 ,真正的多线程登场 \textcolor{red}{\large redis6/7,真正的多线程登场} redis6/7,真正的多线程登场

    在 R e d i s 6 / 7 中,非常受关注的第一个新特性就是多线程。 \textcolor{red}{在Redis6/7中,非常受关注的第一个新特性就是多线程。} Redis6/7中,非常受关注的第一个新特性就是多线程。

    这是因为,Redis一直被大家熟知的就是它的单线程架构,虽然有些命令操作可以用后台线程或子进程执行(比如数据删除、快照生成、AOF重写)但是,从网络IO处理到实际的读写命令处理,都是由单个线程完成的。

    随着网络硬件的性能提升,Redis的性能瓶颈有时会出现在网络IO的处理上,也就是说,单个主线程处理网络请求的速度跟不上底层网络硬件的速度

    为了应对这个问题:

    采用多个 I O 线程来处理网络请求,提高网络请求处理的并行度, R e d i s 6 / 7 就是采用的这种方法。 \textcolor{red}{采用多个IO线程来处理网络请求,提高网络请求处理的并行度,Redis6/7就是采用的这种方法。} 采用多个IO线程来处理网络请求,提高网络请求处理的并行度,Redis6/7就是采用的这种方法。

    但是,Redis的多IO线程只是用来处理网络请求的,对于读写操作命今Redis仍然使用单线程来处理。这是因为,Redis处理请求时,网络处理经常是瓶颈,通过多个IO线程并行处理网络操作,可以提升实例的整体处理性能。而继续使用单线程执行命今换作,就不用为了保证Lua脚本、事各的原子性,额外开发多线程 互斥加锁机制了 ( 不管加锁操作处理 ) \textcolor{red}{互斥加锁机制了(不管加锁操作处理)} 互斥加锁机制了(不管加锁操作处理),这样一来,Redis线程模型实现就简单了

  • 主线程和IO线程怎么协作完成请求处理的-精讲版

    四个阶段:

    请添加图片描述
    在这里插入图片描述

Unix网络编程中的五种IO模型

  • Blocking IO - 阻塞IO

  • NoneBlocking IO - 非阻塞IO

  • IO multiplexing - IO 多路复用

    • Linux世界一切皆是文件

      文件描述符,简称FD,句柄

      FileDescriptor:文件描述符 (File descriptor)是计算机科学中的一个术语,是一个用于表述指向文件的引用的抽象化概念。文件描述符在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。在程序设计中,文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。

    • 首次浅谈IO多路复用,IO多路复用是什么

      一种同步的IO模型,实现一个线程监视多个文件句柄,一旦某个文件句柄就绪就能够通知到对应应用程序进行相应的读写操作,没有文件句柄就绪时就会阻塞应用程序从而释放CPU资源

      概念:

      l/O:网络I/O,尤其在操作系统层面指数据在内核态和用户态之间的读写操作

      多路:多个客户端连接(连接就是套接字描述符,即 socket 或者 channel)

      复用:复用一个或几个线程
      lO多路复用:也就是说一个或一组线程处理多个TCP连接,使用单进程就能够实现同时处理多个客户端的连接,无需创建或者维护过多的进程/线程
      一句话:一个服务端进程可以同时处理多个套接字描述符。
      实现IO多路复用的模型有3种: 可以分select->poll->epoll三个阶段来描述。​

  • signal driven IO - 信号驱动IO

  • asynchronous IO - 异步IO

4. 场景体验,说人话引出epoll

  • 场景解析

    模拟一个tcp服务器处理30个客户socket。
    假设你是一个监考老师,让30个学生解答一道竞赛考题,然后负责验收学生答卷,你有下面几个选择:
    第一种选择(轮询):按顺序逐个验收,先验收A,然后是B,之后是C、D。。。这中间如果有一个学生卡住,全班都会被耽误,你用循环挨个处理socket,根本不具有并发能力。
    第二种选择(来一个new一个,1对1服):你创律30个分身线程,每个分身线程检查一个学生的答案是否正确。这种类似于为每一个用户创建一个进程或者线程处理连接。
    第三种选择(响应式处理,1对多服务):你站在讲台上等,谁解答完谁举手。这时C、D举手,表示他们解答问题完毕,你下去依次检查C、D的答案然后继续回到讲台上等] 此时E、A又举手,然后去处理E和A。。。这种就是IO复用模型。 Linux下的select、poll和epoll就是干这个的。

  • IO多路复用模型,简单明了版理解

    将用户socket对应的文件描述符(FileDescriptor)注册进epoll,然后epoll帮你监听哪些socket上有消息到达,这样就避免了大量的无用操作。此时的socket应该采用非阻塞模式。这样,整个过程只在调用select、poll、epoll这些调用的时候才会阻塞,收发客户消息是不会阻塞的,整个进程或者线程就被充分利用起来,这就是事件驱动,所谓的reactor反应模式。

    在这里插入图片描述

    在单个线程通过记录跟踪每一个Sockek(I/0流)的状态来同时管理多个I/0流,一个服务端进程可以同时处理多个套接字描述符。
    目的是尽量多的提高服务器的吞吐能力。
    大家都用过nginx,nginx使用epoll接收请求,ngnix会有很多链接进来,epoll会把他们都监视起来,然后像拨开关一样,谁有数据就拨向谁然后调用相应的代码处理。redis类似同理,这就是IO多路复用原理,有请求就响应,没请求不打扰。

    小总结

    只使用一个服务端进程可以同时处理多个套接字描述符连接

    在这里插入图片描述

5. 面试题:redis为什么这么快

IO多路复用+epoll函数使用,才是redis为什么这么快的直接原因,而不是仅仅单线程命令+redis安装在内存中。

6. 简单说明

Redis工作线程是单线程的,但是,整个Redis来说,是多线程的;

主线程和IO线程怎么协作完成请求处理的-精简版

I/O 的读和写本身是堵塞的,比如当 socket 中有数据时,Redis 会通过调用先将数据从内核态空间拷贝到用户态空间,再交给 Redis 调用,而这个拷贝的过程就是阻塞的,当数据量越大时拷贝所需要的时间就越多,而这些操作都是基于单线程完成的。

在这里插入图片描述

从Redis6开始,就新增了多线程的功能来提高 I/O 的读写性能,他的主要实现思路是将主线程的 I/O 读写任务拆分给一组独立的线程去执行,这样就可以使多个 socket 的读写可以并行化了,采用多路 I/0 复用技术可以让单个线程高效的处理多个连接请求 (尽量减少网络IO的时间消耗》,将最耗时的Socket的读取、请求解析、写入单独外包出去,剩下的命令执行仍然由主线程串行执行并和内存的数据交互。

在这里插入图片描述

结合上图可知,网络IO操作就变成多线程化了,其他核心部分仍然是线程安全的,是个不错的折中办法。

7. 结论

Redis6 -> 7将网络数据读写、请求协议解析通过多个IO线程的来处理,对于真正的命令执行来说,仍然使用主线程操作,一举两得

在这里插入图片描述

三、 Redis7是否开启了多线程

1. 如何开启? 什么时候适合开启?

如果你在实际应用中,发现Redis实例的CPU开销不大但吞吐量却没有提升,可以考虑使用Redis7的多线程机制,加速网络处理,进而提升实例的吞吐量

Redis7将所有数据放在内存中,内存的响应时长大约为100纳秒,对于小数据包,Redis服务器可以处理8W到10W的QPS。

这也是Redis处理的极限了,对于80%的公司来说,单线程的Redis已经足够使用了。

在这里插入图片描述

在这里插入图片描述

  1. 设置io-thread-do-reads配置项为yes,表示启动多线程。
  2. 设置线程个数。关于线程数的设置,官方的建议是如果为4核的CPU,建议线程数设置为2或3,如果为8核CPU建议线程数设置为6,安程数一定要小于机器核数,线程数并不是越大越好。

2. 总结:

Redis自身出道就是优秀,基于内存操作、数据结构简单、多路复用和非阻塞I/O、避免了不必要的线程上下文切换等特性,在单线程的环境下依然很快;

但对于大数据的 key删除还是卡顿厉害,因此在Redis 4.0引入了多线程unlink key/flushall async等命令,主要用于Redis 数捷的异步删除;

而在Redis6/7中引入了I/0多线程的读写,这样就可以更加高效的处理更多的任务了,Redis只是将I/O读写变成了多线程,而命令的执行依旧是由主线程串行执行的,因此在多线程下操作 Redis不会出现线程安全的问题。

Redis无论是当初的单线程设计,还是如今与当初设计相背的多线程,目的只有一个:让 Redis变得越来越快。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1133992.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

网络安全,下一个十年饭碗稳了!

“战役”阶段,多个行业线下转为线上求生,云买菜、云蹦迪、云相亲、云聚会悄然兴起,未来属于云时代似乎成为互联网的共识,而与互联网息息相关的网络安全领域,已经站上了了蓬勃发展的“风口” 如今,网络安全前…

如何用Postman做接口自动化测试?一文5个步骤带你成功实现!

什么是自动化测试 把人对软件的测试行为转化为由机器执行测试行为的一种实践。 例如GUI自动化测试,模拟人去操作软件界面,把人从简单重复的劳动中解放出来 本质是用代码去测试另一段代码,属于一种软件开发工作,已经开发完成的用例…

Python超入门(6)__迅速上手操作掌握Python

# 26.函数和参数 # 注意:有参函数和无参函数的名字要不同 def user(): # 无参函数print("hello world!")def user1(my_id): # 有参函数print(my_id)def user2(first_name, last_name): # 有参函数print(fMy name is {first_name} {last_name})print(&…

商超便利店经营小程序商城的作用是什么

店铺流量越来越低,线上平台入驻费用也不低,营销方式单一,店铺内经营数据无法统计,客户进店难,消费难,复购更难,越来越多的商超便利商家开始通过数字化商城解决问题。 通过【雨科】平台搭建商超便…

HackTheBox - Starting Point -- Tier 0 --- Dancing

文章目录 一 题目二 实验过程 一 题目 Tags Network、Protocols、SMB、Reconnaissance、Anonymous/Guest Access译文:网络、协议、SMB、侦察、匿名/访客访问Connect To attack the target machine, you must be on the same network.Connect to the Starting Poi…

基于springboot实现篮球竞赛预约平台管理系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现篮球竞赛预约平台管理系统演示 摘要 随着信息化时代的到来,管理系统都趋向于智能化、系统化,篮球竞赛预约平台也不例外,但目前国内仍都使用人工管理,市场规模越来越大,同时信息量也越来越庞大&…

统计学习方法 支持向量机(下)

文章目录 统计学习方法 支持向量机(下)非线性支持向量机与和核函数核技巧正定核常用核函数非线性 SVM 序列最小最优化算法两个变量二次规划的求解方法变量的选择方法SMO 算法 统计学习方法 支持向量机(下) 学习李航的《统计学习方…

SpringBoot 源码分析(二) 自动装配过程分析

一、自动装配原理前置知识 自动装配就是自动将bean装载到Ioc容器中。实际上在spring 3.x版本中,Enable模块驱动注解的出现,已经有了一定的自动装配的雏形,而真正能够实现这一机制,还是在spirng 4.x版本中,conditional条…

微信小程序实现网页详情

方案一、使用微信小程序官方提供的webview 前提已经在微信公众平台开发管理配置好了安全域名即: 方案二、把网页转成pdf直接展示 前提已经在微信公众平台开发管理配置好了安全域名即: 实现思路是发起网络请求拿到pdf下载地址,然后wx.download…

MySQL的优化利器:索引条件下推,千万数据下性能提升273%

MySQL的优化利器:索引条件下推,千万数据下性能提升273%🚀 前言 上个阶段,我们聊过MySQL中字段类型的选择,感叹不同类型在千万数据下的性能差异 时间类型:MySQL字段的时间类型该如何选择?千万…

JAVA毕业设计104—基于Java+Springboot+Vue的医院预约挂号小程序(源码+数据库)

基于JavaSpringbootVue的医院预约挂号小程序(源码数据库)104 一、系统介绍 本系统前后端分离带小程序 小程序(用户端),后台管理系统(管理员,医生) 小程序: 预约挂号,就诊充值&…

GWAS软件包:GAPIT3它来啦

GAPIT是一款非常老的而且非常流行的软件包,傻瓜式操作,一键出图出结果,一篮子的解决方案,是我最经常使用的GWAS分析软件包。 最近,GAPIT现在的版本是GAPIT3,速度比第二版有较大的提升: 更大的变…

快速解决安装ps打开找不到MSVCP140.dll问题,教你5个解决方法,

如果你在安装 Photoshop 时遇到找不到MSVCP140.dll的问题,MSVCP140.dll是Microsoft Visual C 2015 Redistributable的一个组件,它提供了许多常用的C函数库,用于支持各种软件的正常运行。当安装或运行某些软件时,如果系统中MSVCP14…

鱼眼图像去畸变python / c++

#鱼眼模型参考链接 本文假设去畸变后的图像与原图大小一样大。由于去畸变后的图像符合针孔投影模型,因此不同的去畸变焦距得到不同的视场大小,且物体的分辨率也不同。可以见上图,当焦距缩小为一半时,相同大小的图像(横…

【办公常用软件分享】

在平时的工作生活中,经常会遇到各种各样的需求,没有合适的工具,不仅会降低效率,还会影响结果,有些工具的功能虽然能够满足,但是需要付费,偶尔用一次总显得不划算,所以今天就分享几个…

Modbus转Profinet网关连接三菱变频器博图快速配置案例

本案例将分享如何使用兴达易控的modbus转profinet网关(XD-MDPN100)来连接西门子1200系列plc,并实现三菱变频器的485通讯兼容转modbusTCP通信。通过在博图中进行配置,我们可以实现设备之间的连接和通信。 首先,我们需…

通信基础(三):多路复用技术

一、时分复用 时分复用造成线路资源的浪费: 使用时分复用系统传送计算机数据时,由于计算机数据的突发性质,用户对分配到的子信道的利用率一般是不高的。 二、 统计时分复用 STDM(Statistic TDM)

select distinct 语句详解

select distinct :当我们期望返回的数据不存在重复数据时(每一行的数据都不一样) 例如:表a select distinct a.* from a -- 可以查询出所有的信息 select distinct a.id from a -- 可以查询出id不同的信息,则还是全部…

【STM32】GPIO控制LED(HAL库版)

STM32最新固件库v3.5/Libraries/CMSIS/CM3/DeviceSupport/ST/STM32F10x/system_stm32f10x.c 林何/STM32F103C8 - 码云 - 开源中国 (gitee.com) STM32最新固件库v3.5/Libraries/STM32F10x_StdPeriph_Driver/src/stm32f10x_gpio.c 林何/STM32F103C8 - 码云 - 开源中国 (gitee.…

基于V/F控制的三相逆变器MATLAB仿真模型

微❤关注“电气仔推送”获得资料(专享优惠) 参考文献:张飞,刘亚,张玉杰.基于V/F控制的三相逆变器仿真模型的研究[J].自动化与仪器仪表,2015 关于V/F控制的论文非常多,随意下载! 当分布式电源经过逆变器运行于孤岛模…