面试题:Redis网络模型

news2024/11/25 17:37:36

1 用户空间和内核空间

以Centos 7 linux操作系统为例。

计算机系统被内核操控, 内核被应用操控。

为了避免用户应用导致冲突甚至内核崩溃,用户应用与内核是分离的

  • 进程的寻址空间会划分为两部分:内核空间用户空间。

  • 用户空间只能执行受限的命令(Rin3,最低级命令),而且不能直接调用系统资源,必须通过内核提供的接口来访问,内核可以选择暴露哪些资源可以被用户访问。

  • 内核空间可以执行特权命令 (Ring0,可以直接访问系统资源),调用一切系统资源

以32位CPU为例,其内存空间为2的32次方,即4GB,将其分为内核空间和用户空间如下图所示

Linux系统为了提高IO效率,会在用户空间和内核空间加入缓冲区

在写数据时:要把用户的缓冲数据拷贝到内核缓冲区,然后写入到磁盘。

注意图中红箭头

写数据图

在读数据时:要从设备读取数据到内核缓冲区,然后拷贝到用户缓冲区。

注意图中黑色箭头,

  • 用户向内核发起读数据的指令,如果数据还没到达则需要等待数据;

  • 数据从网络中传输到磁盘,然后读取到内核态的缓冲区;

  • 用户太将数据从内核缓冲区copy到自己的缓冲区。

读数据图

影响性能的点:
1、在读取数据时会发生阻塞
2、用户态和内核态缓冲区的拷贝会影响效率。

2 网络模型

2.1 阻塞IO(Blocking IO)

用户获取数据的过程,图的左半部分是应用的等待过程,右半部分是等待过程中内核做哪些

  1. 内核等待磁盘准备数据

  1. 内核将数据拷贝到用户太的缓存中。

可以看到,阻塞IO模型中,用户进程在两个阶段都是阻塞状态。
2.2 非阻塞IO (NonBlocking IO)

用户获取数据的过程,左半部分用户一直在循环尝试获取锁数据,右图部分内核在等待数据,然后将数据拷贝到用户空间中。

  1. 在第一阶段,内核直接返回失败信息。

  1. 在第二阶段,数据拷贝时用户需要阻塞。

可以看到,非阻塞10模型中,用户进程在第一个阶段是非阻塞,第二个阶段是阻塞状态。虽然是非阻塞,但性能并没有得到提高。而且忙等机制会导致CPU空转,CPU使用率暴增

2.3 IO多路复用

无论是阻塞IO还是非阻塞IO,用户应用在一阶段都需要调用recvfrom函数,差别在于无数据时的处理

  • 如果调用recvfrom时,恰好没有数据,阻塞10会使进程阻塞,非阻塞10使CPU空转,都不能充分发挥CPU的作用。

  • 如果调用recvfrom时,恰好有数据,则用户进程可以直接进入第二阶段,读取并处理数据。

在阻塞IO的情况下,服务端处理客户端Socket请求时,在单线程的情况下,只能处理一个socket,如果正常处理的socket数据还没有准备就绪,线程就会被阻塞,其他客户端的socket都必须等待,性能很差。

提高效率的方法
1、开启多线程,同时处理多个socket。
2、不排队,当谁数据准备好了,cpu就去处理谁。

那么内核如何知道哪些socket数据已经准备就绪了呢?可以通过文件描述符知道!!!

文件描述符(File Descriptor)

文件描述符: 简称FD,是一个从0开始递增的无符号整数,用来关联Linux中的一个文件。在Linux一切皆文件,例如常规文件、视频、硬件设备等,当然也包括网络套接字 (Socket)。

IO多路复用 : 是利用单个线程来同时监听多个FD并在某个FD可读、可写时得到通知,从而避免无效的等待,充分利用CPU资源。

用户进程调用select函数,监听多个sockets,然后内核态告知用户态哪些sockets的数据已经准备就绪,然后用户态调用recvfrom函数获取数据。

监听FD的方式、通知的方式又有多种实现

  • select

  • poll

  • epoll

差异:

  • select和poll只会通知用户进程有FD就绪,但不确定具体是哪个FD,需要用户进程逐个遍历FD来确认

  • epoll则会在通知用户进程FD就绪的同时,把已就绪的FD写入用户空间

综合对比epoll更占优势。


2.4 Select

select是Linux中最早的I/0多路复用实现方案

例如select 监督读事件的fd集合。

1.1 创建fd_set集合

1.2 监听fd = 1,2,5

1.3 切换到内核态,并将fd_set拷贝,然后执行select函数

2.1内核遍历集合

2.2查看准备就绪的fd,没有则休眠

2.3 等待数据就绪被唤醒或者超时。

2.4 将fd_set拷贝到用户态的中。

select模式存在的问题:

  • 需要将整个fd_set从用户空间拷贝到内核空间,select结束还要再次拷贝回用户空间;

  • select无法得知具体是哪个fd就绪,需要遍历整个fd_set;

  • fd_set监听的fd数量不能超过1024。


2.5 Poll

poll模式对select模式做了简单改进,但性能提升不明显,部分关键代码如下

IO流程

  • 创建pollfd数组,向其中添加关注的fd信息,数组大小自定义

  • 调用poll函数,将pollfd数组拷贝到内核空间,转链表存储,无上限

  • 内核遍历fd,判断是否就绪

  • 数据就绪或超时后,拷贝pollfd数组到用户空间,返回就绪fd数量n

  • 用户进程判断n是否大于0

  • 大于0则遍历pollfd数组,找到就绪的fd

与select对比

  • select模式中的fd set大小固定为1024,而pollfd在内核中采用链表,理论上无上限

  • 监听FD越多,每次遍历消耗时间也越久,性能反而会下降


2.5 epoll

epoll模式是对select和poll的改进,它提供了三个函数

epoll_create:在内核中创建eventpoll结构体,返回对应的句柄epfd

epoll_ctl:将fd加入到红黑树上,如果数据准备就绪触发callback将其加入到就绪的list链表中

epoll_wait:检查rdlist列表是否为空,不为空则返回就绪的FD数量。

epoll流程图:

select模式存在的三个问题

  • 能监听的FD最大不超过1024

  • 每次select都需要把所有要监听的FD都拷贝到内核空间每次都要遍历所有FD来判断就绪状态

poll模式的问题:

  • poll利用链表解决了select中监听FD上限的问题,但依然要遍历所有FD,如果监听较多,性能会下降

epoll模式中如何解决这些问题的?

  • 基于epoll实例中的红黑树保存要监听的FD,理论上无上限,而且增删改查效率都非常高,性能不会随监听的FD数量增多而下降。

  • 每个FD只需要执行一次epoll_ctl添加到红黑树,以后每次epol wait无需传递任何参数,无需重复拷贝FD到内核空间

  • 内核会将就绪的FD直接拷贝到用户空间的指定位置,用户进程无需遍历所省FD就能知道就绪的FD是谁

2.6 信号驱动IO

信号驱动IO是与内核建立SIGIO的信号关联并设置回调,当内核有FD就绪就会通知用户,期间用户可以执行其他业务。

当有大量I0操作时,信号较多,SIGIO处理函数不能及时处理可能导致信号队列溢出而且内核空间与用户空间的频繁信号交互性能也较低。

2.7 异步IO

闲的闲死,累的累死。

同步和异步的区分:看第二阶段是阻塞还是非阻塞的。

3 Redis网络模型

Redis到底是单线程还是多线程?

  • 如果仅考虑Redis的核心业务部分(命令处理),答案是单线程

  • 如果考虑整个Redis,那么答案是多线程。

在Redis 6.0 :核心网络模型引入了多线程

为什么Redis作者选择单线程?

  • 抛开持久化不谈,Redis是纯内存操作,执行速度非常快,它的性能瓶颈是网络延迟而不是执行速度,因此多线程并不会带来巨大的性能提升

  • 多线程会导致过多的上下文切换,带来不必要的开销

  • 引入多线程会面临线程安全问题,必然要引入线程锁这样的安全手段,实现复杂度增高,而且性能也会大打折扣

3.1 单线程下的网络模型

Redis通过10多路复用来提高网络性能,并且支持各种不同的多路复用实现,并且将这些实现进行封装,提供了统一的高性能事件库API库AE:

源码:server.c

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/333034.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

解决Mac 安装应用提示:xx已损坏,无法打开。 您应该将它移到废纸篓问题

许多新手mac 用户安装应用得时候会出现 “已损坏,无法打开。您应该将它移到废纸娄” 导致无法正常安装,其实应用软件b并没有损坏,只是系统安全设置,我们改如何解决呢? 1、开启允许任何来源 苹果已经取消了允许“任何…

以数据驱动管理场景,低代码助力转型下一站

数据驱动 数据驱动,是通过移动互联网或者其他的相关软件为手段采集海量的数据,将数据进行组织形成信息,之后对相关的信息讲行整合和提炼,在数据的基础上经过训练和拟合形成自动化的决策模型,简单来说,就是…

Python项目实战——外汇牌价(附源码)

前言 几乎每个人都在使用银行卡,今天我们就来爬取某行外汇牌价,获取我们想要的数据。 环境使用 python 3.9pycharm 模块使用 requests 模块介绍 requestsrequests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到&…

5分钟搞懂 强缓存与协商缓存

Ⅰ、http缓存 HTTP 缓存策略 分为 > 「强制缓存」 和 「协商缓存」 为什么需要 HTTP 缓存 呢 ? 👇 直接使用缓存速度 >> 远比重新请求快 缓存对象有那些呢 ?👇 「图片」 「JS文件」 「CSS文件」 等等 文章目录Ⅰ、http缓存Ⅱ…

震惊!邻桌的程序猿做可视化报告竟然比我还快,带着好奇心我打开了他的电脑,发现惊天秘密,原因竟是...

其实,本文就是想分享一个做可视化的捷径! 制作可视化的方式有千千万。 Excel 控若能轻车熟路驾驭 VBA,能玩出各种花来,再不济借助图表插件外援也能秒杀一众小白选 手。 会编程的,Echarts 几十行代码,分分…

Flink反压如何排查

Flink反压利用了网络传输和动态限流。Flink的任务的组成由流和算子组成,那么流中的数据在算子之间转换的时候,会放入分布式的阻塞队列中。当消费者的阻塞队列满的时候,则会降低生产者的处理速度。 如上图所示,当Task C 的数据处…

nuxt 学习笔记

这里写目录标题路由跳转NuxtLinkquery参数params参数嵌套路由tab切换效果layouts 文件夹强制约定放置所有布局文件&#xff0c;并以插槽的形式作用在页面中1.在app.vue里面2.component 组件使用Vue < component :is"">Vuex生命周期数据请求useFetchuseAsyncDat…

鸿蒙设备学习|快速上手BearPi-HM Micro开发板

系列文章目录 第一章 鸿蒙设备学习|初识BearPi-HM Micro开发板 第二章 鸿蒙设备学习|快速上手BearPi-HM Micro开发板 文章目录系列文章目录前言一、环境要求1.硬件要求2.软件要求3.Linux构建工具要求4.Windows开发工具要求5.工具下载地址二、安装编译基础环境1.安装Linux编译环…

【速通版】吴恩达机器学习笔记Part1

准备速通一下吴恩达的机器学习 很快做个笔记5.2.3 监督学习 part 2_哔哩哔哩_bilibili 1.概述&#xff08;P1-P3) ML是AI的重要部分&#xff0c;AI的目标是AGI&#xff08;artificial general intelligence&#xff09;但是目前就。。。。 supervised learning&#xff1a;目…

如何开发L2毫秒接口?

L2毫秒接口普遍应用于大众的日常生活中&#xff0c;并且很多的企业通过api进行数据内容的调用&#xff0c;从而在技术上和成本上得到福利。 进行数据的整合与共享是L2毫秒接口的主要用途之一&#xff0c;所以开发L2毫秒接口就必须慎重&#xff0c;注意安全隐患&#xff0c;防止…

VHDL语言基础-组合逻辑电路-其它组合逻辑模块

目录 多路选择器&#xff1a; 逻辑功能&#xff1a; 常用的类型&#xff1a; 4选1多路选择器的实现&#xff1a; 求补器&#xff1a; 求补器的实现&#xff1a; 三态门&#xff1a; 三态门的应用实例&#xff1a; 三态门的实现&#xff1a; 缓冲器&#xff1a; 什么是…

Lesson 6.4 逻辑回归手动调参实验

文章目录一、数据准备与评估器构造1. 数据准备2. 构建机器学习流二、评估器训练与过拟合实验三、评估器的手动调参在补充了一系列关于正则化的基础理论以及 sklearn 中逻辑回归评估器的参数解释之后&#xff0c;接下来&#xff0c;我们尝试借助 sklearn 中的逻辑回归评估器&…

Ts笔记第一天

文章目录安装 ts运行环境 nodeTS类型数字 、字符串 和布尔类型字面量any 和unknown类型断言void和neverobjectArraytuple 元组enum 枚举安装 ts运行环境 node node-v看版本号 2. 安装ts -g全局安装 npm i -g typescript // 这里全局安装 -s安装无法使用tsc 创建一个01.ts文…

第五十章 动态规划——数位DP模型

第五十章 动态规划——数位DP模型一、什么是数位DP数位DP的识别数位DP的思路二、例题1、AcWing 1083. Windy数&#xff08;数位DP&#xff09;2、AcWing 1082. 数字游戏&#xff08;数位DP&#xff09;3、AcWing 1081. 度的数量&#xff08;数位DP&#xff09;一、什么是数位DP…

供应PEG试剂AC-PEG-COOH,Acrylate-PEG-Acid,丙烯酸酯-PEG-羧基

英文名称&#xff1a;AC-PEG-COOH&#xff0c;Acrylate-PEG-Acid 中文名称&#xff1a;丙烯酸酯-聚乙二醇-羧基 丙烯酸酯-PEG-COOH是一种含有丙烯酸酯和羧酸的线性杂双功能PEG试剂。它是一种有用的带有PEG间隔基的交联剂。丙烯酸酯可与紫外光或自由基引发剂聚合。丙烯酸酯-PE…

从FPGA说起的深度学习(二)

这是新的系列教程&#xff0c;在本教程中&#xff0c;我们将介绍使用 FPGA 实现深度学习的技术&#xff0c;深度学习是近年来人工智能领域的热门话题。在本教程中&#xff0c;旨在加深对深度学习和 FPGA 的理解。用 C/C 编写深度学习推理代码高级综合 (HLS) 将 C/C 代码转换为硬…

Leetcode.1797 设计一个验证系统

题目链接 Leetcode.1797 设计一个验证系统 Rating : 1534 题目描述 你需要设计一个包含验证码的验证系统。每一次验证中&#xff0c;用户会收到一个新的验证码&#xff0c;这个验证码在 currentTime时刻之后 timeToLive秒过期。如果验证码被更新了&#xff0c;那么它会在 curr…

完成各种项目生态环评工作丨全流程基于最新导则下的生态环境影响评价技术方法及图件制作与案例

目录 专题一 生态环境影响评价框架及流程 专题二 基于遥感解译的土地利用现状图的编制 专题三 生物多样性测定及R语言分析 专题四 植被类型及植被覆盖度图的编制 专题五 生物量与净初级生产力测定&#xff1a;实测及模型 专题六 生态系统类型及服务价值评估 专题七 物种…

【漫漫转码路】Day 45 机器学习 day04

梯度下降 梯度下降法是常用于求解无约束情况下凸函数的极小值&#xff0c;是一种迭代类型的算法&#xff0c;因为凸函数只有一个极值点&#xff0c;故求解出来的极小值点就是函数的最小值点 公式 第一个θ&#xff0c;是更新之后的θ&#xff0c;第二个θ是更新之前的θ&…

数据挖掘,计算机网络、操作系统刷题笔记47

数据挖掘&#xff0c;计算机网络、操作系统刷题笔记47 2022找工作是学历、能力和运气的超强结合体&#xff0c;遇到寒冬&#xff0c;大厂不招人&#xff0c;可能很多算法学生都得去找开发&#xff0c;测开 测开的话&#xff0c;你就得学数据库&#xff0c;sql&#xff0c;orac…