I/O多路复用+高性能网络模式

news2024/11/16 3:29:26

前言:
本篇文章将介绍客户端-服务端之间从最简单的Socket模型到I/O多路复用的模式演变过程,并介绍Reactor和Proactor两种高性能网络模式

文章内容摘自:小林Coding
I/O多路复用+高性能网络模式

.

  • 传统Socket模型
  • 传统Socket模型的性能瓶颈
  • 多进程模型
  • 多线程模型
  • I/O多路复用
    • select/poll
    • epoll
      • 水平触发和边缘触发
  • Reactor模式和Proactor模式

传统Socket模型

在这里插入图片描述
服务端流程:
1.创建Socket套接字
2.使用bind函数绑定ip地址和端口
3.listen函数监听端口让套接字变成可以被动连接的状态,此时服务端会被阻塞,等待连接的到来
4.当连接到来时,应用程序通过accept socket接口从全连接队列中拿出一个已经连接好的socket进行网络通信
5.使用recv/send函数进行数据的收发
6.当不使用服务端时,使用close函数关闭服务端
客户端流程:
1.创建Socket套接字
2.可以选择用bind函数去绑定端口,也可以暂时不绑定.如果没有用Bind函数去指定端口的话,后续客户端会在调用Connect()函数时随机的从内核参数指定的范围内选择一个随机数作为自己的端口,流程如下:

1.判断这个随机产生的端口是不是有相同的四元组,如果没有,则直接使用这个
端口

2.如果这个端口有相同的四元组,判断是不是开启了参数tcp_tw_reuse,如果没
开启这个参数,则重新在内核参数指定范围内再选择一个端口,重复判断过程

3.如果开启了tcp_tw_reuse参数,则需要判断相同的四元组连接是不是已经进入
time_wait状态并且时间超过了1秒,如果是,则可以无缝复用这个链接,如果
不是,则重新在内核参数指定范围内再选择一个端口,重复判断过程.

3.用Connect()函数和服务端进行连接
4.用read/write函数进行数据的读写


传统Socket模型的性能瓶颈

传统Socket模型采用的是阻塞同步的网络模式,这里先给大家普及一下
阻塞,非阻塞,同步,异步的概念.

阻塞:当一个任务发出一个请求之后,它需要等待这个请求被正确处理完毕并返回处理结果之后,该任务才能继续执行.

非阻塞:当一个任务发出一个请求之后,它不需要等待这个请求被处理完就可以继续往后执行,并通过轮询和回调的方式来获取请求的处理结果.

同步:同步的关键词是等待,只要有等待的过程,就算同步,比如说:任务需要等待请求的处理结果之后才能继续执行,那么这就是一个同步的过程,所以说阻塞一般和同步挂钩,但是非阻塞也可以跟同步搭配,非阻塞虽然不用等待任务被处理完毕,但是可能仍然要等待数据从内核态被拷贝的用户态的一个拷贝过程.

异步:没有等待的过程,既不需要等待请求是否被处理完毕,也不需要等待数据拷贝.


所以对于传统的Socket的阻塞同步网络模式来说,服务端正在处理某一个客户端的网络 I/O,或者因为读写操作被阻塞住的话,那么服务端就没有办法和其他客户端正常连接,所以大大限制了服务端的性能

多进程模型

主进程负责监听连接,一旦连接完成,accept()函数会返回一个已经连接好的socket,主进程此时会通过fork函数创建若干个子进程.父进程和子进程之间通过返回值来区分.

因为fork函数几乎可以复制父进程的所有内容,所以连同把父进程的文件描述符也复制过来了,子进程可以通过文件描述符并使用已经连接好的Socket和客户端进行通信
在这里插入图片描述
值得注意的是,使用多进程模型,需要在使用结束时及时使用wait函数和waitpid函数获取子进程的终止状态并且释放资源,避免它们成为僵尸进程白白占用系统资源


多线程模型

多线程模型由线程池来实现,主要的目的就是避免线程频繁的创建和销毁带来的性能开销.

线程池的工作逻辑:

1. 创建一个固定大小的线程池,并初始化一定数量的工作线程
2. 工作线程按照循环的方式,从请求队列中拿出请求并做出处理
3. 当新请求到来时,主线程会把请求(Socket)放入请求队列中
5. 使用互斥锁,信号量等工具,让工作线程安全的从请求队列中取出请求
6. 工作线程处理好请求之后,会再次回到线程池中,再次以循环的方式等待是否
有请求可以处理
6.服务器停止工作时,主线程通知工作线程释放资源,安全关闭.

在这里插入图片描述
不管是多进程模型,还是多线程模型,如果一个TCP连接就要分配一个进程/线程的话,那么如果有10W个TCP连接就要分配10W个进程/线程,所以多线程模型也不是完美的

普通的线程池工作逻辑
线程池中的所有线程都是工作线程,工作线程中的空闲线程会从请求队列中取出请求并且执行
半同步/半反应堆线程(模拟Proactor模式)
除了工作线程之外,有专门负责监听和任务调度的线程存在,例如主线程
当请求到来时,主线程或者其他负责调度的线程会接受请求,然后根据任务类型分发给其他的工作线程.

1.主线程充当异步线程,监听所有socket上的事件,步骤如下:

2.当请求连接到来时,主线程接收并获得新连接好的socket

3.将该socket注册到epoll上,然后用epoll_wait等待事件到来

4.如果监听的socket有读写事件发生时,主线程从socket上接收数据,并封装成请求插入到请求队列中

I/O多路复用

I/O多路复用的思想就是让一个进程可以去维护多个Socket,而不是像多进程/线程模型那样,一个进程/线程只能对应一个Socket

其中select/poll/epoll是系统内核提供给用户态的多路复用系统调用函数,进程可以通过这些函数从内核中获取多个事件

select/poll

select和poll实现多路复用的方式很类似
select是把所有已连接的Socket放进一个文件描述符集合之中,然后把整个文件描述符集合拷贝到内核,由内核来检查是否有事件发生,内核会以遍历的方式遍历整个文件描述符集合然后把有事件发生的Socket标记为可读或可写,然后再把整个文件描述符集合拷贝回用户态,再次遍历文件描述符集合找到可读或可写的Socket做出处理

所以select需要经历两次遍历文件描述符集合+两次文件描述符集合的拷贝

而poll跟select很相似,只不过poll没有用Bitsmap来存储文件描述符集合,而是用动态数组+链表的方式存储文件描述符集合的,所以二者都是使用线性结构来存储Socket集合的.


epoll

1.epoll使用红黑树来跟踪存储所有待检测的文件描述符的,因为红黑树是一个高效的数据结构,所以它只需要O(logn)就可以完成插入查询删除操作,而select和poll就没有这样高效的数据结构,正是因为epoll中内核有了红黑树来存储socket,所以他不需要像select/poll那样,在操作时将整个文件描述符集合全部拷贝到内核,而是只需要传入一个待检测的文件描述符即可.

2.epoll采用事件驱动机制,在内核中维护了一个链表来存储所有的就绪事件,当监测的Socket上有事件发生时,内核会通过回调函数将事件加入就绪事件队列中.当用户调用epoll_wait函数获取事件时,只会返回有事件发生的文件描述符个数,而不会像select/poll那样遍历整个文件描述符集合

epoll相关函数

epoll_create()  //创建一个epoll对象

epoll_ctl()  //将待检测的socket注册到epoll上

epoll_wait()  //等待时间的到来

加入epoll之后的服务端流程

1.创建Socket套接字

2.使用bind函数绑定ip地址和端口

3.用listen监听端口

4.将服务端socket通过epoll_ctl注册到epoll上

5.epoll_wait等待连接到来,当连接到来时,用accept函数获取已经连接
好的socket

6.将已经连接好的socket注册到epoll上

7.使用epoll_wait函数等待事件的到来

水平触发和边缘触发

边缘触发
当监测的Socket上有可读事件发生时,服务端会在epoll_wait上唤醒一次,即使进程没有主动调用read函数进行读操作,服务端也仅仅会唤醒一次,并且尽可能一次性的将内核缓冲区的数据读完

因为边缘触发只有一次通知,所以服务端会尽可能的多读写数据,以免浪费了读写数据的机会,并且是以循环的方式在文件描述符上读写数据的,所以文件描述符此时必须是非阻塞的,否则就会被阻塞在读写函数上,程序就没办法继续进行下去了.

水平触发
当被监控的Socket上有可读事件发生时,服务端会不断的从epoll_wait上唤醒,并读取内核缓冲区的数据直到内核缓冲区的数据被读完

当内核通知文件描述符是可读写时,接下来还要继续检查它的状态,确保它依然是可读或者可写的,所以没必要像边缘触发那样一次性读写过多的数据.


Reactor模式和Proactor模式

Reactor
是一种非阻塞同步网络模式,它感知的就绪的网络事件,当感知到有事件发生时,应用进程会主动的使用write/read函数进行读写操作,将socket缓冲区中的数据读入应用进程的内存之中,这个过程是同步的,读完之后再进行数据的处理.

Proactor
是一种异步网络模式,它感知的是已完成的网络事件,当发出一个异步请求时,需要提供缓冲区的地址,然后系统内核就会帮助我们完成读写操作,这里的读写操作全部都是由操作系统来完成的,而不是像Reactor那样是由应用进程主动调用read/write函数完成的,在操作系统完成读写操作之后,交给应用进程处理

总结
Reactor模式可以理解为:
当事件到来时,操作系统通知应用进程,由应用进程处理
Proactor模式可以理解为:
当事件到来时,操作系统处理,处理完了通知应用进程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/677142.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Java基础学习打卡12】Java入门程序

目录 前言一、Java程序开发运行流程二、Java程序源代码编写三、Java程序源代码编译四、Java程序运行五、Java入门程序问题总结 前言 本文首先介绍Java程序开发运行基础流程,然后先进行程序源代码编写,然后对Java程序代码进行编译,最后要运行…

Python学习笔记(1)--环境搭建,开发工具PyCharm 安装及初步使用

传送门>B站黑马python入门教程 目录 1.Python环境安装搭建安装python基础包验证安装文件 2.hello world3.开发工具PyCharm 安装及初步使用安装基础设置 1.Python环境安装搭建 安装python基础包 首先,打开python 官网 https://www.python.org/ 下载windows版 下载后进行安装 …

Triton教程 --- 解耦后端和模型

Triton教程 — 解耦后端和模型 Triton系列教程: 快速开始利用Triton部署你自己的模型Triton架构模型仓库存储代理模型设置优化动态批处理速率限制器模型管理自定义算子 解耦后端和模型 Triton 可以支持为一个请求发送多个响应或为一个请求发送零个响应的后端和模型。 解耦的…

论文笔记--Prompt Consistency for Zero-Shot Task Generalization

论文笔记--Prompt Consistency for Zero-Shot Task Generalization 1. 文章简介2. 文章概括3 文章重点技术3.1 Prompt-based zero-shot task generalization3.2 Prompt Consistency Training3.3 如何防止遗忘和退化? 4. 文章亮点5. 原文传送门 1. 文章简介 标题&am…

【numpy模块上}——数据分析01

目录索引 介绍:用处与特点:构成:导包:创建数组: numpy常用方法:常用属性查看:*获取秩的大小:**获取数组形状:**获取元素个数:**获取元素类型:**获…

行为型设计模式10-解释器模式

🧑‍💻作者:猫十二懿 ❤️‍🔥账号:CSDN 、掘金 、个人博客 、Github 🎉公众号:猫十二懿 解释器模式 1、解释器模式介绍 解释器模式(Interpreter Pattern)是一种行为设…

Kafka系列之:对源连接器的的Exactly-Once支持

Kafka系列之:对源连接器的的Exactly-Once支持 一、背景二、目标三、公共接口四、连接器 API 扩展五、REST API验证六、新指标七、计划变更八、任务计数记录九、重新平衡的准备十、源任务启动十一、领导者访问配置主题十二、用于隔离事务生产者的管理 API十三、解决了…

论文阅读 - SegFormer

文章目录 1 概述2 模型说明2.1 总体结构2.2 Hierarchical Transformer Encoder2.3 Lightweight All-MLP Decoder 3 SegFormer和SETR的比较参考资料 1 概述 图像分割任务和图像分类任务是非常相关的,前者是像素级别的分类,后者是图像级别的分类。基于分类…

不到3000块,搭建IT人的实验平台!性能可媲美服务器!

作为IT从业者,特别是运维这个岗位,没有自己的实验平台真的特别难受,那么如何搭建自己的实验平台呢?这是我最近思考并付诸实践的一个事情,最终找到了自己觉得比较可以的方案。 01 我的需求是什么? 大内存容量…

TypeScript——类(class)

ES6 中类的用法 下面我们先回顾一下 ES6 中类的用法,更详细的介绍可以参考 ECMAScript 6 入门 - Class 属性和方法 使用 class 定义类,使用 constructor 定义构造函数。 通过new生成新实例的时候,会自动调用构造函数。 class Person{con…

leetcode877. 石子游戏(动态规划-java)

石子游戏 leetcode877. 石子游戏题目描述暴力递归代码演示 动态规划 动态规划专题: leetcode877. 石子游戏 来源:力扣(LeetCode) 链接:https://leetcode.cn/problems/stone-game 题目描述 Alice 和 Bob 用几堆石子在做游戏。一共有…

HTTP与Fiddler使用

HTTP与Fiddler使用 HTTP与Fiddler使用FidderHTTP的报文结构:其他请求头User-agentReferer和OrigincookieHTTP状态码 HTTP与Fiddler使用 HTTP协议是使用十分广泛的应用层协议,也是一个可以由程序员进行设置的一个协议。该协议的结构规定了浏览器与万维网…

【C++】通讯录的基本实现,附有源码分享

目录 1、运行环境 2、系统实现功能 2.1菜单功能 2.2退出通讯录功能 2.3添加联系人功能 2.4显示联系人功能 2.5删除联系人功能 2.6查找联系人功能 2.7修改联系人功能 2.8清空联系人功能 2.9动态扩容功能 2.10选择优化功能 2.11文件操作 3、源码分享 1、运行环境 …

【备战秋招】每日一题:2023.04.26-华为OD机式-第三题-MC方块

在线评测链接:P1231 题目内容 MC最新版本更新了一种特殊的方块,幽匿催发体。这种方块能够吸收生物死亡掉落的经验并感染周围方块,使其变成幽匿块。Steve想要以此为基础尝试搭建一个经验仓库,他来到了创造超平坦模式,在只有草方块…

【微信小程序开发】第 7 课 - 小程序的常用组件

欢迎来到博主 Apeiron 的博客,祝您旅程愉快 ! 时止则止,时行则行。动静不失其时,其道光明。 目录 1、缘起 2、小程序中组件的分类 3、常用的视图容器类组件 3.1、view 组件 3.2、scroll - view 组件 3.3、swiper 和 swiper…

blfs:为lfs虚拟机增加桌面02

参考书籍: BLFS11.3 LFS11.3(这里面有软件安装的详细说明) 树莓派Linux操作系统移植(这里面有桌面系统的脉络梳理) 参考视频 https://www.youtube.com/watch?vcavxyXBgJ6Q&listPLyc5xVO2uDsBK_3VZOek8ICsxewOO4DU…

Vue3 网络请求——axios 高级用法之 axios 拦截器实战与并发请求

文章目录 📋前言🎯关于拦截器🎯项目创建🎯代码分析🎯补充:并发请求🧩axios.all() 和 Promise.all() 的区别 📝最后 📋前言 Axios 是一个流行的基于 Promise 的 HTTP 客户…

机器学习中的多分类问题

文章标题:机器学习中的多分类问题 机器学习中的分类问题可以大致分为二分类和多分类两种。在二分类问题中,模型需要将输入数据分为两类;而在多分类问题中,模型需要将输入数据分为多个类别。本文将介绍机器学习中的多分类问题及其…

C语言指针类型,8个例子给你讲明白

0.问题 知乎上回答了一个粉丝问题, 结果这兄弟又连续问了几个问题: 好吧,帮人帮到底,送佛送到西!给你讲彻底点吧! 1. int va; 这是一个整型变量,32位CPU的话,占有32个bite 2. in…

Redis入门(1)

1.NOSQL概述 1.1.什么是NOSQL NoSQL,泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在处理web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,出现了很多难以克服的问题&…