2.3 网络设计与redis、memcached、nginx组件

news2024/11/24 14:47:36

目录

  • 一、网络模块需要处理哪些事情
  • 二、reactor网络设计模型
  • 三、网络模块与业务的关系
  • 四、redis、memcached、nginx
    • 1、redis
    • 2、memcached
    • 3、ngnix
    • 4、总结


在这里插入图片描述

一、网络模块需要处理哪些事情

网络编程主要关注客户端与服务端交互的四个问题:
1、连接建立
2、消息到达
3、消息发送
4、连接断开
在这里插入图片描述
以上四个问题归结到底是网络IO,IO函数主要有两个作用:
1、检测IO是否就绪
2、进行IO操作—accept、connect、read、write

accept、connect是关于网络的连接建立。accept检测全连接队列中是否有数据,如果有则从中取出一个节点,返回一个对象clientfd,以及客户端的IP地址。connect是对于客户端而言,如果客户端收到ACK,即连接建立成功。(对应三次握手)
在这里插入图片描述
read是把数据从内核态read buffe拷贝到用户态中,当期为0代表read buffer中读到EOF
write是把数据从用户态拷贝到内核态write buffe中
在这里插入图片描述
读和写的区分:以“读书”和“写字”为例子。所谓读书:就是书籍上的文字通过人的视觉系统,经神经系统在大脑里产生主观映像;写字就是大脑里产生的主观映像通过神经系统控制运动器官——手在纸上写出字。“读”与“写”是把大脑作为中心,由外界向中心输入,就是“读”;由中心向外界输出就是“写”。现在“读”与“写”的问题就变成了输入和输出的关系了。
以电脑CPU为中心。从外界的设备(键盘,磁盘等等)向CPU传递信息就是“读操作”,由CPU向外界设备(屏幕,磁盘等等)传递信息就是“写操作”。
例如对于全双工通信的TCP协议
在这里插入图片描述

二、reactor网络设计模型

IO多路复用的主要功能是检测多条连接的IO是否就绪,但不具备具体IO操作的功能(比如读写数据)。常见的IO多路复用器有select、poll,epoll,他们是对IO的管理,检测接入的IO,触发IO事件;注意这三个都是同步IO。

reactor网络设计模型是把IO就绪检测的功能交由IO多路复用器实现,针对事件进行进行IO操作,不同的事件调用不同的回调函数。

int nready = epoll_wait(reactor.epfd, events, EVENTS_LEN, timeouts);
int i = 0;
for (i=0; i< nready; i++){
	if (events[i].events & EPOLLIN){//触发读事件

		listenfd --> 新连接到达--> accept
		clientfd --> 这条连接发送了数据 --> read

	}else{ //触发写事件

		connectfd --> 连接建立成功,可向第三方(如数据库)发送数据
		clientfd -->  这条连接写缓冲区可写 -->write

	}
}

之所以把IO就绪检测的功能交由IO多路复用器,是因为对于服务端而言,某一时刻只有少量的连接有数据交互,如果让IO函数自己检测,在阻塞IO时,每个连接都需要一个线程;非阻塞IO时,每个连接都需要通过while在应用层进行检测。

三、网络模块与业务的关系

在这里插入图片描述

  1. 创建socket,生成listenfd,通过bind绑定,通过listen监听。
  2. 把listenfd注册到reactor,注册读事件(客户端与服务端建立连接)。
  3. 如果listenfd读事件触发,调用accept接收连接生成clientfd,然后把clientfd注册到reactor中,注册读事件(客户端向服务端发送数据)。
  4. 当客户端发送数据时,会触发clientfd读事件相应的回调函数。 读数据—解析(协议)数据—处理业务相关的计算—加密打包—回复数据

四、redis、memcached、nginx

1、redis

redis采用了事件驱动的模型,在启动时会创建一个I/O多路复用的事件处理器(即reactor),然后将所有客户端请求都注册到该事件处理器中。当有新连接到达或者已有连接有数据可读写时,事件处理器就会触发相应的回调函数进行处理。

由于redis是单线程运行的,因此只需要一个reactor即可满足其并发处理需求。通过合理地利用CPU资源和异步非阻塞IO技术,redis可以实现高效地处理大量并发请求。
在这里插入图片描述
需要注意的是,当Redis遇到某些长时间执行的命令时,可能会导致其他请求被阻塞而影响整个系统性能。比如三个客户端同时向服务端发送数据,服务端是按先后顺序接收处理。这种就会出现如果先到的数据处理比较耗时,会导致后续客户端出现饥饿现象。优化方式是:
1、如果IO耗时,把IO操作放到IO线程池处理,主线程处理computer。
2、如果computer耗时,采用分治思想或者不同时间复杂度的算法

2、memcached

memcached是一个基于事件驱动的内存缓存服务器,它使用多个reactor来处理并发连接。

具体来说,memcached使用一个主线程和多个工作线程。每个工作线程都有自己的reactor,用于处理客户端连接和请求。当有新连接到达时,主线程会将其分配给某个工作线程,并且该工作线程的reactor会负责处理这个连接的所有事件。

在默认情况下,memcached的工作线程数等于CPU核心数。
在这里插入图片描述

3、ngnix

Nginx是一个基于事件驱动的服务器,它通过多个reactor处理并发连接。

具体来说,Nginx使用一个主进程和多个worker进程。每个worker进程都有自己的reactor,用于处理客户端连接和请求。当有新连接到达时,主进程会将其分配给某个worker进程,并且该worker进程的reactor会负责处理这个连接的所有事件。

在默认情况下,Nginx的worker进程数等于CPU核心数。
在这里插入图片描述

  1. 创建 Listenfd bind 监听
  2. worker 进程都有 Listenfd
  3. worker 进程争夺 accept 锁
  4. 谁争夺到了锁,谁就有接收新连接的权利
  5. 接收的连接放入该 worker

4、总结

redis是单线程单reactor,可以把IO放入线程池,也可以把业务计算部分放入线程池。
如果业务之间交互比较多,但加锁简单,可以用多线程memcached
如果业务之间交互比较少,可以用多进程ngnix

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/614869.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

《不要挑战人性》笔记(一)

恒河猴实验 代母实验 将刚出生的小猴子与母亲分开&#xff0c;让它与绒布妈妈跟铁丝妈妈生活在一起。铁丝妈妈身上有食物&#xff0c;绒布没有食物&#xff0c;小猴子更喜欢绒布妈妈&#xff0c;即使它在铁丝妈妈那里得到了食物。绒布妈妈身上设置机关&#xff0c;攻击小猴子&a…

OAuth2 工作流程详解

我们之前谈到了使用saml作为SSO单点登录认证。本文讲解oauth2.0协议&#xff0c;oauth2.0协议避免了客户端直接访问受保护资源 什么是OAuth OAuth是一种安全的开放协议&#xff0c;用于在不相关的服务之间授权用户。换句话说&#xff0c;它使一个服务能够访问托管在其他服务上…

Flutter 笔记 | GetX

官网&#xff1a;https://pub.dev/packages/get 中文文档&#xff1a;https://github.com/jonataslaw/getx/blob/master/README.zh-cn.md 关于 GetX 现在Flutter的状态管理方案很多&#xff0c;redux、bloc、state、provider、Getx。 provider是官方提供的状态管理解决方案&…

小程序分包详解

一&#xff1a;什么是小程序分包 分包指的是把一个完整的小程序项目&#xff0c;按照需求划分为不同的子包&#xff0c;在构建时打包成不同的分包&#xff0c;用户在使用时按需进行加载。 二&#xff1a;为什么使用分包 小程序第一版 推出 小程序代码包不能超过1MB 大小&…

java SSM 教代会审批管理系统myeclipse开发mysql数据库springMVC模式java编程计算机网页设计

一、源码特点 java SSM 教代会管理系统是一套完善的web设计系统&#xff08;系统采用SSM框架进行设计开发&#xff0c;springspringMVCmybatis&#xff09;&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码 和数据库&#xff0c;系统主要采用…

计算机网络开荒2-应用层

文章目录 一、网络应用体系结构2.1 客户机/服务器结构(Client-Server,C/S)2.2 点对点结构(Peer-to-peer,P2P)2.3 混合结构(Hybrid) 二、网路应用的进程通信2.1 套接字Socket2.2 应用层协议的内容 三、网络应用的需求与传输层服务四、Web4.1 HTTP4.1.1 HTTP连接类型4.1.1.1 非持…

mysql慢sql优化实战:in order by优化处理

背景 线上查询慢的问题日益突出,专门写一个帖子记录一下处理过程,会定期更新优化处理方案 套餐余量统计查询菜单,数据库查询时间一分钟五十秒,优化之后耗时109毫秒,性能提升很大.所有时间统计均以数据库层面进行统计.用户使用层面因为有数据传输、带宽、业务逻辑处理等因素…

只要7分钟,教你从0-1搭建BI系统,这份大佬整理的指南免费送!

在BI行业干了快十年了&#xff0c;做过制造业供应链的BI项目&#xff0c;也跟过零售电商、房地产、银行的BI建设&#xff0c;经常有朋友咨询关于BI建设的内容&#xff0c;今天总结了一套BI项目建设指南&#xff0c;直接分享给大家&#xff0c;觉得不错记得点赞收藏。 通常情况…

实战【金融评分卡】

金融评分卡 网站&#xff1a;百融、同盾 1.导入 信贷评分卡是一种用于评估个人或企业申请贷款的工具&#xff0c;就像-个评分表-样。我们可以把它看作是银行或金融机构用来判断某人是否有资格获得贷款的一-种方式。 想象一下,你是一个银行家,有很多人向你申请贷款,比如个人贷…

cas单点登录-服务端部署

一.需求描述 公司开发系统越来越多&#xff0c;每个系统都有自己的登录认证流程&#xff0c;给用户很繁琐的体验&#xff0c;统一认证单点登录迫在眉睫 二.流程图 三.本地运行cas服务端 1.拉取cas服务端代码&#xff0c;切换到对应分支&#xff08;我使用的是6.4.x&#xff…

proxmox7.4 安装后配置

关于proxmox7安装和配置的博文&#xff0c;倒是不少。可惜鱼龙混杂&#xff0c;踩了不少坑&#xff0c;如今实践成功后&#xff0c;做一分享。 proxmox7.4安装(与安装linux系统类似) 1.去官网https://proxmox.com/en/downloads 下载安装镜像&#xff0c;注意&#xff1a; 下…

iTOP-3588开发板Android12源码定制开发uboot开发

uboot 开发-Uboot 源码是 v2017.09 版本。目前在该平台上已经支持 RK 所有主流在售芯片。支持 的功能主要有:  支持 RK Android 固件启动;  支持 Android AOSP 固件启动;  支持 Linux Distro 固件启动;  支持 Rockchip miniloader 和 SPL/TPL 两种 Pre-loader 引导…

对比才知差距!海尔“精华洗”用实验告诉用户

《怪诞关系学》一书中讲到&#xff0c;人生来会与他人做比较&#xff0c;对比是天性&#xff0c;竞争是必然。用高深点的话讲&#xff0c;人是通过对比身边的事物和同类来定位自身的&#xff0c;只有对比才知道差距有多大。“仰观宇宙之大&#xff0c;俯察品类之盛”&#xff0…

Python如何批量合并70个doc和docx文件

目录 一、问题的提出 二、算法分析 三、代码展示 四、注意事项 有一位朋友发来70多个数名命名的doc和docx文件&#xff0c;问我有没有vba代码&#xff0c;可以把这些文件按照数字大小的顺序合并。我试着用了chatgpt&#xff0c;搞了一串vba代码行不通&#xff0c;于时我就找…

【PyQt5】(01)PyQt的详细介绍

文章目录 前言一、PyQt的前世今生1.1 PyQt6、PyQt5和PyQt41.2 商业版和开源版1.3 支持的操作系统 二、 PyQt的优点三、PyQt的应用场景总结 前言 PyQt是使用Python语言编写的QT库的界面工具包。QT是一个跨平台的C应用程序开发框架&#xff0c;可以用于创建高性能、高可靠性、图形…

高频面试八股文用法篇(六) 说说反射及其作用

目录 什么是反射&#xff1f; 反射的作用 反射的优缺点 反射的用途 什么是反射&#xff1f; 动态语言。 当程序运行时&#xff0c;允许改变程序结构或变量类型&#xff0c;这种语言称为动态语言。Java 并不是动态语言&#xff0c;但是它却又一个非常突出的动态相关的机制&am…

Permission denied, please try again.

如果你是容器或者二进制安装启动的gitlab&#xff0c;在克隆代码一直有这样的问题 正克隆到 h5... git192.168.0s password: Permission denied, please try again. 服务ipgit 192.168.40.15 gitlab192.168.40.17 1、 docker run -d --name gitlab -p 80:80 -p 224:22 -p 4…

基于springboot的在线学习平台

源码获取&#xff0c;V&#xff1a;qq2056908377 采用技术 项目整体采用传统的B/S架构和MVC设计模式&#xff0c;开发语言选用JavaHTMLJavascript&#xff0c;技术上采用SpringBoot、Mybatis等开发框架&#xff0c;数据库采用MySQL 5.7。 功能介绍 平台分为用户端和管理两个系…

1.8 基于Java配置方式使用Spring MVC

一、基于Java配置方式使用Spring MVC 实现步骤 1、创建Maven项目 Maven项目 - SpringMvcDemo02 2、添加相关依赖 在pom.xml文件里添加相关依赖 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/…

chatgpt赋能python:如何用Python创建一个成功的项目

如何用Python创建一个成功的项目 无论是初学者还是有经验的开发者&#xff0c;Python语言的丰富生态系统和易于使用的语法使得它在项目开发领域中成为了一种非常流行的选择。但是&#xff0c;要构建一个好的Python项目需要很多工作&#xff0c;需要一些经验和技巧。在这篇文章…