《消息队列高手课》课程学习笔记(八)

news2024/11/23 10:51:06

如何实现高性能的异步网络传输?

  • **异步与同步模型最大的区别是,同步模型会阻塞线程等待资源,而异步模型不会阻塞线程,它是等资源准备好后,再通知业务代码来完成后续的资源处理逻辑。**这种异步设计的方法,可以很好地解决 IO 等待的问题。
  • 我们开发的绝大多数业务系统,都是 IO 密集型系统。
    • 跟 IO 密集型系统相对的另一种系统叫计算密集型系统。
    • IO 密集型系统大部分时间都在执行 IO 操作,这个 IO 操作主要包括网络 IO 和磁盘 IO,以及与计算机连接的一些外围设备的访问。
    • 与之相对的计算密集型系统,大部分时间都是在使用 CPU 执行计算操作。
    • 我们开发的业务系统,很少有非常耗时的计算,更多的是网络收发数据,读写磁盘和数据库这些 IO 操作。
    • 这样的系统基本上都是 IO 密集型系统,特别适合使用异步的设计来提升系统性能。
  • 应用程序最常使用的 IO 资源,主要包括磁盘 IO 和网络 IO。
    • 由于现在的 SSD 的速度越来越快,对于本地磁盘的读写,异步的意义越来越小。
    • 所以,使用异步设计的方法来提升 IO 性能,我们更加需要关注的问题是,如何来实现高性能的异步网络传输。

理想的异步网络框架 Netty

  • 大部分语言提供的网络通信基础类库都是同步的。
    • 一个 TCP 连接建立后,用户代码会获得一个用于收发数据的通道,每个通道会在内存中开辟两片区域用于收发数据的缓存。
    • 发送数据的过程比较简单,我们直接往这个通道里面写入数据就可以了。
      • 用户代码在发送时写入的数据会暂存在缓存中,然后操作系统会通过网卡,把发送缓存中的数据传输到对端的服务器上。
      • 只要这个缓存不满,或者说,我们发送数据的速度没有超过网卡传输速度的上限,那这个发送数据的操作耗时,只不过是一次内存写入的时间,这个时间是非常快的。
      • 所以,发送数据的时候同步发送就可以了,没有必要异步
    • 对于数据的接收方来说,它并不知道什么时候会收到数据。
      • 那我们能直接想到的方法就是,用一个线程阻塞在那⼉等着数据,当有数据到来的时候,操作系统会先把数据写⼊接收缓存,然后给接收数据的线程发一个通知,线程收到通知后结束等待,开始读取数据。
      • 处理完这一批数据后,继续阻塞等待下一批数据到来,这样周而复始地处理收到的数据。
  • 同步网络 IO 的模型(BIO)
    在这里插入图片描述
    • 同步网络 IO 模型在处理少量连接的时候,是没有问题的。
    • 但是如果要同时处理非常多的连接,同步的网络 IO 模型就有点力不从心了。
    • 因为,每个连接都需要阻塞一个线程来等待数据,大量的连接数就会需要相同数量的数据接收线程。
    • 当这些 TCP 连接都在进行数据收发的时候,会有大量的线程来抢占 CPU 时间,造成频繁的 CPU 上下文切换,导致 CPU 的负载升高,整个系统的性能就会比较慢。
  • 对于业务开发者来说,一个好的异步网络框架,它的 API 应该是什么样的呢?
    • 我们希望达到的效果,无非就是,只用少量的线程就能处理大量的连接,有数据到来的时候能第一时间处理就可以了。
    • 对于开发者来说,最简单的方式就是,事先定义好收到数据后的处理逻辑,把这个处理逻辑作为一个回调方法,在连接建立前就通过框架提供的 API 设置好。
    • 当收到数据的时候,由框架自动来执行这个回调方法就好了。
      在这里插入图片描述
  • 接下来我们看一下如何使用 Netty 实现异步接收数据。
    // 创建⼀组线性
    EventLoopGroup group = new NioEventLoopGroup();
    
    try{
    	// 初始化 Server
    	ServerBootstrap serverBootstrap = new ServerBootstrap();
    	serverBootstrap.group(group);
    	serverBootstrap.channel(NioServerSocketChannel.class);
    	serverBootstrap.localAddress(new InetSocketAddress("localhost", 9999));
    	// 设置收到数据后的处理的 Handler
    	serverBootstrap.childHandler(new ChannelInitializer<SocketChannel>() {
    		protected void initChannel(SocketChannel socketChannel) throws Exception
    			socketChannel.pipeline().addLast(new MyHandler());
    		}
    	});
    	// 绑定端⼝,开始提供服务
    	ChannelFuture channelFuture = serverBootstrap.bind().sync();
    	channelFuture.channel().closeFuture().sync();
    } catch(Exception e){
    	e.printStackTrace();
    } finally {
    	group.shutdownGracefully().sync();
    }
    
    • 首先我们创建了一个 EventLoopGroup 对象,命名为 group,这个 group 对象你可以简单把它理解为一组线程。这组线程的作用就是来执行收发数据的业务逻辑。
    • 然后,使用 Netty 提供的 ServerBootstrap 来初始化⼀个 Socket Server,绑定到本地 9999 端口上。
    • 在真正启动服务之前,我们给 serverBootstrap 传入了一个 MyHandler 对象,这个 MyHandler 是我们自己来实现的一个类,它需要继承 Netty 提供的一个抽象类:ChannelInboundHandlerAdapter,在这个 MyHandler 里面,我们可以定义收到数据后的处理逻辑。这个设置 Handler 的过程,就是预先来定义回调方法的过程。
    • 最后就可以真正绑定本地端口,启动 Socket 服务了。
  • 真正需要业务代码来实现的就两个部分:
    • 一个是把服务初始化并启动起来。
    • 还有就是,实现收发消息的业务逻辑 MyHandler。
    • 像线程控制、缓存管理、连接管理这些异步网络 IO 中通用的、比较复杂的问题,Netty 已经自动帮你处理好了。

使用 NIO 来实现异步网络通信

  • 在 Java 的 NIO 中,它提供了一个 Selector 对象,来解决一个线程在多个网络连接上的多路复用问题。
    • 在 NIO 中,每个已经建立好的连接用一个 Channel 对象来表示。
      在这里插入图片描述

    • 我们希望能实现,在一个线程里,接收来自多个 Channel 的数据。

      • Selecor 通过一种类似于事件的机制来解决这个问题。
      • 首先你需要把你的连接,也就是 Channel 绑定到 Selector 上,然后你可以在接收数据的线程来调用 Selector.select() 方法来等待数据到来。
      • 这个 select 方法是一个阻塞方法,这个线程会一直卡在这儿,直到这些 Channel 中的任意一个有数据到来,就会结束等待返回数据。
      • 它的返回值是一个迭代器,你可以从这个迭代器里面获取所有 Channel 收到的数据,然后来执行你的数据接收的业务逻辑。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/625140.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

深入理解深度学习——注意力机制(Attention Mechanism):注意力评分函数(Attention Scoring Function)

分类目录&#xff1a;《深入理解深度学习》总目录 《深入理解深度学习——注意力机制&#xff08;Attention Mechanism&#xff09;&#xff1a;注意力汇聚与Nadaraya-Watson 核回归》中使用了高斯核来对查询和键之间的关系建模。式中的高斯核指数部分可以视为注意力评分函数&a…

Spark笔记

DBeaver数据库连接器 Download | DBeaver Community shell命令 bin/spark-submit –class cn.edu.ncut.sparkcore.wordcount.Test03_WordCount_cluster –deploy-mode cluster –master yarn ./sparkcore-1.0-SNAPSHOT.jar 10 血缘关系查看 toDebugString()&#xff1a…

深入篇【Linux】学习必备:【文本编辑器】vim的基本介绍及使用

深入篇【Linux】学习必备&#xff1a;【文本编辑器】vim的基本介绍及使用 Ⅰ.vim基本简介Ⅱ.vim的基本操作⏰【命令模式下】1.移动光标2.复制删除粘贴3.替换更改4.撤销指令 ⏰【底行模式下】1.查找字符2.保存退出3.查看所有模式 Ⅲ.简单vim配置1.配置文件位置2.使用插件 Ⅰ.vim…

前后端交互三、Ajax加强

零、文章目录 前后端交互三、Ajax加强 1、XMLHttpRequest的基本使用 &#xff08;1&#xff09;什么XMLHttpRequest XMLHttpRequest&#xff08;简称 xhr&#xff09;是浏览器提供的 Javascript 对象&#xff0c;通过它&#xff0c;可以请求服务器上的数据资源。jQuery 中的…

力扣 209. 长度最小的子数组

一、题目描述 给定一个含有 n 个正整数的数组和一个正整数 target。 找出该数组中满足其和大于等于 target 的长度最小的连续子数组&#xff0c;并返回其长度。如果不存在符合条件的子数组&#xff0c;返回 0。 示例 1&#xff1a; 输入&#xff1a;target 7, nums [2,3,1…

Servlet详解

目录 一. Servlet介绍 1.1 概念 2.2 Servlet架构 二. 创建一个Servlet程序 2.1 创建一个Maven项目 2.2 引入 jar 包 2.3 创建目录 2.4 编写代码 2.5 打包程序 2.6 部署程序 2.7 验证程序 三. Servlet常用API 3.1 HttpServlet 3.2 HttpServletRequest 3.2 HttpServlet…

深入了解SSM框架(案例(SSM+Jsp) + 详细分析 + 思维导图)

1.Spring Spring就像是整个项目中装配bean的大工厂&#xff0c;在配置文件中可以指定使用特定的参数去调用实体类的构造方法来实例化对象。也可以称之为项目中的粘合剂。 Spring的核心思想是IoC&#xff08;控制反转&#xff09;&#xff0c;即不再需要程序员去显式地new一个…

swagger 接口测试,用 python 写自动化时该如何处理?

在使用Python进行Swagger接口测试时&#xff0c;可以使用requests库来发送HTTP请求&#xff0c;并使用json库和yaml库来处理响应数据。以下是一个简单的示例代码&#xff1a; 如果你想学习自动化测试&#xff0c;我这边给你推荐一套视频&#xff0c;这个视频可以说是B站百万播…

vim编辑器基本使用

一、写在前面 今天在练习git相关操作时&#xff0c;无意间发现当你使用commit命令提交代码时&#xff0c;忘记添加备注信息会自动进入一个奇怪的模式&#xff0c;按esc键亦或是ctrlC都无法退出&#xff0c;这个奇怪的模式也就是vim编辑器。如下图&#xff1a; vim是一种文本…

前端工程化-VUE

前端工程化-VUE Vue-cliNode.js1&#xff0e;什么是Node.js2&#xff0e;Node.js的安装 高效的开发离不开基础工程的搭建。本章主要介绍如何使用Vue进行实际SPA项目的开发&#xff0c;这里使用的是目前热门的JavaScript应用程序模块打包工具Webpack&#xff0c;进行模块化开发、…

嵌入式C语言中if/else如何优化详解

观点一&#xff08;灵剑&#xff09;&#xff1a; 前期迭代懒得优化&#xff0c;来一个需求&#xff0c;加一个if&#xff0c;久而久之&#xff0c;就串成了一座金字塔。 当代码已经复杂到难以维护的程度之后&#xff0c;只能狠下心重构优化。那&#xff0c;有什么方案可以优雅…

Spring 源码解析 - FactoryBean 获取 Bean 过程

一、FactoryBean FactoryBean是Spring框架提供的一个核心接口之一&#xff0c;用来创建复杂或无法通过默认构造函数创建的对象。这种情况下通过实现FactoryBean接口&#xff0c;可以自定义实例化Bean的过程&#xff0c;包括Bean的对象类型、初始化、销毁等。 在应用场景中&am…

RK3588平台开发系列讲解(进程篇)程序的二进制格式 ELF

平台内核版本安卓版本RK3588Linux 5.10Android 12文章目录 一、ELF 文件二、二进制文件组成三、运行程序为进程沉淀、分享、成长,让自己和他人都能有所收获!😄 📢CPU 是不能执行文本文件里面的指令的,这些指令只有人能看懂,CPU 能够执行的命令是二进制的,比如“0101”…

Selenium还能这么玩:自动管理浏览器

这是个系列文章&#xff0c;主要讲selenium一些实战操作&#xff0c;使用 Python 编写代码。可以把他们应用到自动化测试&#xff0c;也可以应用到网络爬虫中。 这篇文章介绍一个操作&#xff0c;可以让selenium 控制浏览器共用同一个 session。他的应用场景是&#xff1a;共用…

pwn3-绕过防御-ROP(1)

**ROP&#xff1a;**全程Return Oriented Programming(面向返回的编程)&#xff0c;在栈溢出基础上&#xff0c;利用程序中已有的小片段(gadgets)&#xff0c;改变寄存器或变量的值&#xff0c;从而控制程序执行流程&#xff0c;从而绕过NX防御&#xff0c;常见有ret2text,ret2…

Linux:samba服务 (smbd)

smb服务器为centos7 使用的yum安装&#xff08;如果不会搭建本地yum仓库可以查看&#xff09; Linux&#xff1a;rpm查询安装 && yum安装_鲍海超-GNUBHCkalitarro的博客-CSDN博客 samba 简介 samba 使用了 1.SMB 协议 Server Message Block&#xff0c;服务消息块 2…

【LeetCode】769. 最多能完成排序的块

769. 最多能完成排序的块&#xff08;中等&#xff09; 方法一&#xff1a;贪心 思路 由于arr是[0,..., n-1] 的一个排列&#xff0c;若已遍历过的数中的最大值 max 与当前遍历到的下标相等&#xff0c;说明可以进行一次分割&#xff0c;累加答案。 代码 class Solution { …

javaScript蓝桥杯---用什么来做计算

目录 一、介绍二、准备三、目标四、代码五、完成 一、介绍 古以算盘作为计算工具。算盘常为木制矩框&#xff0c;内嵌珠子数串&#xff0c;定位拨珠&#xff0c;可做加减乘除等运算。站在前人的肩膀上&#xff0c;后人研究出计算器&#xff0c;便利了大家的生活&#xff0c;我…

从贝叶斯派的角度去看L1和L2

前沿 推导的两个角度 带约束条件的优化求解&#xff08;拉格朗日乘子法&#xff09;贝叶斯学派的&#xff1a;最大后验概率 理解的两个角度 贝叶斯学派的角度&#xff0c;L2参数符合高斯先验&#xff0c;L1参数符合laplace先验。从有约束问题角度&#xff0c;用拉格朗日转换…

一“幕”了然 ,平行云助力中车打造“掌上工厂”(文末活动报名)

“全球工业生产效率提高1%&#xff0c;成本降低300亿。” 所以工业界有这样一种说法&#xff0c;叫做“工业领域的1%革命”。 Gartner曾预言&#xff1a;到2021年&#xff0c;将有一半的大型工业公司使用数字孪生技术&#xff0c;而这可以使这些公司的生产有效性提高10%。如今…