Nettyの源码分析

news2024/11/24 7:08:56

本篇为Netty系列的最后一篇,按照惯例会简单介绍一些Netty相关核心源码。

1、Netty启动源码分析

        代码就使用最初的Netty服务器案例,在bind这一行打上断点,观察启动的全过程:

        由于某些方法的调用链过深,节约篇幅,不会一张张地截图,只会对最终结果或者关键部分进行说明分析:

        doBind 是一个重点方法,其中包含了:

  • initAndRegister:初始化ServerSocketChannel并将ServerSocketChannel注册到selector的方法
  • doBind0:ServerSocketChannel绑定端口号的方法

      

        1.1、initAndRegister

        首先会调用channelFactory工厂类的方法得到一个Channel

        相当于NIO中的:

ServerSocketChannel ssc = ServerSocketChannel.open();

        然后进入init方法,关键点在于,利用刚刚得到的channel对象,创建了一个流水线,并且添加了一个ChannelInitializer 处理器,监听初始化事件,在初始化事件中,使用eventLoop所在的NIO线程,提交一个任务,向pipeline中新增一个ServerBootstrapAcceptor用于处理新连接。

        真正的调用时机是在AbstractChannelregister0pipeline.invokeHandlerAddedIfNeeded();方法调用时被执行


        然后进入.register(channel)

        经过一系列的调用链,最终会进入AbstractChannelregister 方法:

        关键点:首先会判断当前线程是否是NIO线程,此时是主线程,所以会进入else分支:

        在try代码块中,会进行线程切换,由NIO线程负责注册。 

        我们选择NIO线程,进入register0方法,在register0方法中,有三个关键方法doRegister()pipeline.invokeHandlerAddedIfNeeded();safeSetSuccess(promise);

       1.1.1、 doRegister()

        上图中框出的这一行代码,相当于NIO中的

 SelectionKey sscKey = ssc.register(selector, 0, attach);

        pipeline.invokeHandlerAddedIfNeeded(); 该方法被执行时会回调ServerBootstrapinit方法的p.addLast,

        1.1.2、safeSetSuccess(promise);

        该方法是给主线程的final ChannelFuture regFuture 结果。参数中的promise和主线程的regFuture 是同一个。

        1.2、doBind0

        doBind0实际上是主线程注册的一个regFuture监听回调对象中的方法。当initAndRegister 返回结果后,才会触发回调对象中的operationComplete方法:

         在方法内部依旧是保证任务由NIO所在线程执行:

        经过一系列的调用,找到了AbstractChannel中的bind方法,bind方法中又有两个重点:

        doBind进行端口号绑定

        对应NIO中的:

 ssc.bind(new InetSocketAddress(8080));

        然后会进入if代码块判断,如果目前ServerSocketChannel处于Active状态,就触发流水线上所有的active事件。

        最后定位到AbstractChannel中的doBeginRead方法,在方法中注册一个接受连接事件:

        相当于NIO中的

 sscKey.interestOps(SelectionKey.OP_ACCEPT);

        小结:

        Netty的启动流程大致可以分为三部分:

  • 创建ServerSocketChannel对象。
  • 将ServerSocketChannel对象注册到selector上。
  • ServerSocketChannel进行端口绑定。

        其中,创建ServerSocketChannel对象是由主线程进行的,在将ServerSocketChannel对象注册到selector上时,会进行线程切换,由NIO线程去完成注册以及后续的端口绑定。

        在创建ServerSocketChannel对象后,会向ServerSocketChannel的流水线上先注册一个ChannelInitializer事件,加入acceptor handler,但是是在第二步注册后调用流水线的invokeHandlerAddedIfNeeded触发。

        端口绑定的方法dobind是regFuture的回调,第二步注册后会向promise中存放结果,由NIO所在线程执行端口绑定,绑定完成后触发NioServerSocketChannel的active事件,设置关注连接事件。


2、EventLoop源码分析

        在翻源码之前,我们简单地复习一下什么是EventLoop:

        EventLoop是一个不断循环的线程,用于处理所有注册到其上的事件。每一个Channel在创建时会被分配到一个EventLoop上,并且与其绑定,后续该Channel的所有事件都由这个EventLoop进行处理。

        EventLoop既可以处理IO事件,也可以处理普通事件或定时事件。

        我们重点看它的NioEventLoop实现,NioEventLoop 主要由selector,线程,任务队列组成。

        2.1、selector何时被创建

        NioEventLoop 有两个selector,可以理解成selector是经过封装优化的,而unwrappedSelector是原始的selector。

        它们是在构造方法中被初始化 :

       
        2.2、NioEventLoop 的NIO线程何时启动?

        通过下面的案例代码,观察NIO线程启动的时机:

public class TestEventLoop {
    public static void main(String[] args) {
        EventLoop eventLoop = new NioEventLoopGroup().next();
        eventLoop.execute(()->{
            System.out.println("test");
        });
    }
}

        进入execute方法:

        首先if代码块会检查任务对象是否为空。

        然后通过inEventLoop(); 方法检查当前线程是否是NIO线程,此时false。

        进入startThread()方法,第一次的state必然和ST_NOT_STARTED相等,进入最外层的if块。如果此时没有其他线程修改状态,则通过第二个if块中的CAS操作将状态修改为2,并且进入doStartThread()方法

        doStartThread()方法是启动NIO线程的核心方法:

        在 SingleThreadEventExecutor.this.run();中,会根据不同的事件执行对应的操作:

        如果没有任务,会进入SelectStrategy.SELECT分支,陷入阻塞。

        NIO线程是懒加载的,只有在执行execute方法时才会被创建。

        2.3、提交普通任务会不会结束select阻塞?

        在select方法内部,会调用有时限的阻塞方法,默认时间是1000ms,在这个期间如果被唤醒则会解除阻塞。

        在提交任务的execute中,有一个wakeup方法,我们选择它的NIO实现:

        如果不是当前NIO线程的任务,并且CAS成功(因为唤醒操作只需要调用一次wakeup方法,如果多个线程同时调用多次和调用一次的效果是一样的,多次调用影响性能。),才会调用唤醒方法:

        2.4、循环时什么时候会进入SelectStrategy.SELECT分支?

        进入SelectStrategy.SELECT分支的情况是没有任务:

        如果有任务会调用selectNowSupplier的get()方法返回一个selectNow()

        selectNow() 方法的作用是立刻查看selector上有无IO事件,如果有则会将IO事件也一起拿到,如果没有就返回0。

         

        2.5、NIO空轮询bug的体现以及Netty的解决方法

        什么是NIO的空轮询bug?指的是selector.select(timeoutMillis); 没有到超时时间,期间也没有任务或者事件,但是NIO线程没有在这一行陷入阻塞,而是不断地进行空循环。

        这种bug主要是出现在linux环境下,在Netty框架中对其进行了解决:

        关键点在于引入了一个计数器,每循环一次计数器+1

        当设置了阈值并且循环的次数超过了阈值,就可以认为发生了这个bug,会调用selectRebuildSelector 方法重建一个selector,并且将原有的key以及事件复制过去

 

        阈值的默认值是512次,或者通过参数进行设置:

        2.6、ioRatio的作用

        在NioEventLoop的run方法中有一段关于处理IO事件和普通事件的逻辑:

        其中涉及到了ioRatio,它在成员变量中的默认值是50。

        如果它的值为100,则会执行所有的IO事件和普通事件

        否则会对执行普通任务的时间进行计算,用当前时间 - IO事件发生前的当前时间 = IO事件的消耗时间。 假设为4s,然后用 4 * (100 - 50)/ 50 = 4s,得到普通任务的执行时间也为4s,如果在规定的时间内没有执行完普通任务,则会停止执行。

        2.7、selectedKeys优化

        在创建selector时,会通过反射将 Selector 实现类中的就绪事件集合替换为 SelectedSelectionKeySet

        SelectedSelectionKeySet 底层为数组实现,可以提高遍历性能:

        

        这一行是取出附件,在将ServerSocketChannel绑定到selector时,附件对象是Channel。

final Object a = k.attachment();

        满足下面的if代码块判断,会进入processSelectedKey(k, (AbstractNioChannel) a); 方法,在这个方法里会根据不同的事件类型做出判断并且执行:

3、accpet源码分析

        在原先的NIO中,一旦有事件发生,则会执行以下的代码逻辑:

//1 阻塞直到事件发生
selector.select();

Iterator<SelectionKey> iter = selector.selectedKeys().iterator();
while (iter.hasNext()) {    
    //2 拿到一个事件
    SelectionKey key = iter.next();
    
    //3 如果是 accept 事件
    if (key.isAcceptable()) {
        
        //4 执行 accept
        SocketChannel channel = serverSocketChannel.accept();
        channel.configureBlocking(false);
        
        //5 关注 read 事件
        channel.register(selector, SelectionKey.OP_READ);
    }
    // ...
}

        我们来看一下上面的代码在Netty中的实现过程:

        接着2.7中的代码,进入最后一个分支的read方法:

       选择AbstractNioMessageChannel 实现,关键代码有以下三处

       

        3.1、doReadMessages(readBuf)

        我们选择NioServerSocketChannel的实现:

 

        在SocketChannel ch = SocketUtils.accept(javaChannel()); 这一行代码中,会得到一个SocketChannel,相当于:

SocketChannel channel = serverSocketChannel.accept();

 

        然后会把这个SocketChannel封装在一个NioSocketChannel对象中,并且存放在参数中的list,然后返回:

        在NioSocketChannel父类的构造方法中也会设置channel为非阻塞,相当于:

channel.configureBlocking(false);

         

        3.2、allocHandle.incMessagesRead(localRead);

        这个方法的主要作用是接受客户端的连接。

        3.3、pipeline.fireChannelRead(readBuf.get(i));

        这个方法的作用是触发 read 事件,让 pipeline 上的 handler 处理,触发的是ServerBootstrapAcceptor 上的channelRead 事件:

         主要看try中的代码:

        又回到了register方法中,不过这次线程切换是从NIO的Boss切换到worker

        切换到worker线程:

        进入doRegister

        注册事件,相当于:

channel.register(selector, 0);

        最后关注read事件:

         一路跳转到doBeginRead中,执行关注read事件的逻辑:

        大致流程和accpet类似,最大的区别是由Worker线程完成。

4、read源码分析

       当客户端连接上服务器并且触发了一次write操作时,服务器首先会触发连接操作:

        跳过,下一次会触发读取操作:

         config.getAllocator(); 会分配一个ByteBufAllocator

         得到byteBuf:

        在循环中进行读取的逻辑:

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1904552.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Nuxt框架中内置组件详解及使用指南(二)

title: Nuxt框架中内置组件详解及使用指南&#xff08;二&#xff09; date: 2024/7/7 updated: 2024/7/7 author: cmdragon excerpt: 摘要&#xff1a;“本文详细介绍了Nuxt 3中和组件的使用方法&#xff0c;包括组件的基本概念、属性、自定义属性、获取引用以及完整示例&a…

利用redis Zset实现 排行榜功能 配合xxl-job持久化每一个赛季的排行榜

zset 可以排序 使用xxl-job实现定时任务 对历史排行榜持久化到数据库 排行榜有当前赛季排行版和历史排行榜 当前赛季排行榜利用redis 中的SortSet 数据结构 获取 每个月的 月初 利用xxl-job的定时任务持久化化上一个月的排行榜信息 并删除redis中的数据 当排行榜数据量巨大时…

【技术追踪】GeCA:高分辨率医学图像合成的神经元胞扩散(MICCAI-2024)

扩散方法与传统方法相结合&#xff0c;挺有意思~ 本文提出一种称为生成式元胞自动机 (Generative Cellular Automata&#xff0c;GeCA) 的新模型系列&#xff0c;其灵感来自于生物体从单细胞进化而来的过程&#xff0c;显著提高了11 种不同眼科疾病分类任务的表现。 论文&#…

k8s 部署 springboot 项目内存持续增长问题分析解决

写在前面 工作中遇到&#xff0c;请教公司前辈解决&#xff0c;简单整理记忆博文内容涉及一次 GC 问题的分析以及解决理解不足小伙伴帮忙指正 &#x1f603;,生活加油 99%的焦虑都来自于虚度时间和没有好好做事&#xff0c;所以唯一的解决办法就是行动起来&#xff0c;认真做完…

ES7210高性能四通道音频ADC转换模拟麦克风为IIS数字咪头

特征 高性能多位 Delta-Σ 音频 ADC 102 dB 信噪比 -85 分贝 THDN 24 位&#xff0c;8 至 100 kHz 采样频率 I2S/PCM 主串行数据端口或从串行数据端口 支持TDM 256/384Fs、USB 12/24 MHz 和其他非标准音频系统时钟 低功耗待机模式 应用 麦克风阵列 智能音箱 远场语音捕获 订购…

npm安装完yarn还是用不了?

前言 解决 找到你的包全局安装目录 复制路径&#xff0c;配置到Path全局环境变量 结果 不过发现在idea里还是用不了&#xff0c;此时你会想&#xff0c;这什么烂贴&#xff0c;没一点屁用 不过在重启idea之后&#xff0c;你也许就不会这么想了

【网络安全】实验五(身份隐藏与ARP欺骗)

一、本次实验的实验目的 &#xff08;1&#xff09;了解网络攻击中常用的身份隐藏技术&#xff0c;掌握代理服务器的配置及使用方法 &#xff08;2&#xff09;通过实现ARP欺骗攻击&#xff0c;了解黑客利用协议缺陷进行网络攻击的一般方法 二、搭配环境 打开三台虚拟机&#…

本地多卡(3090)部署通义千问Qwen2-72B大模型提速实践:从龟速到够用

最近在做文本风格转化&#xff0c;涉及千万token级别的文本。想用大模型转写&#xff0c;在线的模型一来涉及数据隐私&#xff0c;二来又不想先垫钱再找报销。本地的7-9B小模型又感觉效果有限&#xff0c;正好实验室给俺配了4卡3090的机子&#xff0c;反正也就是做个推理&#…

掌握MySQL基础命令:数据表结构修改详细操作

MySQL数据表&#xff08;Table&#xff09;是MySQL数据库中存储数据的基本结构单元。简单来说&#xff0c;数据表可以被看作是一个二维的、由行&#xff08;Row&#xff09;和列&#xff08;Column&#xff09;组成的表格&#xff0c;其中每一行代表了一个记录&#xff08;Reco…

微服务的分布式事务解决方案

微服务的分布式事务解决方案 1、分布式事务的理论模型1.1、X/Open 分布式事务模型1.2、两阶段提交协议1.3、三阶段提交协议 2、分布式事务常见解决方案2.1、TCC补偿型方案2.2、基于可靠性消息的最终一致性方案2.3、最大努力通知型方案 3、分布式事务中间件 Seata3.1、AT 模式3.…

数据跨境法案:美国篇上

近年来随着全球数字化的加速发展&#xff0c;数据已成为国家竞争力的重要基石。在这样的背景下&#xff0c;中国软件和技术出海的场景日益丰富。本系列邀请到在跨境数据方面的研究人员针对海外的数据跨境政策进行解读。 本期将针对美国对数据跨境流动的态度和政策进行阐释。过…

基础权限存储

一丶要求 建立用户组shengcan&#xff0c;其id为 2000建立用户组 caiwu&#xff0c;其id 为2001建立用户组 jishu&#xff0c;其id 为 2002建立目录/sc,此目录是 shengchan 部门的存储目录&#xff0c;只能被 shengchan 组的成员操作4.其他用户没有任何权限建立目录/cw,此目录…

两个全开源的3D模型素材下载网站源码 3D图纸模型素材 三维图形素材会员下载站源码

今天推荐两个全开源的3D模型素材下载网站源码 3D图纸模型素材 三维图形素材会员下载站源码&#xff0c;这两个源码完整&#xff0c;都是基于thinkphp内核开发的&#xff0c;框架稳定&#xff0c;带数据库&#xff0c;源码文件&#xff0c;可以直接部署使用。 第一个&#xff1a…

数据库课设---学生宿舍管理系统(sql server+C#)

1.引言 1.1 内容及要求 设计内容&#xff1a;设计学生宿舍管理系统。 设计要求&#xff1a; &#xff08;1&#xff09;数据库应用系统开发的需求分析&#xff0c;写出比较完善系统功能。 &#xff08;2&#xff09;数据库概念模型设计、逻辑模型设计以及物理模型设计。 …

【基于R语言群体遗传学】-10-适应性与正选择

在之前的博客中&#xff0c;我们学习了哈代温伯格模型&#xff0c;学习了Fisher模型&#xff0c;学习了遗传漂变与变异的模型&#xff0c;没有看过之前内容的朋友可以先看一下之前的文章&#xff1a; 群体遗传学_tRNA做科研的博客-CSDN博客 一些新名词 &#xff08;1&#xf…

AI绘画Stable Diffusion【图生图教程】:图片高清修复的三种方案详解,你一定能用上!(附资料)

大家好&#xff0c;我是画画的小强 今天给大家分享一下用AI绘画Stable Diffusion 进行 高清修复&#xff08;Hi-Res Fix&#xff09;&#xff0c;这是用于提升图像分辨率和细节的技术。在生成图像时&#xff0c;初始的低分辨率图像会通过放大算法和细节增强技术被转换为高分辨…

隔离级别-隔离级别中的锁协议、隔离级别类型、隔离级别的设置、隔离级别应用

一、引言 1、DBMS除了采用严格的两阶段封锁协议来保证并发事务的可串行化&#xff0c;实现事务的隔离性&#xff0c;也可允许用户选择一个可以保证应用程序正确执行并且能够使并发度最大的隔离性等级 2、通常用隔离级别来描述隔离性等级&#xff0c;以下将主要介绍ANSI 92标准…

【数据结构】链表带环问题分析及顺序表链表对比分析

【C语言】链表带环问题分析及顺序表链表对比分析 &#x1f525;个人主页&#xff1a;大白的编程日记 &#x1f525;专栏&#xff1a;C语言学习之路 文章目录 【C语言】链表带环问题分析及顺序表链表对比分析前言一.顺序表和链表对比1.1顺序表和链表的区别1.2缓存利用率&#…

Blender新手入门笔记收容所(一)

基础篇 基础操作 视角的控制 控制观察视角&#xff1a;鼠标中键平移视图&#xff1a;Shift鼠标中键缩放视图&#xff1a;滚动鼠标中键滚轮 选中物体后&#xff1a;移动物体快捷键G&#xff0c;移动后单击鼠标就会定下来。 进入移动状态后&#xff1a;按Y会沿着Y轴移动进入移动…

谷粒商城学习笔记-17-快速开发-逆向工程搭建使用

文章目录 一&#xff0c;克隆人人开源的逆向工程代码二&#xff0c;把逆向工程集成到谷粒商城的后台工程三&#xff0c;以商品服务为例&#xff0c;使用逆向工程生成代码1&#xff0c;修改逆向工程的配置2&#xff0c;以Debug模式启动逆向工程3&#xff0c;使用逆向工程生成代码…