深入解读Netty 底层核心源码,全面分析Netty特新

news2024/12/29 10:43:31

前言

Netty 是一款基于 NIO(非阻塞 I/O)开发的网络框架,与传统 BIO 相比,它的并发性能得到了很大的提高,而且更加节省资源。Netty 不仅封装了 NIO 操作的很多细节;在设计上还基于灵活、可扩展的事件驱动模型与高度可定制的线程模型,让 Netty 的应用更加灵活。作为一个被广泛使用的 Java 网络编程框架,Netty 在互联网领域、大数据分布式计算领域、游戏行业、物联网行业等都得到了广泛的应用。很多流行的大数据框架的核心通信模块也都使用的是 Netty,如 Elasticsearch、HBase、Flink 等。

本文将带领大家深入解读 Netty 底层核心源码及架构设计;全面分析 Netty 特性,掌握多线程实战技巧!

目录

主要内容

本文包含大量的分布式底层架构的编写,涉及多线程、负载均衡算法、性能调优、线上问题紧急处理等内容。本文通过非常简易的代码来讲解 Netty 在企业中的实际用法,通过对实例进行调试的方式对 Netty 源码进行了详细的剖析,力图使读者通过实际操作快速入门,并深入了解 Netty 底层的各个组件。

第 1 章 Netty 基础篇;本章虽然是 Netty 的基础应用部分,但是涉及 Java 多线程交互、Netty 客户端与服务端的长连接通信,为编写分布式 RPC 打好了基础。在进行后续的 Netty 多线程编程时,会遇到各种问题。例如,从表面上看,Netty 客户端只用一条线程就能完成与服务端的数据交互,为何要使用线程组?然而在实际应用中,Netty 服务会部署在多台机器上,而客户端与服务端的连接也会有多条,这些连接链路 Channel 可以注册在同一个 Worker 线程组中。在学习 Netty 时,要多发现问题并多思考,以找到一个让自己满意的答案。

第 2 章原理部分;本章大部分内容都是 TCP 和 NIO 的理论知识,主要涉及数据序列化、编/解码器,以及数据的读/写和传输。本章内容大部分在平时工作中很少接触到,但对了解 Netty 底层原理有很大的帮助。想要写出高性能的代码,就必须对其底层原理有很深入的了解。

第 3 章分布式 RPC;

  • 3.1 Netty 整合 Spring

  • 3.2 采用 Netty 实现一套 RPC 框架

  • 3.3 分布式 RPC 的构建

第 4 章 Netty 核心组件源码剖析;本章主要对 Netty 的 NioEventLoop 线程、Channel、ByteBuf 缓冲区、内存泄漏检测机制进行了详细的剖析。这些组件都是 Netty 的核心,在学习其源码的同时,要思考其整体设计思想,如 Channel 和 ByteBuf 的整体设计及其每层抽象类的意义;在这些组件中,Netty 对哪些部分做了性能优化,如运用 JDK 的 Unsafe、乐观锁、对象池、SelectedSelectionKeySet 数据结构优化等。除了本章的核心组件,Netty 还有 Handler 事件驱动模型、编码和解码、时间轮、复杂的内存池管理等,在后续章节会进行详细的剖析。

第 5 章 Nettyi 读/写请求源码剖析;

  • 5.1 ServerBootstrap 启动过程剖析

  • 5.2 Netty 对 I/O 就绪事件的处理

第 6 章 Netty 内存管理;内存管理是 Netty 最核心的部分,但也是最难以理解的部分,这主要是因为代码中涉及多线程的并发,以及各种位移的与或非操作。建议读者在学习时,把难以理解的代码贴到测试类中进行简单的调试。本章首先介绍了底层 PoolChunk 的内存分配,然后介绍了上层的 PoolArena 对 内 存 的 整 体 管 理 , 最 后 介 绍 了 NioEventLoop 处 理 NioSocketChannel 的 OP_READ 事件过程。当进行循环读数据时,运用 ByteBufAllocator(内存分配器)与 AdaptiveRecvByteBufAllocator 计算读循环需要分配的内存,把整个内存分配与应用结合了起来。至此,Netty 的内存管理基本上介绍完了。

第 7 章 Netty 时间轮高级应用;本章主要讲述了时间轮的构建算法及其应用场景。定时检测服务除了外卖平台可以使用,其他地方也可以使用,如优惠券过期提醒、医院预约提醒等,只要是与未来一段时间相关的业务,基本上都可以使用它。

第 8 章问题分析与性能调优;本章主要讲解了服务器代码的部署、Jmeter 压测、线上问题定位及解决的实战经验、性能调优的方案。服务器代码的部署也是应用开发过程中很重要的部分,对于未接触过 Netty 的读者有一定的帮助。一般开发人员平时很少接触 Jmeter 压测,大部分都是测试的工作。但在测出服务性能问题后,需要研发人员及时找到性能瓶颈并优化。至于线上问题定位与性能调优,是程序员在成长路上的宝贵经验,需要一定的积累。遇到的问题越多,解决问题的能力就会提升得越快。Netty 的应用场景非常广,不只是做 RPC,它在 IM 即时通信、物联网及游戏开发中都被大量使用。

本文适合读者

本文适合有一定 Java 基础的架构师、设计师、开发工程师、测试工程师,以及对 Java NIO 框架、Netty 感兴趣的相关人士阅读。源码阅读非常需要耐心,通过阅读 Netty 源码,读者会明显感觉到自身编程能力及源码阅读能力的提升,尤其是多线程编程能力。建议读者反复阅读至少 3 遍以上,直至对 Netty 的 Channel、Handler、NioEventLoop、ByteBuf 的各个方法都了如指掌。希望本文能够帮助到大家提升自己的技术深度和广度,让自己变得更有价值,也希望本文能够得到大家的喜欢!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/140630.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

java学习day68(乐友商城)RabbitMQ及数据同步

今日目标: 了解常见的MQ产品 了解RabbitMQ的5种消息模型 会使用Spring AMQP 利用MQ实现搜索和静态页的数据同步 1.RabbitMQ 1.1.搜索与商品服务的问题 目前我们已经完成了商品详情和搜索系统的开发。我们思考一下,是否存在问题? 商品的…

Qt样式(qss)的几套配色方案

背景:之前写过有关qss的博客,记录了如何使用qt手册,以及在项目中如何使用qss的体验。经过实践,我归纳了自己需要的qss使用方法,使之尽量高效,容易维护。Qt样式(qss)手册小结&#xf…

工业数字孪生技术在钢铁企业中的应用展示

目前随着网络技术的发展,数字孪生技术已逐步应用于智慧工厂、智慧城市等领域。钢铁生产作为典型的工业流程制造场景,具备工艺复杂、物料交叉、生产节奏紧凑等特点。借助数字孪生技术仿真、虚实融合等能力,对钢铁生产过程的各个环节进行指导与…

SpringBoot+VUE前后端分离项目学习笔记 - 【14 SpringBoot和Vue实现用户登录】

前端代码 Login.vue 注意&#xff1a;el-form必须写 :model 否则无法使用表单校验功能 <el-form-item> 不能少 <template><div class"wrapper"><div style"margin: 200px auto; background-color: #fff; width: 350px; height: 300px; pa…

魔兽世界私服架设 服务器架设简易教程

今天早晨明杰终于把魔兽世界的私服搭建成功可以运行了。挺happy。记录一下搭建的全过程&#xff1a;1.先下载私服服务器端&#xff1a;从mangoscn.com下载大芒果ftp://www.mangoscn.com/TCCN-3.2.2-Trinity5749.exe从这个地址下载不需要注册&#xff0c;如果从mangoscn.com的网…

Python+Yolov5反光衣黄色马甲特征识别监测快速锁定目标人物体

程序示例精选 PythonYolov5反光衣识别 如需安装运行环境或远程调试&#xff0c;见文章底部微信名片&#xff0c;由专业技术人员远程协助&#xff01; 前言 Yolov5比较Yolov4,Yolov3等其他识别框架&#xff0c;速度快&#xff0c;代码结构简单&#xff0c;识别效率高&#xff0…

计算机网络进阶 ---- MGRE ---- NHRP ---- 详解

一、MGRE&#xff08;多点GRE&#xff09;&#xff1a; 属于 NBMA 网络类型&#xff1b;在所有要连通的网络之间仅需要构建一个MA网段即可&#xff1b;且仅可以存在一个 固定的 IP地址&#xff0c;看作中心站点&#xff1b;其他分支站点可以是动态的 IP地址&#xff0c;节省成…

从recat源码角度看setState流程

setState setState() 将对组件 state 的更改排入队列批量推迟更新&#xff0c;并通知 React 需要使用更新后的 state 重新渲染此组件及其子组件。其实setState实际上不是异步&#xff0c;只是代码执行顺序不同&#xff0c;有了异步的感觉。 使用方法 setState(stateChange | u…

助力生产质量检验,基于YOLOV5实现香烟质量缺陷检测

生产质量环境的检验始终是一个热门的应用场景&#xff0c;在之前一些项目和文章中我也做过一些相关的事情&#xff0c;比如PCB电路板相关的&#xff0c;如下&#xff1a;《助力质量生产&#xff0c;基于目标检测模型MobileNetV2-YOLOv3-Lite实现PCB电路板缺陷检测》本质的目的就…

含泪赔了近200万,我终于明白不是什么人都能干电商的……

文|螳螂观察 作者|图霖 又是一年年货节&#xff0c;围绕电商相关话题的讨论正在增多。 都说现在入行做电商十有九亏&#xff0c;但《螳螂观察》注意到一组数据&#xff1a;截至7月31日&#xff0c;过去一年入淘创业者的数量仍在增长&#xff0c;淘宝天猫净增了近120万商家&a…

每天五分钟机器学习:如何使用误差分析来构造最优的异常检测算法

本文重点 在异常检测算法中,我们要做的事情之一就是使用正态(高斯)分布来对特征向量进行建模p(xi;μi,σi),所以输入到算法中的特征变量很重要。 特征变量不符合高斯分布怎么办 首先我们需要知道一点,有些特征变量的数据并不符合高斯分布,但是我们假设它们符合高斯分…

中西方哲学史概要

中西方哲学史概要 哲学的定义 哲学在古希腊是 “爱智慧” 的意思&#xff0c;一切的知识都可以称之为“哲学”&#xff0c;它是对基本和普遍之问题研究的学科&#xff0c;是关于世界观的理论体系。很多人说懂哲学的人很可怕&#xff0c;其实这是错误的&#xff0c;因为真正懂哲…

【linux命令】查看进程活动的命令

ps进程信息 ps用于显示系统内的所有进程 -l或l 采用详细的格式来显示进程状况 常用方式&#xff1a; ps -elf 和ps -ef rootecs-x-large-2-linux-20200309113627:/home/etcd_msg_server# ps -ef UID PID PPID C STIME TTY TIME CMD root 1 …

C++入门 -- 模板初阶与string简介

目录 模板&#xff1a; 函数模板 类模板 STL简介&#xff1a; string: string类对象的常见构造 string类对象的容量操作 string类对象的访问及遍历 模板&#xff1a; 在C语言阶段&#xff0c;当我们需要交换两个int类型的数据就需要写一个支持int类型交换的Swap函数…

如何使用ArcGIS Pro自动矢量化建筑

概述相信你在使用ArcGIS Pro的时候已经发现了一个问题&#xff0c;那就是ArcGIS Pro没有ArcScan&#xff0c;确实在ArcGIS Pro中Esri移除了ArcScan&#xff0c;没有了ArcScan我们如何自动矢量化地图&#xff0c;从地图中提取建筑等要素呢&#xff0c;这里为大家介绍另外一种方法…

可视化深度学习模型的方法/工具

介绍 可以使用 TensorBoard 来可视化深度学习模型。TensorBoard 是 TensorFlow 中的一个可视化工具,可以帮助您在训练期间和训练后可视化模型的训练曲线、模型结构、激活值和权值分布等信息。可以使用 TensorBoard 的命令行工具或在 Jupyter 笔记本中使用 TensorBoard magic …

【Linux】权限理解(粘滞位设置)

目  录1 权限的概念2 权限管理2.1 文件类型及其访问权限2.2 文件权限值的表示方法2.3 文件访问权限设置2.4 目录权限&#xff08;粘滞位&#xff09;1 权限的概念 所谓权限&#xff0c;实际上是对人的约束&#xff0c;在Linux中&#xff0c;是对普通用户的约束。一件事情&…

蓝桥杯嵌入式之 Keil 仿真与调试

这篇文章为大家讲解 蓝桥杯嵌入式的 Keil 仿真与调试 &#xff0c; 这在比赛和今后的工作中都是常用的。大家看完后一定会对此有一个深刻的认识。 文章目录前言一、调试器的准备工作&#xff1a;1.在 Keil uVision集成开发环境下&#xff0c;选择CMSIS-DAP Debugger调试器。2.在…

final关键字深入解析

final关键字特性 final关键字在java中使用非常广泛&#xff0c;可以申明成员变量、方法、类、本地变量。一旦将引用声明为final&#xff0c;将无法再改变这个引用。final关键字还能保证内存同步&#xff0c;本博客将会从final关键字的特性到从java内存层面保证同步讲解。这个内…

SpringBoot项目从18.18M瘦身到0.18M

一、前言 SpringBoot部署起来虽然简单&#xff0c;如果服务器部署在公司内网&#xff0c;速度还行&#xff0c;但是如果部署在公网&#xff08;阿里云等云服务器上&#xff09;&#xff0c;部署起来实在头疼&#xff1a;编译出来的 Jar 包很大&#xff0c;如果工程引入了许多开…