Netty(零散记录)

news2024/11/15 17:39:39

Netty:

1、Netty三种IO

在这里插入图片描述

2、Netty和Reactor的

1、Netty对Reactor的支持

Netty的线程模型时基于Reactor模型实现的,Netty对Reactor三种模式都有非常好的支持,并做了一定的改善,一般情况下,在服务端会采用主从架构模型。

在这里插入图片描述

tips:Netty是解决网络通信的,业务线程池不归Netty管

流程:所有的客户端连接首先注册到Boss EventLoopGroup (Main Reactor),Boss EventLoopGroup不断轮询查询出Accept的客户端,交给Work EventLoopGroup,在Work EventLoopGroup中也在不断的轮询找出就绪的Read/Write事件交由pipeline来处理。(一个Socket Channel对应一个Pipeline,而一个pipeline中有多个handler来处理业务)

对于使用者来说只需要编写Handler即可,其他的主从Reactor模型Netty已经帮我们完成了

在这里插入图片描述

头和尾是Netty 初始化好的,因为第一步从Socket中读取数据相对来说是固定的代码,所以Netty替我们完成了,至于拿到数据后具体做什么业务,这个只能我们自己决定。所以Netty替我们初始化了一个Head handler;当我们业务完成后需要把数据写回去,这个代码也相对是固定的所以Netty通过Head Handler也完成了。至于Tail Handler则是做一些收尾工作,例如释放资源。

2、Netty中的ChannelHandler

Handler可以大致分为两类 inbound(入站)和outbound(出站)两种

- ChannelInboudHandler:入站处理器
- ChannelOutBoundHandler:出站处理器
- ChanelHandlerAdapter:提供了一些默认的实现,减少用户对于ChannelHandler的编写
- ChannelDuplexHandler:混合型,既可以处理出站也可以处理入站
3、Netty如何使用Reactor模型

Netty通过创建服务的时候配置不同的eventGroup来确认使用哪种Reactor模型

Reactor 单线程模式EventLoopGroup group = new NioEventLoopGroup(1);
ServerBootstrap serverBootstrap = new ServerBootstrap();
serverBootstrap.group(group);
非主从Reactor多线程模式EventLoopGroup group = new NioEventLoopGroup(1);
ServerBootstrap serverBootstrap = new ServerBootstrap();
serverBootstrap.group(group);
主从Reactor多线程模式EventLoopGroup bossGroup = new NioEventLoopGroup(1);
ServerBootstrap serverBootstrap = new ServerBootstrap();
EventLoopGroup workGroup = new NioEventLoopGroup();
serverBootstrap.group(bossGroup,workGroup);
4、Netty的核心组件

1、Bootstrap:引导类,用于配置整个Netty程序吗,将各个组件串起来,最后绑定端口启动Netty服务,Bootstrap分为两类,一种用于客户端的Bootstrap一种用于服务端的ServerBootstrap,两者的区别在于

(1)ServerBootstrap将绑定到一个端口,服务端必须要监听连接,而Bootstrap则是由想要连接的远程节点的客户端应用程序所使用。

(2)引导一个客户端只要一个EventLoopGroup,但是一个ServerBootstrap则需要两个

2、Channel

3、EventLoopGroup和EventLoop

4、ByteBuf

ByteBuf是Netty对NIO中 ByteBuffer的封装

对于直接缓冲区来说由于不受JVM的控制,所以基于Netty编写的程序如果没有处理好这部分逻辑,容易出现内存泄漏。同时,由于是向操作系统申请内存,操作系统有时候可能不会及时响应所以Netty是基于池化技术来做的。首先Netty再启动的时候会向操作系统申请一片内存,之后的操作都是基于这一片内存,从而不需要每次都进行分配内存和释放内存。

Netty默认使用了PooledByteBufAllocator,但是可以通过引导类设置非池化模式。

那么如何解决堆外内存无法被JVM管理从而无法释放的问题呢?手动释放(用完后归还给Netty内存池,注意是Release),Netty自身引入了应用技术,提供了ReferenceCounted接口,当引用计数=0时,会被释放(类似于JVM中的引用计数法)

手动释放的场景,例如现在有N多个Handler,其中一个handler的作用是把ByteBuf中的数据序列化成User对象,之后往后传的是User对象,而不是BtyeBuf了,此时就需要手动将其释放掉。

小结:

5、Future和Promise

Netty中的future 继承于JDK中的future,只不过在其基础上进行了扩展。例如添加监听器

Promise是基于netty中的 Future扩展而来, Netty中的future只增加了监听器,整个异步的状态是不能设置和修改的,于是netty的Promise接口扩展了netty的Future接口,可以设置异步执行结果。在IO操作过程中,如果顺利完成、或者发送异常,都可以设置Promise的结果,并通知给Promise的Listener们。

简单的来说,通过Promise机制,运行用户人为的控制异步任务中什么时候触发“回调函数”。

案例:

3、粘包和半粘包

问题描述,例如现在客户端想发给服务端2个包 ABC 和DEF, 为了提升性能TCP连接可能会将这两个包一起发送给服务端(二进制),变成ABCDEF(其实是二进制),此时服务端不知道到底是发了ABC和DEF还是发了ABCDEF

解决方案

既然已经知道问题了,所以只要解决数据的边界问题,即可解决TCP粘包问题。

推荐使用第三种,包括dubbo协议也是采用第三种模式,dubbo协议前16位固定写一些信息(例如协议版本、消息长度等等),后面body里才存放数据

那么Netty中是如何解决战报问题的呢?Netty提供了针对封装成帧这种形式的不同方式的拆包器,所谓的拆包器其实就是解码(说白了,就是根据某个规则来读取数据,将网络中的原始数据解析成应用层可以用的数据)。

1、固定长度不需要编码,实现比较简单

2、分隔符,即服务端和客户端约定一个分隔符。比如以#作为结束符

3、固定长度字段存消息(用的最多),固定一部分长度作为标识,可以携带整体信息,例如 协议版本号、内容的长度等等信息。比如现在一个包固定长度为204,前4个字节记录这个包的内容有多少,剩下200个字节用来存具体要传的数据。

基于长度的域解码器有4个比较重要的信息

(1)lengthFieldOffset:length域的偏移量,默认情况下从0开始读取,但是根据实际情况可以设置偏移量,比如从第2个字节开始读取。

例如:通过TCP 服务端接受到数据包 10010101,正常情况下是从低0位开始读取,如果设置了偏移量为2,则从第2个位置开始读取。

(2)lengthFieldLength:length域占用的字节数。比如10,表示前10个字节是length域

(3)lengthAdjustment:在length域和content域中间是否要填充其他字节数,一般情况下length域后面直接跟上content域,如果配置了该参数,则会在length域和content域之间插入一些字节。

(4)initialBytesToStrip:解码后跳过的字节数。比如解码出来有12个字节,配置了跳过2个字节,则只会往后传10个字节(舍弃掉了头部的两个字节,注意,解码之后往后面传的数据不再携带length域,只用携带content域,所以要跳过length域)

4、二次编解码

在业务层面我更希望拿到的是 某个 entity、或者dto,所以需要二次编码。将bytebuf转成我们业务上需要的对象。第一次编码我们解决的是TCP问题,第二次则是序列化,将byte转成我们业务上要的数据。

第一次解码继承于ByteToMessageDecoder;第二次解码继承于:MessageToMessageDecoder,本质都是集成与ChannelinboundHandlerAdapter。

二次编解码是用户数据(byteBuf)和Java对象之间的转换,netty中也提供了几种开箱即用的编解码工具

例如 StringDecoder、StringEncoder 、ProtobufDecoder、ProtobufEncoder等等。

5、Keepalive+idle监测

keepalive作用:

  1. 确认TCP连接时通畅的(例如打电话的时候,对方一直在说话,但是其实通讯已经中断了)
  2. TPC通道是好的,但是对方没有响应(可能服务崩溃了,或者服务处理过来了)

idle监测: 当空闲的时候进行监测(双方如果在发送消息则不需要监测),只负责诊断,诊断后做出不同的行为,决定idle最终用途,一般配合keepavlie来减少keepalive消息。

服务瘦身

在Netty中也有开箱即用的Handler ,IdleStateHandler

TCP中的Keepalive的参数

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2138240.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Leetcode面试经典150题-739.每日温度

应读者私信要求,本题协商题目的具体内容 给定一个整数数组 temperatures ,表示每天的温度,返回一个数组 answer ,其中 answer[i] 是指对于第 i 天,下一个更高温度出现在几天后。如果气温在这之后都不会升高&#xff0…

计算机毕业设计 二手闲置交易系统的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍:✌从事软件开发10年之余,专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ 🍅文末获取源码联系🍅 👇🏻 精…

【目标检测数据集】厨房常见的水果蔬菜调味料数据集4910张39类VOC+YOLO格式

数据集格式:Pascal VOC格式YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数):4910 标注数量(xml文件个数):4910 标注数量(txt文件个数):4910 标注…

SSH公私钥后门从入门到应急响应

目录 1. SSH公私钥与SSH公私钥后门介绍 1.1 SSH公私钥介绍 1.1.1 公钥和私钥的基本概念 1.1.2 SSH公私钥认证的工作原理(很重要) 1.2 SSH公私钥后门介绍 2. 如何在已拿下控制权限的主机创建后门 2.1 使用 Xshell 生成公钥与私钥 2.2 将公钥上传到被需要被植入后门的服务…

Qt_显示类控件

目录 一、QLabel 1、QLabel属性介绍 2、textFormat文本格式 3、pixmap标签图片 3.1 resizeEvent 4、QFrame边框 5、alignment文本对齐 6、wordWrap自动换行 7、indent设置缩进 8、margin设置边距 9、buddy设置伙伴 二、QLCDNumber 1、QLCDNumber属性介绍 2、实…

再次探讨最小生成树Prim算法

二次复习Prim算法时得到了一些新的启示。正常初次学算法时都特别注意代码,但是慢慢的发现,随着代码能力的增强,代码反而不是这么重要,重要的是算法的思路。既在自己的脑子中能有这个算法的图解。 下面展示一下二次学习的思路&…

秋韵虫趣.

文章目录 虫鸣概览虫坛文化蟀种纷呈中华蟋蟀宁阳蟋蟀刻点铁蟋长颚斗蟋 油葫芦棺头蟋中华灶蟋小素蟋树皮蟋蟀 花生大蟋斑腿针蟋其他鸣虫树蟋,又名竹蛉、邯郸梨片蟋,又名金钟、天蛉、绿蛣蛉、银琵琶凯纳奥蟋,又名石蛉,鳞蟋黄蛉蟋&am…

基于A2C与超启发式的航天器星载自主任务规划算法-笔记

1. Actor-Critic 模块 主要文件:AC.py, PolicyNet.py, ValueNet.py作用:该模块实现了 A2C(Advantage Actor-Critic)强化学习算法。其中,ActorCritic 类是核心,它同时管理策略网络(Actor&#x…

misc合集(1)

[Week3] 这是一个压缩包 有密码,提示QmFzZUNURj8/Pz8/P0ZUQ2VzYUI base64解密是BaseCTF??????FTCesaB 猜测这应该是⼀个轴对称的密码 python ⽣成了密码字典,再通过 ARCHPR 进⾏字典爆破 lowercase abcdefghijklmnopqrstuvwxyz uppercase l…

Vue生命周期;Vue路由配置;vue网络请求;vue跨域处理

一&#xff0c;Vue生命周期 <template><div > <h1 click"changeText">{{ info }}</h1></div> </template><script> export default {name: HelloWorld,data(){return{info:"介绍组件生命周期"}},methods:{chang…

Android源码导入Android Studio

版权归作者所有&#xff0c;如有转发&#xff0c;请注明文章出处&#xff1a;https://cyrus-studio.github.io/blog/ 前言 需要先把 Android 源码编译一遍 然后执行下面指令就可以导入android源码了 关于 Android 源码编译可以参考这篇文章【LineageOS源码下载和编译&#xf…

GitLab CI_CD 从入门到实战笔记

第1章 认识GitLab CI/CD 1.3 GitLab CI/CD的几个基本概念 GitLab CI/CD由以下两部分构成。 &#xff08;1&#xff09;运行流水线的环境。它是由GitLab Runner提供的&#xff0c;这是一个由GitLab开发的开源软件包&#xff0c;要搭建GitLab CI/CD就必须安装它&#xff0c;因…

搜索二叉树BSTree的原理及实现

目录 一、简介 二、功能的实现 节点的实现 这里为什么模板参数采用的是K而不是T呢&#xff1f; 树体的实现 非递归版本 Insert函数 Find函数 Erase函数 递归版本 中序遍历 FindR InsertR EraseR 构造函数 析构函数 拷贝构造 赋值重载 一、简介 BSTree&#x…

Python 数学建模——Prophet 时间序列预测

文章目录 前言原理使用方法&#xff08;初级&#xff09;代码实例Prophet 高级应用add_seasonality 添加自定义周期性add_regressor 添加外生变量交叉检验 前言 Prophet 是 Facebook 团队开发的一个时间序列分析工具&#xff0c;相比传统的 ARMA 时间序列分析&#xff0c;能够综…

nodejs 007:错误npm error Error: EPERM: operation not permitted, symlink

完整错误信息 npm error Error: EPERM: operation not permitted, symlink npm warn cleanup Failed to remove some directories [ npm warn cleanup [ npm warn cleanup C:\\Users\\kingchuxing\\Documents\\IPFS\\orbit-db-set-master\\node_modules\\ipfs-cli, npm…

岭回归:带示例的分步介绍

由 AI 生成&#xff1a;DNA、基因组、摘要、岭回归 一、说明 岭回归是一种在独立变量高度相关的情况下估计多元回归模型系数的方法。 [ 1 ]它已用于计量经济学、化学和工程学等许多领域。[ 2 ]也称为Tikhonov 正则化&#xff0c;以Andrey Tikhonov命名&#xff0c;是一种解决不…

Lombok:Java开发者的代码简化神器【后端 17】

Lombok&#xff1a;Java开发者的代码简化神器 在Java开发中&#xff0c;我们经常需要编写大量的样板代码&#xff0c;如getter、setter、equals、hashCode、toString等方法。这些代码虽然基础且必要&#xff0c;但往往占据了大量开发时间&#xff0c;且容易在属性变更时引发错误…

【Linux取经之路】编译器gcc/g++的使用 调试器gdb的使用

目录 背景知识 编译器gcc/g的安装 编译器gcc/g的使用 调试器gdb的使用 cgdb 条件断点 背景知识 子曰&#xff1a;“温故而知新”。在谈gcc/g的使用之前&#xff0c;我们先来复习编译的4个阶段&#xff0c;也算是为下面的内容做一些铺垫&#xff0c;请看思维导图。 编译…

动态规划算法:05.路径问题_不同路径_C++

题目链接&#xff1a;LCR 098. 不同路径 - 力扣&#xff08;LeetCode&#xff09;https://leetcode.cn/problems/2AoeFn/description/ 一、题目解析 题目&#xff1a; 解析&#xff1a; 由题我们可知&#xff0c;在一个网格中&#xff0c;机器人需要从左上角出发&#xff0c;…

热点数据更新优化

热点数据更新优化 热点数据更新带来的问题问题的方向判断用户线程被打挂据库cpu被打挂&#xff08;优先考虑&#xff0c;80%可能性&#xff09;redis被打挂 临时解决方案解决方案流量控制热点隔离数据分批次提交数据合并后更新重写MySQL的执行层 热点数据更新带来的问题 问题的…