Netty解决粘包半包问题自定义协议

news2024/11/25 2:46:22

目录

一、粘包 & 半包

1、现象分析

粘包

半包

二、解决方案

1、短连接

2、定长解码器

3、分隔符

4、长度字段解码器

三、协议设计与解析

1、HTTP

2、自定义协议

自定义协议要素

@Sharable


一、粘包 & 半包

1、现象分析

因为tcp是用二进制流进行传输的,所以用tcp来传输就会有这种现象。

tcp是可靠的传输,每次发送必须要接收方收到ack才能确定信息被收到不然要重新发送,但是每次都要接收到才能发送下一条就太慢了,为了解决这个问题,tcp有了滑动窗口这个概念。

引入了滑动窗口,窗口大小即决定了无需等待应答而可以继续发送的数据最大值

比如这里滑动窗口的大小为4,也就是说可以有4个消息发送可以不用收到ack,当第五个要发送的时候,如果前面都没有响应就要等待了。响应了滑动窗口就会向下移动。接收方也会维护一个窗口,落到窗口内的数据才会被接收

粘包

现象:发送的是abc  def,接收到的是abcdef

原因:

  • 应用层:接收方ByteBuf设置太大,Netty默认1024
  • 滑动窗口:假设发送方256bytes表示一个完整报文,但由于接收放处理不及时且窗口大小足够大,这256bytes字节就会缓冲在接收方的滑动窗口中,当滑动窗口缓冲了多个报文就会粘包
  • Nagle算法:会造成粘包

半包

现象:发送abcdef,接收到abc  def

原因:

  • 应用层:接受放ByteBuf小于实践发送数据量
  • 滑动窗口:假设接收方的窗口剩128bytes,发送方的报文大小是256bytes,这时放不下了,只能先发前128bytes,等待ack才能发送剩余部分,就造成了半包
  • MSS限制:当发送数据超过MSS限制后,会将数据切分后发送,就会造成半包

本质是因为TCP的流式协议,消息无边界

二、解决方案

1、短连接

我们每次建立连接发送完一个消息之后,我们就跟服务器断开发送-1表示结束连接,那么服务器知道断开了就知道这个是一个消息了,变相解决了粘包问题。

但是短连接不能解决半包问题,当ByteBuf过小消息过大,还是会出现分开的半包问题

2、定长解码器

Netty提供了FixedLengthFrameDecoder,固定长度的解码器,用每个消息长度是固定的来解决这种问题。如果固定的消息长度是10,那么每个消息都会是长度为10的如果一个消息的长度没有到10会填充到10发送,但是这种如果消息只有2个字节,但是却要填充8字节再发送就造成浪费

3、分隔符

Netty提供了两个用分隔符来解决的实现。

LineBasedFrameDecoder:换行符来做分隔符,注意用这个的时候要传入一个最大长度限制,如果超过这个长度依然没有换行符,就会抛出异常。

DelimiterBasedFrameDecoder:自定义分隔符,跟上面的差不多,构造方法多传入一个ByteBuf类型的分隔符来做分割。

在使用的时候服务端很简单就直接价格解码器就行,客户端发送的时候每个消息后加上换行符。但是用这种方式会带来效率的问题,因为他需要一个个遍历来寻找有没有换行符,而且可能有别人通过转移字符等方式而已拆包。

4、长度字段解码器

Netty提供了LengthFieldBasedFrameDecoder来解决。

他里面有几个参数:

  • 第一个就是限制这个消息内容的长度,如果超过就抛出异常的
  • 第二个参数是长度字段偏移量,告诉长度字段多少位,然后就可以直接读取消息有多长
  • 第三个参数就是长度字段为基准,还有几个字节是内容,因为他可能还有其他字段,头部什么的还没那么快到内容
  • 第四个参数是从头部剥离几个字节:就是会把从头开始去掉几个字节,一般去掉这些内容长度什么这些,也可以不剥离

三、协议设计与解析

1、HTTP

Netty提供了编解码处理器HttpServerCodec

他继承了CombinedChannelDuplexHandler<HttpRequestDecoder,HttpResponseEncoder>所以可以实现请求的解码和响应的编码

我们的http请求到达netty的解码器默认解析为两份:

  • defaultHttpRequest包含请求头请求行
  • LastHttpContent是请求体

如图,我们要先添加个serverCodec编解码器,下面在搞个处理器泛型是HttpRequest用来过滤实现只关注http请求,然后里面内容是接受到之后限制,设置头部长度为length,然后写出去,ctx的write后往前找出站处理器执行,那个serviceCodec又是入站又是出站所以会执行编码响应回去

2、自定义协议

自定义协议要素

  • 魔术:用来第一时间判定是否是无效数据包
  • 版本号:可以支持协议的升级
  • 序列化算法:消息正文到底采用哪种序列化反序列化,可以由此扩展,json、protobuf、hessian、jdk
  • 指令类型,是登录、注册、单聊、群聊跟业务相关
  • 正文长度
  • 消息正文

这里我们要准备用自定义协议做聊天室的应用,我们定义了很多消息的类型,我们现在要为所有这些定义的消息类型做自定义的编解码操作。MessageCodec就是我们自定义的编解码器,我们要继承ByteTOMessge方法,泛型传要转换的类型,这里我们直接传各个消息类的抽象类。encode方法是用来编码的,代码如下:

解码的代码:

解码我们就一个个去读取出来就行,几个字节是什么就根据编码规则一个个去读 

还要注意:我们发送消息的时候要提前加上帧解码器,为了防止半包问题,有可能他超过了那解码的时候就会出问题,如果数据分开传输了到帧解码器,他发现数据不完整还没到,他会等数据完整了才放给下面处理区继续执行,不然直接分包了。

@Sharable

我们发现我们每次用handler都是new的新创建一个,我们能不能用一个handler让多个线程共享使用呢,是可以的但不是所有handler都可以,比如帧解码器这种他就是多个线程可能会相互影响,因为他要记录状态,但是logginghandler又可以,因为他只是负责打印,所以我们要具体handler来分析。netty提供了注解@Sharable来告诉我们,我们点进handler就可以看到如果加了这个注解,说明他是可以被多个线程共享的,不会有线程安全问题,我们自定义的也是不会出现安全问题的,所以也可以提取出来共享。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/725087.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

性能测试-性能调优(提高系统吞吐量QPS/TPS)一篇打通...

目录&#xff1a;导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结&#xff08;尾部小惊喜&#xff09; 前言 1、系统吞度量要素…

CyclicBarrier 源码

CyclicBarrier 源码 1.构造方法 参数 n 为等待的线程数 CyclicBarrier cyclicBarrier new CyclicBarrier(n);public CyclicBarrier(int parties) {this(parties, null);}参数 barrierAction 为当等待的线程达到 参数 parties 时执行的线程任务 blic CyclicBarrier(int par…

RCE漏洞利用挖掘方法

RCE漏洞利用挖掘方法 一、从命令执行漏洞到getshell二、命令执行漏洞详解2.1、靶场实操—DVWA&#xff08;Low级别&#xff09;2.2、靶场实操—DVWA&#xff08;Medium级别&#xff09;2.3、靶场实操—DVWA&#xff08;High级别&#xff09;2.4、靶场实操—DVWA&#xff08;Imp…

form表单使用Select 选择器

案例: ps&#xff1a;年度的值类型要与select 选择器中 value 类型一致&#xff01;&#xff01; 如果input框中显示的是数字&#xff0c;说明年度的值没有与选择器中的的value一致&#xff01;&#xff01;&#xff01; YearNum 要与 value 类型一致&#xff01;&#xff01…

【第三章 flutter学习之Dart基础(上)】

文章目录 一、入口方法的定义方式二、Dart变量和常量三、Dart常用数据类型四、Dart运算符与类型转换及循环语句五、自定义方法六、Dart静态成员、操作符、类的继承七、接口八、接口分离写法九、一个类实现多个接口 一、入口方法的定义方式 main(){print(hello world) } //下边…

Docker学习笔记24

Docker Swarm 搭建&#xff1a; 主机名系统版本IP地址功能swarm-1centos7.9192.168.17.10管理节点swarm-2centos7.9192.168.17.20工作节点swarm-3centos7.9192.168.17.30工作节点 CPU、Memory、Disk不做要求。 准备IP地址和主机名&#xff1a; hostnamectl set-hostname swa…

测试不容易,入坑请注意!

“零基础入门&#xff0c;保证就业&#xff0c;钱多&#xff0c;事少&#xff01;” 绝大部分培训机构的招生话术不外乎如此&#xff0c;骗了一波又一波钱多人傻的人入坑测试。而在报名前&#xff0c;会进行考试评估学员是否适合从业软件测试的机构很难见到。如果有&#xff0…

几何光学软件

光线追踪器 从手册中&#xff1a; https://arachnoid.com/OpticalRayTracer/ OpticalRayTracer 是一款免费 (GPL) 跨平台应用程序&#xff0c;用于分析透镜和反射镜系统。 它使用光学原理和虚拟光具座来预测多种普通和奇异镜头类型以及平面镜和曲面镜的行为。 OpticalRayTracer…

搭建ssl双向验证python

生成证书 客户端和服务端搭建 https simple-https-server.py # run as follows: python simple-https-server.py # then in your browser, visit: # https://localhost import ssl import http.serverserverAddress (0.0.0.0, 443) httpd http.server.HTTPServer(serverA…

【力扣】设计内存分配器(高效实现)

题目 给你一个整数 n &#xff0c;表示下标从 0 开始的内存数组的大小。所有内存单元开始都是空闲的。 请你设计一个具备以下功能的内存分配器&#xff1a; 分配 一块大小为 size 的连续空闲内存单元并赋 id mID 。 释放 给定 id mID 对应的所有内存单元。 注意&#xff1a;…

面试官当面夸奖完我后,反手把我挂了...只能说这套路太..

最近几个朋友找我聊天&#xff0c;给我讲述了面试过程中遇到的一些不太理解的事情。作为一个技术面试官&#xff0c;今天来分享 9 个面试相关的套路。 1.自我介绍 自我介绍是一个重要的开始&#xff0c;好的开始是成功的一半。不需要太多花里胡哨的东西&#xff0c;简单、清楚…

超详细:阿里云服务器地域和可用区选择方法

阿里云服务器地域和可用区怎么选择&#xff1f;地域是指云服务器所在物理数据中心的位置&#xff0c;地域选择就近选择&#xff0c;访客距离地域所在城市越近网络延迟越低&#xff0c;速度就越快&#xff1b;可用区是指同一个地域下&#xff0c;网络和电力相互独立的区域&#…

文件行读写

#include<stdio.h> #include<stdlib.h> #include<string.h> int main01() {FILE* fpfopen("D:/a.txt","r");//打开文件 if(fpNULL) printf("打开文件失败\n");char* p(char*)malloc(sizeof(char)*100);memset(p,0,100);fge…

架构课学习笔记:职业成长

架构师没有明确的定义&#xff0c;郭老师提出具备的能力&#xff1a;就是为一个复杂系统设计软件的能力&#xff0c;以及引导研发团队实施的能力。从5个 阶段来看对应的能力维度&#xff1a;结构化设计、解决横向问题、解决跨领域冲突、正确的技术决策和创造生存优势。 一结构…

树结构 根据关键字过滤

案例&#xff1a; 默认 过滤之后 直接看代码&#xff1a; <divclass"grid-content bg-purple"style"background-color: #fff"><p>单位列表</p><!-- defaultProps :这个里面的字段要与后端返回过来的字段一致 --><el-inputplac…

C++笔记之sizeof()判断对象所占内存空间的大小以及字符数组的长度

C笔记之sizeof()判断对象所占内存空间的大小以及字符数组的长度 code review! 文章目录 C笔记之sizeof()判断对象所占内存空间的大小以及字符数组的长度1.C笔记之sizeof()判断对象所占内存空间的大小2.C笔记之sizeof()判断数组的长度3.C笔记之strlen在字符数组中的使用 1.C笔…

《动手学深度学习》——多层感知机

参考资料&#xff1a; 《动手学深度学习》 4.1 多层感知机 4.1.1 隐藏层 隐藏层 激活函数能够模拟任何连续函数。 4.1.2 激活函数 4.1.2.1 ReLu函数 ReLU ⁡ ( x ) max ⁡ ( x , 0 ) \operatorname{ReLU}(x) \max(x, 0) ReLU(x)max(x,0) 当输入为负时&#xff0c;ReLU …

Python爬虫-求是网

前言 本文是该专栏的第2篇,后面会持续分享python爬虫案例干货,记得关注。 地址:aHR0cDovL3NlYXJjaC5xc3RoZW9yeS5jbi9xaXVzaGkvP2tleXdvcmQ9 需求:根据搜索关键词,爬取对应关键词下的全部文章信息 废话不多说,跟着笔者直接往下看详细内容。(附带完整代码) 正文 1. 请…

说说 OpenAI 最新发布的Function calling 是什么

这两天看的比较多的一个新闻就是 OpenAI 又更新了自己的 API。 除了各种大减价&#xff0c;增加 Token 数量之外&#xff0c;还新推出了一个叫做 Function calling 的能力。那么 Function calling 到底是什么东西&#xff0c;可能很多新闻类型的内容也没讲太明白&#xff0c;我…

基于SpringBoot+vue的教师人事档案管理系统设计与实现

博主介绍&#xff1a; 大家好&#xff0c;我是一名在Java圈混迹十余年的程序员&#xff0c;精通Java编程语言&#xff0c;同时也熟练掌握微信小程序、Python和Android等技术&#xff0c;能够为大家提供全方位的技术支持和交流。 我擅长在JavaWeb、SSH、SSM、SpringBoot等框架…