大佬们都说tcp有黏包的问题,tcp却说:我冤枉!

news2024/9/26 1:23:36

相关参考添加链接描述
相关参考

什么是tcp

TCP,全称Transmission Control Protocol,是一种传输控制协议,TCP协议也是计算机网络中非常复杂的一个协议

tcp的特点

  • tcp是面向连接的协议
  • tcp是端到端的链接
  • tcp提供可靠的传输服务
  • tcp协议提供双工通信
  • tcp是面向字节流的协议

tcp粘包

tcp有这么多的特点,但是为什么还会出现粘包呢?其实这是对tcp传输的一种优化而引起的一些问题。

  • 为什么要优化?
    我们前面说了, tcp是面向字节流的协议,而不是消息包的协议,为什么是面向字节流?因为一个tcp连接,它负责传输数据,但是这些数据的大小是未知的,可能很大,也可能很小,而且是没有边界的,它只会将你的数据编程字节流发到对面去,而且保证顺序不会乱,而对于字节流的解析,就需要我们自己来搞定了,那数据怎么传输呢?方法来了,不管你是什么数据,我都给你转换成二进制。然后由tcp切割为tcp认为合适的长度。

  • 那么这个长度怎么确定?
    tcp协议简介有兴趣的同学可以看一下阮一峰的文章。
    我们知道,从应用层到物理层,数据都是一层一层经过打包过的,我们可能一下子没法知道tcp最大传输多少,但是我们可以反推一下,以太网数据包(packet)的大小是固定的,最初是1518字节,后来增加到1522字节。其中, 1500 字节是负载(payload),22字节是头信息(head)。IP 数据包在以太网数据包的负载里面,它也有自己的头信息,最少需要20字节,所以 IP 数据包的负载最多为1480字节。TCP 数据包在 IP 数据包的负载里面。它的头信息最少也需要20字节,因此 TCP 数据包的最大负载是 1480 - 20 = 1460 字节。由于 IP 和 TCP 协议往往有额外的头信息,所以 TCP 负载实际为1400字节左右。

  • 这里插播一个http2的一个改进 相关参考
    在 HTTP/1 中,HTTP 请求和响应都是由「状态行、请求 / 响应头部、消息主体」三部分组成。一般而言,消息主体都会经过 gzip 压缩,或者本身传输的就是压缩过后的二进制文件(例如图片、音频),但状态行和头部却没有经过任何压缩,直接以纯文本传输。而http2里面的一个重大改进,就是压缩http的协议的头信息,怎么实现的头部压缩呢?主要是基于以下几点:

  • 维护一份相同的静态字典(Static Table),包含常见的头部名称,以及特别常见的头部名称与值的组合;

  • 维护一份相同的动态字典(Dynamic Table),可以动态地添加内容;

  • 支持基于静态哈夫曼码表的哈夫曼编码(Huffman Coding)
    在这里插入图片描述

  • 好了,我们前面说了,一个tcp包负载是1400字节左右,那么你发送2000个字节,就需要发送两个数据包,第二个数据包可能就是600个字节。那么问题来了,明明一次可以发送1400字节,但是实际只发送600个字节,是不是有点浪费网络之间的IO,怎么办?John Nagle(约翰.纳格) 提出了一种简单有效的解决方法。也就是Nagle 算法。相关参考

  • Nagle 算法
    Nagle 算法的基本定义是任一时刻,最多只能有一个未被确认的小段。所谓“小段”,指的是长度小于 MSS 尺寸的数据块,而未被确认则是指没有收到对方的 ACK 数据包。Nagle 算法的规则(参考 tcp_output.c 文件里 tcp_nagle_check 函数注释):
    如果包长度达到 MSS,则允许发送;
    如果该数据包含有 FIN,则允许发送;
    设置了 TCP_NODELAY 选项,则允许发送;
    未设置 TCP_CORK 选项时,若所有发出去的小数据包(包长度小于 MSS)均被确认,则允许发送;
    上述条件都未满足,但发送了超时(一般为 200 ms),则立即发送。
    该算法的精妙之处在于它实现了自时钟(self-clocking)控制:ACK 返回得快,数据传输也越快。在相对高延迟的广域网中,更需要减少微型报的数目,该算法使得单位时间内发送的报文段数据更少。也就是说,RTT 控制着发包速率。

  • 简单理解 就是如果你普通的数据流,小于传输的负载量,我就不传输,等到下次有数据满足了我的负载量我再传输,但是我也不能一直等,如果时间超过200ms都么有数据流过来,那我就传输。

tcp粘包的演示

服务端

package main

import (
	"bufio"
	"fmt"
	"io"
	"net"
)

func main() {
	network:="tcp"
	address:="127.0.0.1:30000"
	//绑定和监听tpc和端口
	listen, err := net.Listen(network, address)
	if err != nil {
		fmt.Println("listen err")
	}
	//关闭监听
	defer listen.Close()
	for{
		//等待连接
		conn,err:=listen.Accept()
		if err != nil {
			fmt.Println("accept error")
		}
		//从连接里面读取数据
		go process(conn)
	}
}

func process(conn net.Conn){
	defer conn.Close()//关闭连接
	//读取连接数据
	reader:=bufio.NewReader(conn)
	//定义每次接收的长度
	buf:=make([]byte, 7)
	for  {
		//用buf接收连接发送的内容
		read, err := reader.Read(buf)
		//读完了
		if err == io.EOF {
			break
		}
		if err != nil {
			fmt.Println("read conn err")
		}
		fmt.Printf("the msg i read length is %d \n",read)
		str:=string(buf[:read])
		fmt.Println(str)
	}
}

客户端代码

package main

import (
	"fmt"
	"net"
)

func main() {
	network:="tcp"
	address:="127.0.0.1:30000"
	//拨号 请求创建tcp连接
	conn, err := net.Dial(network,address )
	if err != nil {
		fmt.Println("connect err")
	}
	//关闭连接
	defer conn.Close()
	//想tcp写入数据
	conn.Write([]byte("123456789"))
}

  • 我们先后发送123,1234567,123456789和123,456并打印出来看看,我们来看截图里面的内容,发现出现了问题,这就是粘包造成的问题,可能会把你的消息分段发送,也可能会把多段消息合并 。
    在这里插入图片描述

tcp粘包的解决

  • tcp是只负责按顺序传输数据,并没有边界的概念,那么我们如果想要确定消息边界,就得发送一种信号,或者说一种约定,当接收者接到这种信号,就能知道是消息的开始还是结尾,比如我们的http请求有一个content-length
    在这里插入图片描述
    那么我们约定消息边界一般有三种模式
  • 定长消息:协议提前约定好包的长度为多少,每当接收端接收到固定长度的字节就确定一个包,就像咱们上面截图的那个
  • 消息分隔符:利用特殊符号标志着消息的开始或者结束,例如 HTTP 协议中的换行符;
  • 长度前缀:先发送N个字节代表包的大小(注意大端和小端问题),后续解析也按长度读取解析。
粘包解决方案相关参考
  • 这里我们使用第三种来实现,即给消息体添加一个长度前缀。
  • 我们先来写一个文件,基于长度前缀来编码和解码消息
package tcp_code

import (
	"bufio"
	"bytes"
	"encoding/binary"
)

// Encode 将消息编码后返回byte类型
func Encode(msg string)([]byte,error){
	//1.读取消息的长度,用int32存放消息长度,这个长度大概能支持4G的数据传输,如果用int64就代表16777216T
	length:=int32(len(msg))
	//定义一个Buffer结构体用来存储数据,Buffer是一个变长缓冲区,可读可写
	var pkg =new(bytes.Buffer)
	//把长度以二进制的形式写入消息头
	err := binary.Write(pkg, binary.LittleEndian, length)
	if err != nil {
		return nil, err
	}
	//把消息以二进制的形式写入pkg
	err = binary.Write(pkg, binary.LittleEndian, []byte(msg))
	if err != nil {
		return nil, err
	}
	//将缓冲区的数据返回
	return pkg.Bytes(),nil
}

// Decode 参数是从连接中获取的原始消息,用这个方法将消息体解码
func Decode(reader bufio.Reader)(string,error){
	//1.获取消息的长度
	//按照约定,读取前32的长度
	//Peek是返回字节类型,一个字节是8个bit,所以是4个字节即代表32位的长度的数据
	lengthByte,_:=reader.Peek(4)
	//转换为buff类型
	lengthBuff:=bytes.NewBuffer(lengthByte)

	//这个长度是指消息体的长度
	var length int32
	//将长度赋值给length
	err := binary.Read(lengthBuff, binary.LittleEndian, &length)
	if err != nil {
		return "", err
	}
	//消息体的长度加上4个字节 就是完整的消息体了
	totalLen:=length+4
	//查看当前缓存区中消息的长度,如果消息还没有传输完毕,先不处理
	if int32(reader.Buffered())<totalLen{
		return "", err
	}
	//定义一个切片从缓冲区获取数据
	pack:=make([]byte,totalLen)
	_, err = reader.Read(pack)
	if err != nil {
		return "", err
	}
	//返回消息 ,注意不要返回前4个byte,前4个byte代表的是消息体的长度
	return string(pack[4:]),nil
}

  • 服务端代码
package main

import (
	tcp_code "acurd.com/pkg/pkg/tcp-code"
	"bufio"
	"fmt"
	"io"
	"net"
)

func main() {
	network:="tcp"
	address:="127.0.0.1:30000"
	//绑定和监听tpc和端口
	listen, err := net.Listen(network, address)
	if err != nil {
		fmt.Println("listen err")
	}
	//关闭监听
	defer listen.Close()
	for{
		//等待连接
		conn,err:=listen.Accept()
		if err != nil {
			fmt.Println("accept error")
		}
		//从连接里面读取数据
		go process(conn)
	}
}

func process(conn net.Conn){
	defer conn.Close()//关闭连接
	//读取连接数据
	reader:=bufio.NewReader(conn)
	//定义每次接收的长度
	for  {
		//使用decode解码消息
		msg, err := tcp_code.Decode(reader)
		//读完了
		if err == io.EOF {
			break
		}
		if err != nil {
			fmt.Println("read conn err")
		}
		fmt.Println(msg)
	}
}
  • 客户端代码
package main

import (
	tcp_code "acurd.com/pkg/pkg/tcp-code"
	"bufio"
	"fmt"
	"io"
	"net"
)

func main() {
	network:="tcp"
	address:="127.0.0.1:30000"
	//绑定和监听tpc和端口
	listen, err := net.Listen(network, address)
	if err != nil {
		fmt.Println("listen err")
	}
	//关闭监听
	defer listen.Close()
	for{
		//等待连接
		conn,err:=listen.Accept()
		if err != nil {
			fmt.Println("accept error")
		}
		//从连接里面读取数据
		go process(conn)
	}
}

func process(conn net.Conn){
	defer conn.Close()//关闭连接
	//读取连接数据
	reader:=bufio.NewReader(conn)
	//定义每次接收的长度
	for  {
		//使用decode解码消息
		msg, err := tcp_code.Decode(reader)
		//读完了
		if err == io.EOF {
			break
		}
		if err != nil {
			fmt.Println("read conn err")
		}
		fmt.Println(msg)
	}
}
  • 我们看一下效果,发送了两个消息,一12345678,一个是abcdefghi
    在这里插入图片描述

总结

通过上面,我们了解到了原来粘包的问题,并不属于tcp的锅。tcp是基于数据流的传输,保证数据流的顺序,但是正式由于这种数据流的传输模式,对于tcp来说,自己就像一个传送带,传递的是一个个的快递包裹,源源不断。具体包裹到是什么,到哪里去,就需要接收端和发送端通过定制的协议来编码和解码解决。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/382238.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【计算机考研408】快速排序的趟数问题 + PAT 甲级 7-2 The Second Run of Quicksort

前言 该题还未加入PAT甲级题库中&#xff0c;可以通过购买2022年秋季甲级考试进行答题&#xff0c;纯考研题改编 快速排序 常考的知识点 快速排序是基于分治法快速排序是所有内部排序算法中平均性能最优的排序算法快速排序是一种不稳定的排序算法快速排序算法中&#xff0c…

异步Buck和同步Buck的特点

1 介绍 随着时代的发展&#xff0c;工业&#xff0c;车载&#xff0c;通信&#xff0c;消费类等产品都提出了小型化&#xff0c;智能化的需求。相应的&#xff0c;对于这些系统中的电源模块提出了小型化的要求。目前&#xff0c;市场上依然存在很多异步Buck电源管理芯片使用的场…

atomic 原子操作

atomic 原子操作前言atomic_t定义内核中的实现armv7的实现armv8的实现Exclusive monitor实现所处的位置External exclusive monitorAtomic指令的支持QA前言 修改一个变量会经过读、修改、写的操作序列。但有时该操作序列在执行完毕前会被其他任务或事件打断。 比如在多CPU体系…

python基础学习3--切片(slice)

在python中&#xff0c;切片&#xff08;slice&#xff09;是对序列型对象&#xff08;如list,string,tuple)的一种高级索引方法。普通索引只取出序列一个下标对应的元素&#xff0c;而切片取出序列中一个范围对应的元素&#xff0c;这里的范围不是狭义上的连续片段。通俗一点就…

CLion Debug 调试 Makefile 构建的 C 语言程序断点不起作用

最近在研究 jattach&#xff0c;打算在本地调试项目&#xff0c;发现 CLion 可以正常编译运行代码&#xff0c;却无法断点 Debug。由于笔者对 C/C 项目不熟悉&#xff0c;在此记录研究过程中遇到的一些基本问题与解决方法。 文章目录解决方式尝试过的手段【未解决】找 Native D…

RIG Exploit Kit 仍然通过 IE 感染企业用户

RIG Exploit Kit 正处于最成功的时期&#xff0c;每天尝试大约 2000 次入侵并在大约 30% 的案例中成功&#xff0c;这是该服务长期运行历史中的最高比率。 通过利用相对较旧的 Internet Explorer 漏洞&#xff0c;RIG EK 已被发现分发各种恶意软件系列&#xff0c;包括 Dridex…

内科大机器学习期末重点

1. 什么是机器学习 &#xff08;由于图床原因导致部分图片错位&#xff0c;可以借鉴着看&#xff09; 语音识别算法推荐人脸识别垃圾邮件过滤贷款资格审核 2. 学习的概念 与经验有关 学习可以改善系统性能 学习是一个有反馈的信息处理与控制过程 3. 学习分类&#xff1a…

996的压力下,程序员还有时间做副业吗?

996怎么搞副业&#xff1f; 这个问题其实蛮奇怪的&#xff1a;996的压力下&#xff0c;怎么会还想着搞副业呢&#xff1f; 996还想搞副业的原因有哪些&#xff1f; 大家对于996应该都不陌生&#xff0c;总结就是一个字&#xff1a;忙。 996的工作性质就是加班&#xff0c;就…

基于龙芯+国产FPGA 的VPX以太网交换板设计(二)

3.1 板卡技术要求 3.1.1 主要性能指标 本着向下兼容的原则&#xff0c;以太网交换板的设计尽量保留传统信息处理平台的基本功 能和接口&#xff0c;重点考虑提升设备的性能和扩展性。本课题以太网交换板的主要性能指标 如下&#xff1a; &#xff08;1&#xff09; 具有大容量无…

一文搞懂华为防火墙的原理和配置

“防火墙”一词起源于建筑领域&#xff0c;用来隔离火灾&#xff0c;阻止火势从一个区域蔓延到另一个区域。引入到通信领域&#xff0c;防火墙这一具体设备通常用于两个网络之间有针对性的、逻辑意义上的隔离。这种隔离是选择性的&#xff0c;隔离“火”的蔓延&#xff0c;而又…

mac安装docker hub及使用

1. docker hub安装 官网&#xff1a;Docker https://hub.docker.com/ 去官网 下载 Docker.dmg 并安装 2. docker hub的使用 step1: 首先克隆一个仓库 Getting Started 项目是一个简单的Github仓库&#xff0c;他包含了你创建镜像的所有东西&#xff0c;并且可以把他当容…

文心一言的蝴蝶振翅,云计算的飓风狂飙

ChatGPT带来的多米诺效应正在不断涌现。社会各界都在关注一系列问题&#xff0c;比如中国版ChatGPT什么时候能来到&#xff1f;其效果如何&#xff1f;类ChatGPT应用的投资与创业前景会怎样&#xff1f;相关产品能带来哪些应用价值&#xff1f;随着百度文心一言等产品相继官宣&…

面试问题【数据库】

数据库数据库的三范式是什么drop、delete、truncate 分别在什么场景之下使用char 和 varchar 的区别是什么数据库的乐观锁和悲观锁是什么SQL 约束有哪几种mysql 的内连接、左连接、右连接有什么区别MyIASM和Innodb两种引擎所使用的索引的数据结构是什么mysql 有关权限的表都有哪…

SpringSecurity常见面试题汇总(超详细回答)

1.什么是Spring Security&#xff1f;核心功能&#xff1f;Spring Security是一个基于Spring框架的安全框架&#xff0c;提供了完整的安全解决方案&#xff0c;包括认证、授权、攻击防护等功能。其核心功能包括&#xff1a;认证&#xff1a;提供了多种认证方式&#xff0c;如表…

线性表 链表表示

初识链表 用一组物理位置任意的存储单元来存放线性表的数据元素。这组存储单元既可以是连续的&#xff0c;也可以是不连续的&#xff0c;甚至是零散分布在内存中的任意位置上的。链表中元素的逻辑次序和物理次序不一定相同。 在存储自己内容的同时也存储下一个元素的地址。存…

Adobe illustrator使用教程

抓手工具&#xff1a;绘制大型图片拖动图片 画放大缩小&#xff1a;Alt鼠标滚轮 间接选择工具&#xff1a;点击图标shift 进行多个对象选择&#xff0c;再次点击取消选择&#xff08;用于对多个对象进行批量操作&#xff09; 直接选择工具&#xff1a;可以对图案本身进行精细选…

(二十二)操作系统-生产者·消费者问题

文章目录一、问题描述二、问题分析三、PV操作题目分析步骤1. 关系分析2. 整理思路3. 设置信号量4. 编写代码四、能否改变相邻P、V操作的顺序?五、小结1. PV操作题目的解题思路2. 注一、问题描述 系统中有一组生产者进程和一组消费者进程&#xff0c;生产者进程每次生产一个产品…

什么是文件传输中台?

企业文件传输的场景有哪些&#xff1f; 企业日常办公中无时无刻不在产生数据文件。多样化的数据已成为企业的重要资产&#xff0c;更被称为是“新石油”。数据并不是单单存储起来就行了&#xff0c;而是需要高效又安全的让数据流转起来&#xff0c;释放其自身的价值&#xff0…

XGBoost和LightGBM时间序列预测对比

XGBoost和LightGBM都是目前非常流行的基于决策树的机器学习模型&#xff0c;它们都有着高效的性能表现&#xff0c;但是在某些情况下&#xff0c;它们也有着不同的特点。 XGBoost和LightGBM简单对比 训练速度 LightGBM相较于xgboost在训练速度方面有明显的优势。这是因为Ligh…

发票自动OCR识别并录入模板 3分钟免费配置

要问整个公司里和数据打交道最多的职能&#xff0c;非财务莫属了吧。除了每天要处理大量财务数据外&#xff0c;还有发票录入的工作让财务陷入“易燃易爆炸”的工作状态。发票报销看似简单&#xff0c;但发票的类型有很多种&#xff0c;每种发票需要录入的信息也有差别。再加上…