Linux 网络传输学习笔记

news2024/12/26 4:34:47

这篇是混合《Linux性能优化实战》以及 《Wireshark网络分析就这么简单》的一些关于Linux 网络的学习概念和知识点笔记 ,主要记录网络传输流程以及对于TCP和UDP传输的一些影响因素

Linux 网络传输流程

借用一张倪朋飞先生的《Linux性能优化实战》课程中的图片

接收流程

  1. 网卡收到网络数据包,加入到收包队列
  2. 网卡将网络包写入DMA缓冲区,通知中断处理程序
  3. CPU硬中断锁定DMA缓冲区,将网络包拷贝到内核数据结构 sk_buff 缓冲区,清空并解锁当前DMA缓冲区
  4. 通知软中断,通知内核收到了新的网络帧,内核协议栈从缓冲区中取出网络帧
  5. 在链路层检查报文合法性,找出上层协议类型(ipv4/ipv6),去掉帧头,帧尾,交给网络层
  6. 网络层取出IP头,判断网络走向
    1. 本机的:取出上层协议(TCP/UDP),去掉IP头,交给传输层
    2. 非本机:转发
  7. 传输层取出TCP或者UDP头,根据 < 源 IP、源端口、目的 IP、目的端口 > 四元组作为标识,找出对应的 Socket,并把数据拷贝到 Socket 的接收缓存中
  8. 应用程序就可以使用 Socket 接口,读取到新接收到的数据

发送流程

  1. 应用程序通过调用 Socket API(比如 sendmsg,系统调用)发送网络包,这是一个系统调用,所以会陷入到内核态的套接字层中,套接字层会把数据包放到 Socket 发送缓冲区中
  2. 网络协议栈从 Socket 发送缓冲区中,取出数据包
  3. 传输层依据协议增加TCP或UDP头
  4. 网络层增加IP头,通过路由寻找下一条IP,并按照MTU大小分片
  5. 分片后的网络包再送到网络接口层,进行物理寻址,找下一条MAC地址,增加帧头和帧尾
  6. 软中断通知驱动程序,发包队列有新的网络帧需要发送
  7. 驱动通过DMA,从发送队列读取网络帧,并通过物理网卡发送出去

TCP的一些网络影响因素

一些小概念

接收窗口(Receiver Window)

接收窗口表示接收方TCP缓冲区可容纳的数据量。

发送方不能发送超过接收窗口大小的数据,以确保接收方有足够的时间处理数据。接收窗口大小由接收方TCP发送给发送方的窗口大小更新。

发送窗口(Sender Window)

发送窗口表示发送方TCP缓冲区可容纳的数据量。

接收方不能发送超过发送窗口大小的数据,以确保发送方有足够的时间发送数据。发送窗口大小由发送方TCP发送给接收方的窗口大小更新。

一般由接收方的接收窗口和发送方的发送窗口的较小值决定,另外网络的影响也会导致发送窗口变化

MSS 最大分段大小(Maximum Segment Size)

MSS表示TCP报文段的最大长度。

每个TCP连接都有一个MSS值,它取决于网络的最大传输单元(MTU)。发送方将数据分割为适当大小的报文段,以确保数据可以在TCP连接上可靠传输。

MTU 最大传输单元(Maximum Transmission Unit)

MTU表示网络中每个数据包的最大大小。

MTU值取决于所使用的网络和协议。在TCP/IP协议栈中,MTU通常等于接收窗口大小,以确保TCP数据可以在单个数据包中传输。

延迟确认

描述

在发送包时,接收方延迟确认,可以实现多个包一块确认,减少确认包的数量,减轻网络负担

缺点

  • 在丢包较多的情况下,会导致大量的超时重传,极大的影响网络性能,建议开启SACK提供重传效率
  • 接收窗口很小时,由于运输车很小,还要延迟确认,就会导致大量堆积,应该立即配送

过滤

wireshark 的过滤条件

tcp.analysis.ack_rtt >0.2 && tcp.len==0 获取超过200毫秒的确认包

Nagle算法

描述

在发送的数据还未被确认前,新的小包将会被收集,凑满一个MSS或者收到确认后发送

与延迟确认的区别

  1. Nagle算法没有明显的时间规律
  2. 凑满一个MSS或者收到确认后发送
  3. 如果是收到确认包立即发送,就可以判断是Nagle了

关于拥塞

  1. 刚开始建立连接时,拥塞窗口都设定的比较小
  2. 在慢启动阶段,拥塞会指数型增长,直到碰到临界窗口值
  3. 在临界窗口值往上,就会降低增长速度,避免触碰网络拥塞
  4. 碰到拥塞后,会有超时丢包现象,该阶段没有数据传输,称为超时重传时间(RTO)
  5. 超时重传后,会重新进入慢启动阶段,并调整临界值(所以超时重传极大影响网络性能)
    1. Richard Stevens:临界值设为上次发生拥塞的发送窗口的一半
    2. RFC5681 :发生拥塞时没被确认的数据量的一半,并不能小于2个MSS

超时重传

拥塞发生后,发送方发现发出去的包不像往常一样得到确认了,不过考虑收不到确认包可能是网络延迟导致,所以等待一段时间再判断,迟迟未收到就认定丢包了,只能重传,称为超时重传。

发出原始包到重传这个包的这段时间称为超时重传时间(RTO)。

快速重传

当发送方接受到3个或以上重复确认(Dup ACK)时,就意识到相应的包丢了,从而立即重传这些包

一些优化建议

  • 没有拥塞时,发送窗口越大,性能越好。所以在没有带宽限制的时候,应该尽量增大接收窗口
  • 如果经常发生拥塞,限制发送窗口能提高网络性能,因为重传对性能的影响极大
  • 超时重传对性能影响最大,因为有一段RTO重传时间没有任何数据传输,并且会将拥塞窗口设定为1MSS,所以要尽量避免超时重传
  • 快速重传对性能影响相对较小,因为没有等待时间,并且拥塞窗口减小幅度不大
  • SACK和NewReno有利于提高重传效率,提高传输效率
    • 早期TCP (丢包后面的包都重传,效率极低)
    • NewReno (接收方推理出丢掉的包,一个一个请求重传)
    • SACK (将目前接收到的包反馈给发送方,ACK提示丢掉的包)
      • 例如:SACK=9748-9912 ACK=8820 表示8820到9748之间的包未收到
  • 丢包对极小文件的影响比大文件严重,因为读写一个小文件的包数量很少,所以丢包可能也触发不到3个Dup ACK,只能等待超时重传,而大文件更容易触发快速重传

MTU 影响判定

1、如果是防火墙阻止会丢包,但是在三次握手时就会丢弃,而不是握手后访问丢弃

2、网络拥塞会丢包,但一段时间后会恢复

3、只丢大包不丢小包,可能是MTU导致的,特别是1460字节的临界值时

4、ping serverip -l 1472 -f 可以测试MTU是否是1500字节

1472+8(ICMP头)+20(IP头) = 1500

-f 表示DF(Don't fragment 不要分片),大于MTU并且不分片就会被丢弃

如果报错说被丢弃,可能链路上存在较小的MTU,考虑调整MTU


关于UDP

1、UDP不管双方的MTU大小,发送方负责分片,接收方负责将分片组装,会消耗资源和影响性能

2、UDP没有重传机制,丢包由应用层处理,丢了就要全部重传,而TCP仅需重传丢的包

3、分片机制不安全,容易被攻击,如果分片的每个包都有More fragment的flag,1表示还有分片,0表示没有;所以,如果被大量发送flag为1的UDP包,就可能导致资源耗尽


LSO(Large Segment Offload 大量传输减负)

描述

为缓解CPU压力,把部分工作offload交给网卡处理

工作方式

TCP层将大于MSS的数据直接传给网卡,网卡负责分段处理

传统方式

TCP层根据MSS分段(CPU负责),再交给网卡处理

位置

Windows 的配置方式

网卡》属性》配置》高级》大量传输减负 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1413132.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

OVL assertion checker

目录 单周期断言&#xff1a; 1、ovl_always&#xff1a; 功能描述&#xff1a; ovl和assert_always例子&#xff1a;​编辑​编辑 详细介绍&#xff1a; 2、ovl_implication&#xff1a; 功能描述&#xff1a; 例子&#xff1a; 详细介绍&#xff1a; 3、ovl_never…

JDWP原理分析与漏洞利用

JDWP(Java DEbugger Wire Protocol):即Java调试线协议,是一个为Java调试而设计的通讯交互协议,它定义了调试器和被调试程序之间传递的信息的格式。说白了就是JVM或者类JVM的虚拟机都支持一种协议,通过该协议,Debugger 端可以和 target VM 通信,可以获取目标 VM的包括类…

Sphinx的原理详解和使用

一、Sphinx介绍 1.1 简介 Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎。意图为其他应用提供高速、低空间占用、高结果 相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。当前系统内置MySQL和PostgreSQL 数据库数据源的支持&#xff0c;也…

455. 分发饼干 - 力扣(LeetCode)

题目描述 假设你是一位很棒的家长&#xff0c;想要给你的孩子们一些小饼干。但是&#xff0c;每个孩子最多只能给一块饼干。 对每个孩子 i&#xff0c;都有一个胃口值 g[i]&#xff0c;这是能让孩子们满足胃口的饼干的最小尺寸&#xff1b;并且每块饼干 j&#xff0c;都有一个尺…

作者推荐 | 【深入浅出MySQL】「底层原理」探秘缓冲池的核心奥秘,揭示终极洞察

探秘缓冲池的核心奥秘&#xff0c;揭示终极洞察 缓存池BufferPool机制MySQL缓冲池缓冲池缓冲池的问题 缓冲池的原理数据预读程序的局部性原则&#xff08;集中读写原理&#xff09;时间局部性空间局部性 innodb的数据页查询InnoDB的数据页InnoDB缓冲池缓存数据页InnoDB缓存数据…

区间dp/线性dp,HDU 4293 Groups

一、题目 1、题目描述 After the regional contest, all the ACMers are walking alone a very long avenue to the dining hall in groups. Groups can vary in size for kinds of reasons, which means, several players could walk together, forming a group.   As the …

RuoYi-Vue前后端分离后台开发框架运行详细教程

一、官网下载代码 RuoYi-Vue是一款基于SpringBootVue的前后端分离极速后台开发框架。 若依官网&#xff1a;http://ruoyi.vip演示地址&#xff1a;http://vue.ruoyi.vip代码下载&#xff1a;https://gitee.com/y_project/RuoYi-Vue 下载之后解压&#xff0c;ruoyi-ui是前端代…

【JavaWeb】过滤器 Filter

文章目录 过滤器是什么&#xff1f;一、过滤器概述二、过滤器工作位置图解三、Filter接口API四、过滤器使用4.1 定义一个过滤器类,编写功能代码&#xff1a;4.2 xml配置&#xff1a;4.3 定义 servletG 目标资源 模拟测试 :4.4 过滤图解 五、过滤器生命周期六、过滤器链的使用6.…

香港服务器IP段4c和8c的区别及SEO选择建议

随着互联网的快速发展&#xff0c;服务器IP段的选择对于网站SEO优化至关重要。香港服务器IP段4C和8C是两种常见的IP段&#xff0c;它们在SEO优化中具有不同的特点和优势。本文将详细介绍这两种IP段的区别&#xff0c;并给出相应的SEO选择建议。 一、香港服务器IP段4C和8C的区别…

每日coding 2846. 边权重均等查询 236. 二叉树的最近公共祖先 35. 搜索插入位置 215. 数组中的第K个最大元素 2. 两数相加

2846. 边权重均等查询 xs&#xff0c;已放弃&#xff0c;考到直接寄 236. 二叉树的最近公共祖先 236. 二叉树的最近公共祖先 给定一个二叉树, 找到该树中两个指定节点的最近公共祖先。 百度百科中最近公共祖先的定义为&#xff1a;“对于有根树 T 的两个节点 p、q&…

向量表示在自然语言、知识图谱和图像视觉中的应用

目录 前言1 不同应用的向量表示1.1 自然语言中的向量表示1.2 知识图谱中的向量表示1.3 图像视觉中的向量表示 2 词的向量表示2.1 One-hot encoding的限制2.2 Bag-of-Words模型的不足2.3 Word Embedding的引入2.4. 词的分布式表示与语境关系 3 词向量模型3.1 CBoW&#xff08;Co…

swagger2 和 knife4j 整合

swagger整合knife4j 导入依赖 <dependency><groupId>com.github.xiaoymin</groupId><artifactId>knife4j-spring-boot-starter</artifactId><version>3.0.2</version></dependency>引入配置 我们自己写一个配置类也好,我这里写…

乐观锁的底层实现以及如何解决ABA问题

什么是乐观锁&#xff1f;乐观锁底层是如何实现的&#xff1f; 乐观锁是一种并发控制的策略。在操作数据的时候&#xff0c;线程读取数据的时候不会进行加锁&#xff0c;先去查询原值&#xff0c;操作的时候比较原来的值&#xff0c;看一下是都被其他线程修改&#xff0c;如果…

OpenHarmony—TypeScript到ArkTS约束说明

对象的属性名必须是合法的标识符 规则&#xff1a;arkts-identifiers-as-prop-names 级别&#xff1a;错误 在ArkTS中&#xff0c;对象的属性名不能为数字或字符串。通过属性名访问类的属性&#xff0c;通过数值索引访问数组元素。 TypeScript var x { name: x, 2: 3 };c…

STM32标准库开发—W25Q64详细介绍

W25Q64简介 Flash编程原理都是只能将1写为0&#xff0c;而不能将0写成1.所以在Flash编程之前&#xff0c;必须将对应的块擦除&#xff0c;而擦除的过程就是将所有位都写为1的过程&#xff0c;块内的所有字节变为0xFF.因此可以说&#xff0c;编程是将相应位写0的过程&#xff0c…

Ubuntu 22.04 安装tomcat

tomcat是常用的Java服务容器,这篇文章我们就来讲讲如何安装它。 更新软件包 首先是更新软件包,这是最常规的操作 sudo apt update 然后是开始安装,不多一会就可以安装好了 sudo apt install tomcat9 然后看一下状态 sudo systemctl status tomcat9 发现虽然启动了,但…

IS-IS:03 ISIS链路状态数据库

一个 OSPF 链路状态数据库是若干条 LSA 的集合。与此相似&#xff0c;一个 IS-IS 链路状态数据库是若干条 LSP 的集合。与 OSPF 链路状态数据库不同&#xff0c; IS-IS 链路状态数据库有 level-1 和 level-2 之分。 在IS-IS 协议中&#xff0c;每一条 LSP 都有一个剩余生存时间…

自学Java的第48,49,50,51天

IO流 应用场景 IO流的分类 文件字节输入流 写法 读取一个字节 读取多个字节 优化&#xff1a; 注意&#xff1a; 读取全部字节 写法 注意&#xff1a; 文件字节输出流 写法 案例&#xff1a; 写法 释放资源的方法 try-catch-finally 写法 try-with-resource 写法 字符流 …

linux内网搭建NFS网络文件系统(rpm)

linux 内网搭建nfs网络文件系统&#xff08;rpm包&#xff09; 前言&#xff1a;一、上传安装包到服务器二、NFS服务端配置三、建立共享目录(服务器端和客户端)四、添加配置共享目录&#xff08;服务器端&#xff09;五、NFS客户端配置六、测试共享服务 前言&#xff1a; 用自…

Type-C平板接口协议芯片介绍,实现单C口充放电功能

在现代平板电脑中&#xff0c;Type-C接口已经成为了一个非常常见的接口类型。相比于传统的USB接口&#xff0c;Type-C接口具有更小的体积、更快的传输速度和更方便的插拔体验。但是&#xff0c;在使用Type-C接口的平板电脑上&#xff0c;如何实现单C口充电、放电和USB2.0数据传…