一文了解Linux上TCP的几个内核参数调优

news2025/2/28 11:58:06

Linux作为一个强大的操作系统，提供了一系列内核参数供我们进行调优。光TCP的调优参数就有50多个。在和线上问题斗智斗勇的过程中，笔者积累了一些在内网环境应该进行调优的参数。在此分享出来，希望对大家有所帮助。

调优清单

好了，在这里先列出调优清单。请记住，这里只是笔者在内网进行TCP内核参数调优的经验，仅供参考。同时，笔者还会在余下的博客里面详细解释了为什么要进行这些调优！

序号内核参数值备注
1.1/proc/sys/net/ipv4/tcp_max_syn_backlog2048
1.2/proc/sys/net/core/somaxconn2048
1.3/proc/sys/net/ipv4/tcp_abort_on_overflow1
2.1/proc/sys/net/ipv4/tcp_tw_recycle0NAT环境必须为0
2.2/proc/sys/net/ipv4/tcp_tw_reuse1
3.1/proc/sys/net/ipv4/tcp_syn_retries3
3.2/proc/sys/net/ipv4/tcp_retries25
3.3/proc/sys/net/ipv4/tcp_slow_start_after_idle0

tcp_max_syn_backlog,somaxconn,tcp_abort_on_overflow

tcp_max_syn_backlog,somaxconn,tcp_abort_on_overflow这三个参数是关于
内核TCP连接缓冲队列的设置。如果应用层来不及将已经三次握手建立成功的TCP连接从队列中取出,溢出了这个缓冲队列(全连接队列)之后就会丢弃这个连接。如下图所示:

从而产生一些诡异的现象,这个现象诡异之处就在于，是在TCP第三次握手的时候丢弃连接

就如图中所示,第二次握手的SYNACK发送给client端了。所以就会出现client端认为连接成功，而Server端确已经丢弃了这个连接的现象！由于无法感知到Server已经丢弃了连接。
所以如果没有心跳的话，只有在发出第一个请求后，Server才会发送一个reset端通知这个连接已经被丢弃了，建立连接后第二天再用，也会报错！所以我们要调大Backlog队列！

echo 2048 > /proc/sys/net/ipv4/tcp_max_syn_backlog
echo 2048 > /proc/sys/net/core/somaxconn

当然了，为了尽量避免第一笔调用失败问题，我们也同时要设置

echo 1 > /proc/sys/net/ipv4/tcp_abort_on_overflow

设置这个值以后，Server端内核就会在这个连接被溢出之后发送一个reset包给client端。

如果我们的client端是NIO的话，就可以收到一个socket close的事件以感知到连接被关闭！

【文章福利】小编推荐自己的Linux内核技术交流群： 【977878001】整理一些个人觉得比较好得学习书籍、视频资料共享在群文件里面，有需要的可以自行添加哦！！！前100进群领取，额外赠送一份 价值699的内核资料包（含视频教程、电子书、实战项目及代码）

内核资料直通车：Linux内核源码技术学习路线+视频教程代码资料

学习直通车：Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈

注意Java默认的Backlog是50

这个TCP Backlog的队列大小值是min(tcp_max_syn_backlog,somaxconn,应用层设置的backlog),而Java如果不做额外设置，Backlog默认值仅仅只有50。C语言在使用listen调用的时候需要传进Backlog参数。

tcp_tw_recycle

tcp_tw_recycle这个参数一般是用来抑制TIME_WAIT数量的,但是它有一个副作用。即在tcp_timestamps开启(Linux默认开启)，tcp_tw_recycle会经常导致下面这种现象。

也即，如果你的Server开启了tcp_tw_recycle，那么别人如果通过NAT之类的调用你的Server的话，NAT后面的机器只有一台机器能正常工作，其它情况大概率失败。具体原因呢由下图所示:

在tcp_tw_recycle=1同时tcp_timestamps(默认开启的情况下),对同一个IP的连接会做这样的限制，也即之前后建立的连接的时间戳必须要大于之前建立连接的最后时间戳，但是经过NAT的一个IP后面是不同的机器，时间戳相差极大，就会导致内核直接丢弃时间戳较低的连接的现象。由于这个参数导致的问题，高版本内核已经去掉了这个参数。如果考虑TIME_WAIT问题，可以考虑设置一下

echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse

tcp_syn_retries

这个参数值得是client发送SYN如果server端不回复的话，重传SYN的次数。对我们的直接影响呢就是connet建立连接时的超时时间。当然Java通过一些C原生系统调用的组合使得我们可以进行超时时间的设置。在Linux里面默认设置是5,下面给出建议值3和默认值5之间的超时时间。

tcp_syn_retriestimeout
1min(so_sndtimeo,3s)
2min(so_sndtimeo,7s)
3min(so_sndtimeo,15s)
4min(so_sndtimeo,31s)
5min(so_sndtimeo,63s)

下图给出了，重传和超时情况的对应图:

当然了，不同内核版本的超时时间可能不一样，因为初始RTO在内核小版本间都会有细微的变化。所以，有时候在抓包时候可能会出现（3,6,12......)这样的序列。当然Java的API有超时时间:

java:
 // 函数调用中携带有超时时间
 public void connect(SocketAddress endpoint, int timeout) ;

所以，对于Java而言，这个内核参数的设置没有那么重要。但是，有些代码可能会有忘了设置timeout的情况，例如某个版本的Kafka就是，所以它在我们一些混沌测试的情况下，容灾恢复的时间会达到一分多钟，主要时间就是卡在connect上面-_-!，而这时我们的tcp_syn_retries设置的是5，也即超时时间63s。减少这个恢复时间的手段就是:

echo 3 > /proc/sys/net/ipv4/tcp_syn_retries

tcp_retries2

tcp_retries2这个参数表面意思是在传输过程中tcp的重传次数。但在某个版本之后Linux内核仅仅用这个tcp_retries2来计算超时时间，在这段时间的重传次数纯粹由RTO等环境因素决定，重传超时时间在5/15下的表现为:

|tcp_retries2|对端无响应|
| --- | :--- |:---|
|5|25.6s-51.2s根据动态rto定|
|15|924.6s-1044.6s根据动态rto定|

如果我们在应用层设置的Socket所有ReadTimeout都很小的话(例如3s),这个内核参数调整是没有必要的。但是，笔者经常发现有的系统，因为一两个慢的接口或者SQL，所以将ReadTimeout设的很大的情况。

平常这种情况是没有问题的，因为慢请求频率很低，不会对系统造成什么风险。但是，物理机突然宕机时候的情况就不一样了，由于ReadTimeOut设置的过大，导致所有落到这台宕机的机器都会在min(ReadTimeOut,(924.6s-1044.6s)(Linux默认tcp_retries2是15))后才能从read系统调用返回。假设ReadTimeout设置了个5min，系统总线程数是200，那么只要5min内有200个请求落到宕机的server就会使A系统失去响应！

但如果将tcp_retries2设置为5,那么超时返回时间即为min(ReadTimeOut 5min,25.6-51.2s),也就是30s左右，极大的缓解了这一情况。

echo 5 > /proc/sys/net/ipv4/tcp_retries2

但是针对这种现象，最好要做资源上的隔离,例如线程上的隔离或者机器级的隔离。

golang的goroutine调度模型就可以很好的解决线程资源不够的问题，但缺点是goroutine里面不能有阻塞的系统调用，不然也会和上面一样，但仅仅对于系统之间互相调用而言，都是非阻塞IO,所以golang做微服务还是非常Nice的。当然了我大Java用纯IO事件触发编写代码也不会有问题，就是对心智负担太高-_-!

物理机突然宕机和进程宕不一样

值得注意的是，物理机宕机和进程宕但内核还存在表现完全不一样。

仅仅进程宕而内核存活，那么内核会立马发送reset给对端，从而不会卡住A系统的线程资源。

tcp_slow_start_after_idle

还有一个可能需要调整的参数是tcp_slow_start_after_idle，Linux默认是1，即开启状态。开启这个参数后，我们的TCP拥塞窗口会在一个RTO时间空闲之后重置为初始拥塞窗口(CWND)大小，这无疑大幅的减少了长连接的优势。对应Linux源码为:

static void tcp_event_data_sent(struct tcp_sock *tp,
				struct sk_buff *skb, struct sock *sk){
	// 如果开启了start_after_idle,而且这次发送的时间-上次发送的时间>一个rto，就重置tcp拥塞窗口
	if (sysctl_tcp_slow_start_after_idle &&
	    (!tp->packets_out && (s32)(now - tp->lsndtime) > icsk->icsk_rto))
		tcp_cwnd_restart(sk, __sk_dst_get(sk));
}

关闭这个参数后，无疑会提高某些请求的传输速度(在带宽够的情况下)。

echo 0 > /proc/sys/net/ipv4/tcp_slow_start_after_idle

当然了，Linux启用这个参数也是有理由的，如果我们的网络情况是时刻在变化的，例如拿个手机到处移动，那么将拥塞窗口重置确实是个不错的选项。但是就我们内网系统间调用而言，是不太必要的了。

初始CWND大小

毫无疑问，新建连接之后的初始TCP拥塞窗口大小也直接影响到我们的请求速率。在Linux2.6.32源码中，其初始拥塞窗口是(2-4个)mss大小，对应于内网估计也就是(2.8-5.6K)(MTU 1500)，这个大小对于某些大请求可能有点捉襟见肘。
在Linux 2.6.39以上或者某些RedHat维护的小版本中已经把CWND
增大到RFC 6928所规定的的10段，也就是在内网里面估计14K左右(MTU 1500)。

Linux 新版本
/* TCP initial congestion window */
#define TCP_INIT_CWND		10

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/39036.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Java#27(Arrays)

Java#27(Arrays)

目录 一.Arrays 操作数组的工具类 二.Lambda表达式 1.注意: 2.省略规则 一.Arrays 操作数组的工具类 方法名 作用 public static String toString(数组) 把数组拼接…
阅读更多...
大数据毕设选题 - 深度学习动物识别与检测系统（ python opencv）

大数据毕设选题 - 深度学习动物识别与检测系统（ python opencv）

文章目录0 前言1 深度学习实现动物识别与检测2 卷积神经网络2.1卷积层2.2 池化层2.3 激活函数2.4 全连接层2.5 使用tensorflow中keras模块实现卷积神经网络3 YOLOV53.1 网络架构图3.2 输入端3.3 基准网络3.4 Neck网络3.5 Head输出层4 数据集准备4.1 数据标注简介4.2 数据保存5 …
阅读更多...
kafka集群搭建与prometheus监控配置

kafka集群搭建与prometheus监控配置

文章目录1、基于zookeeper的集群2、kafka集群安装2.1 基于Zookeeper集群的配置2.2 基于KRaft模式集群的配置2.3、启动Kafka集群3、kafka_exporter监控组件安装3.1、安装3.2、系统服务3.3、集成到prometheus4、与Grafana集成1、基于zookeeper的集群 下载地址：https:…
阅读更多...
ABAP学习笔记之——第三章：OPEN SQL和NATIVE SQL

ABAP学习笔记之——第三章：OPEN SQL和NATIVE SQL

一、SAP R/3体系结构 SAP R/3一个分为三层：数据库层、应用层、表示层。其中应用层和数据库层由一个系统构成。 表示层：表示层(Presentation Layer)简单来讲其实就是指个人PC，是保存构成SAPGUI(GraphicalUserInterface)的软件组件(Software Co…
阅读更多...
数字验证学习笔记——SystemVerilog芯片验证10 ——类的成员

数字验证学习笔记——SystemVerilog芯片验证10 ——类的成员

一、类和成员 类是成员变量和成员方法的载体，之所以称为自洽体，是因为其变量和方法应符合‘聚拢’原则，即一个类的功能应该尽可能简单，不应承担过多的职责，更不应该承担不符合它的职责，这在设计模式被称为…
阅读更多...
变分自编码器（VAES)

变分自编码器（VAES)

Dimensionality reduction ,PCA and autoencoders Dimensionality reduction 我们清楚，数据降维其实都是减少数据的特征数量，如果把encoderencoderencoder看作是由高维原有特征生成低维新特征的过程。把decoderdecoderdecoder看作是将低维特征还原为高…
阅读更多...
vulnhub靶机ha:wordy

vulnhub靶机ha:wordy

靶机下载链接：HA: Wordy ~ VulnHub 靶机ip：192.168.174.136（后面重启后变成192.168.174.137） kali ip：192.168.174.128 目录 靶机ip发现: 靶机端口扫描: 子目录扫描： wpscan扫描 漏洞利用1 漏洞利…
阅读更多...
ASEMI肖特基二极管MBR40200PT参数，MBR40200PT规格

ASEMI肖特基二极管MBR40200PT参数，MBR40200PT规格

编辑-Z ASEMI肖特基二极管MBR40200PT参数： 型号：MBR40200PT 最大重复峰值反向电压（VRRM）：200V 最大平均正向整流输出电流（IF）：40A 峰值正向浪涌电流（IFSM&#xff0…
阅读更多...
5、Mybatis的查询功能（必定有返回值）

5、Mybatis的查询功能（必定有返回值）

Mybatis的查询功能（必定有返回值） 注意： 查询功能与前面的增删改不同，增删改的返回值是固定的（所以增删改我们就有两种返回值要么设置为int获取受影响的行数，要么设置为void我们不获取返回值）…
阅读更多...
基于JAVA的农产品生鲜销售管理系统【数据库设计、源码、开题报告】

基于JAVA的农产品生鲜销售管理系统【数据库设计、源码、开题报告】

数据库脚本下载地址： https://download.csdn.net/download/itrjxxs_com/86468222 主要使用技术 Struts2HibernateJSPJSCSSMysql 功能介绍 1，游客访问 |–系统首页，查看商品列表 |–特价商品 |–最新上架 2，会员访问 |–用户登…
阅读更多...
Qt 界面设置无边框之后如何实现缩放界面

Qt 界面设置无边框之后如何实现缩放界面

在qt中，如果设置的了窗口无边框的话（即setWindowFlag(Qt::FramelessWindowHint);）那么窗口就没法直接被鼠标拖动了，也没法按住窗口的边界进行缩放。 如果要实现缩放和拖动，一般来说就需要的重写窗口类的mousePressEve…
阅读更多...
目标检测论文解读复现之十九：基于YOLOv5网络模型的人员口罩佩戴实时检测

目标检测论文解读复现之十九：基于YOLOv5网络模型的人员口罩佩戴实时检测

前言 此前出了目标改进算法专栏，但是对于应用于什么场景，需要什么改进方法对应与自己的应用场景有效果，并且多少改进点能发什么水平的文章，为解决大家的困惑，此系列文章旨在给大家解读最新目标检测算法论文&#xff0…
阅读更多...
8.3 数据结构——交换排序

8.3 数据结构——交换排序

基本思想：两两比较，如果发生逆序则交换，直到所有记录都排好序为止。 常见的交换排序：（1）冒泡排序 （2）快速排序 8.3.1 冒泡排序 基本思想：每趟不断将记录两两比较&…
阅读更多...
VLAN（Virtual LAN）虚拟局域网

VLAN（Virtual LAN）虚拟局域网

1、广播与广播域 广播：将广播地址做为目标地址的数据帧 广播域：网络中能接收到同一个广播所有节点的集合（广播域越小越好，收到的垃圾广播越少，这样通信效率更高） MAC地址广播 广播地址为：FF-FF-…
阅读更多...
rabbitmq配置windows authentication(windows account)登录

rabbitmq配置windows authentication(windows account)登录

rabbitmq配置windows authentication(windows account开启插件配置文件创建一个不需要密码的账号，赋予administrator权限。用windows账号和密码登录rabbitmq加密明文密码创建密钥的文件,添加密钥字符串加密解密用户名密码配置加密后的字符串重启rabbitmq&#xff0c…
阅读更多...
HyperLynx（三十一）高速串行总线仿真（三）

HyperLynx（三十一）高速串行总线仿真（三）

高速串行总线仿真（三） 1.从一个多层板工程中验证串行通道 2.在多层板中设置连接器模型 1.从一个多层板工程中验证串行通道 在本例练习中，将集中研究从芯片到插件形成的串行发射通道，并分析它的性能。 (1)打开 HyperLynx 软件&a…
阅读更多...
Centos下安装postgreSQL

Centos下安装postgreSQL

最近北京yq严重，在家学习下postgreSQL ，本次使用的是 Centos 环境安装是有，记录下来，方便备查。 第一步、下载与安装 下载地址：postgreSQL官网 在官网上选择 Linux系统，使用 yum来下载软件，只…
阅读更多...
SpringBoot SpringBoot 原理篇 1 自动配置 1.11 bean 的加载控制【编程式】

SpringBoot SpringBoot 原理篇 1 自动配置 1.11 bean 的加载控制【编程式】

SpringBoot 【黑马程序员SpringBoot2全套视频教程，springboot零基础到项目实战（spring boot2完整版）】 SpringBoot 原理篇 文章目录SpringBootSpringBoot 原理篇1 自动配置1.11 bean 的加载控制【编程式】1.11.1 bean 的加载控制1.11.2 环境…
阅读更多...
[附源码]Python计算机毕业设计高校辅导员工作管理系统

[附源码]Python计算机毕业设计高校辅导员工作管理系统

项目运行 环境配置： Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术： django python Vue 等等组成，B/S模式 pychram管理等等。 环境需要 1.运行环境：最好是python3.7.7，…
阅读更多...
现代密码学导论-15-多明文加密

现代密码学导论-15-多明文加密

目录 3.4更强的安全观念 3.4.1 多明文加密安全 多消息窃听实验 DEFINITION 3.18 多明文加密下的不可区分性 PROPOSITION 3.19 定义3.18强于定义3.8的事实证明 PROPOSITION 3.19 的证明 概率加密的必要性 THEOREM 3.20 3.4更强的安全观念 到目前为止，我们一…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023