netty的http1服务器在运行一段时间后会无法提供服务,返回客户端socket hang up
使用apipost测试抓包显示三次握手后被reset
客户端使用了大量短连接,如果能改成长连接就会消耗更少的连接,但是客户端逻辑无法掌控,只能修改服务器。
另外能保证客户端完成四次挥手也可以避免,但同样客户端逻辑无法掌控。
修改net/core/somaxconn
登录容器,cat /proc/sys/net/core/somaxconn显示128,对于一个服务器来说,这个限制太小了,可以放大。
但是k8s把容器的参数分类了,大部分的参数都属于unsafe,不能直接修改。
第一步:修改kubelet启动参数
kubelet启动增加参数:kubelet --allowed-unsafe-sysctls ‘net.core.somaxconn’
kubelet可能是通过配置文件启动的,比如/etc/systemd/system/kubelet.service.d/10-kubeadm.conf
修改后重启kubelet:systemctl restart kubelet
确认是否生效:
第二步:修改netty的yaml
在Deployment中spec-template-spec-containers下增加securityContext:
securityContext:
sysctls:
- name: net.core.somaxconn
value: "1024"
启动pod后查看somaxconn:
修改 TIME_WAIT 连接数量
cat /proc/net/tcp查看到tcp连接数非常多,连接状态01表示已连接,0A表示监听中,6表示TIME_WAIT
tcp状态值说明:
TCP_ESTABLISHED:1 TCP_SYN_SENT:2 TCP_SYN_RECV:3 TCP_FIN_WAIT1:4
TCP_FIN_WAIT2:5 TCP_TIME_WAIT:6 TCP_CLOSE:7 TCP_CLOSE_WAIT:8
TCP_LAST_ACL:9 TCP_LISTEN:10 TCP_CLOSING:11
需要修改关闭连接的等待时间(主动关闭的一方是TIME_WAIT,被动关闭一方是CLOSE_WAIT,需要根据具体情况),这也是k8s的unsafe参数
步骤一 修改kubelet配置,增加:
--allowed-unsafe-sysctls net.core.somaxconn,net.ipv4.*
步骤二 修改deployment:
securityContext:
sysctls:
- name: net.core.somaxconn
value: "1024"
- name: net.ipv4.tcp_fin_timeout
value: "30"