Kubernetes 集群中的每个节点都是运行容器化应用的基础。当节点状态显示为
NotReady
时，意味着该节点无法正常工作，这可能会导致 Pod
无法调度，从而影响整个应用的可用性。本文将深入分析节点不健康的各种原因、详细的排查步骤以及有效的解决方案。
一、节点不健康的原因
节点不健康的原因可以归结为多种因素，以下是一些主要原因：
-
资源不足：
- CPU 和内存压力：当节点上的 CPU 或内存使用率接近 100% 时，Kubernetes 可能会将节点标记为不健康。
- 磁盘空间不足：如果节点的磁盘空间不足，可能会导致 Pod 无法正常运行。
-
Kubelet 服务故障：
- Kubelet 是负责管理节点上容器的主要组件。如果 Kubelet 进程未运行或崩溃，节点会被标记为
NotReady。
- Kubelet 是负责管理节点上容器的主要组件。如果 Kubelet 进程未运行或崩溃，节点会被标记为
-
网络问题：
- 节点与 Kubernetes 控制平面或其他节点之间的网络连接故障，导致无法与 API 服务器通信。
-
容器运行时问题：
- Docker 或其他容器运行时未正常工作，会导致 Pod 无法启动。
-
节点维护状态：
- 节点可能被人为标记为维护状态（
cordon），这会阻止新的 Pod 调度到该节点。
- 节点可能被人为标记为维护状态（
-
系统级别问题：
- 操作系统的错误、内核崩溃或其他严重问题可能导致节点不健康。
二、排查步骤
步骤 1: 查看节点状态
首先，使用以下命令检查集群中所有节点的状态：
kubectl get nodes
输出示例：
NAME STATUS ROLES AGE VERSION
node1 NotReady <none> 5d v1.21.0
node2 Ready <none> 5d v1.21.0
这表明 node1 的状态为 NotReady。
步骤 2: 描述节点
使用 kubectl describe 命令获取节点的详细信息：
kubectl describe node <node-name>
输出示例：
Name: node1
Labels: <none>
Annotations: kubernetes.io/hostname=node1
...
Conditions:
Type Status
Ready False
OutOfDisk False
MemoryPressure False
DiskPressure False
PIDPressure False
NetworkUnavailable False
...
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning KubeletNotReady 5m kubelet, node1 Kubelet is not posting active status
在输出中，关注以下几个方面：
- Conditions：查看
Ready状态是否为False，以及其他条件（如OutOfDisk、MemoryPressure等）。 - Events：检查是否有异常事件，特别是 Kubelet 的状态信息。
步骤 3: 检查资源使用情况
确认节点的资源使用情况，确保没有达到限制：
kubectl top nodes
输出示例：
NAME CPU(cores) CPU% MEMORY(bytes) MEMORY%
node1 2000m 95% 1500Mi 90%
node2 1000m 30% 800Mi 50%
如果某个节点的 CPU 或内存使用率接近 100%，说明资源不足。
步骤 4: 检查 Kubelet 状态
SSH 登录到节点，检查 Kubelet 服务的状态：
sudo systemctl status kubelet
输出示例：
● kubelet.service - Kubernetes Kubelet
Loaded: loaded (/etc/systemd/system/kubelet.service; enabled; vendor preset: disabled)
Active: failed (Result: exit-code) since Thu 2023-10-10 10:00:00 UTC; 5min ago
如果 Kubelet 未运行或状态为 failed，查看日志以查找故障原因：
journalctl -u kubelet
查找关键错误信息，帮助定位问题。
步骤 5: 检查 Docker 状态
确认 Docker 或其他容器运行时是否正常工作：
sudo systemctl status docker
输出示例：
● docker.service - Docker Application Container Engine
Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled)
Active: active (running) since Thu 2023-10-10 09:50:00 UTC; 10min ago
如果 Docker 服务未运行，查看 Docker 日志，检查是否有错误信息：
journalctl -u docker
步骤 6: 检查网络连接
确保节点能够访问 Kubernetes 控制平面和其他节点。可以使用 ping 或 curl 命令检查网络连通性。例如，检查 API 服务器是否可达：
curl -k https://<k8s-api-server>:6443/version
如果网络无法连接，可能需要检查防火墙或网络配置。
三、解决方案
解决方案 1: 释放资源
如果节点资源不足，考虑以下措施：
- 减少 Pod 数量：使用
kubectl delete pod <pod-name>删除不必要的 Pod。 - 调整资源请求和限制：优化 Pod 的资源配置，确保不超过节点的可用资源。
- 扩展节点：通过云服务提供商添加新的节点或将现有节点的资源进行扩展。
解决方案 2: 重启 Kubelet
如果 Kubelet 服务出现问题，可以尝试重启：
sudo systemctl restart kubelet
重启后，再次检查节点状态：
kubectl get nodes
解决方案 3: 处理网络问题
如果发现网络连接不通：
- 检查防火墙设置：确保 Kubernetes 所需的端口（如 6443、10250 等）是开放的。
- 确认网络插件：如果使用了网络插件（如 Calico、Flannel 等），确保其正常工作。
解决方案 4: 检查和重启 Docker
如果 Docker 服务出现问题，尝试重启 Docker：
sudo systemctl restart docker
然后再次检查节点状态。
解决方案 5: 检查节点维护状态
如果节点被标记为 cordon，可以使用以下命令解除该状态：
kubectl uncordon <node-name>
确保节点能够接收新的 Pod。
解决方案 6: 处理系统级别问题
如果排查后仍无法解决，可能需要检查系统日志，查找操作系统级别的问题。这可能包括：
- 检查系统负载和进程状态。
- 重新启动节点，解决临时问题。
四、总结
节点不健康的问题是 Kubernetes 运维中的常见挑战。通过系统化的排查步骤和针对性的解决方案，用户可以高效地定位和解决问题，确保集群的稳定运行。了解节点的健康状态以及如何进行有效的故障排查，将极大地提升运维效率和服务质量。掌握这些知识和技能，将使你在 Kubernetes 的管理和维护中更加游刃有余。
