k8s自动清理节点服务

news2024/7/5 7:56:34

要在 Kubernetes 中实现当某个节点的 CPU 或内存使用超过 90% 时清理该节点上的服务，你可以使用以下几种方法：

自定义脚本和 cron job：编写一个脚本监控节点的资源使用情况，并在超过阈值时触发清理操作。
使用 DaemonSet 运行监控容器：在每个节点上运行一个监控容器，监控资源使用情况并执行清理操作。
Prometheus 和 Alertmanager：结合使用 Prometheus 和 Alertmanager 来监控资源使用情况，并在超过阈值时触发清理操作。

以下是使用自定义脚本和 cron job 实现的详细步骤：

步骤 1：编写监控和清理脚本

创建一个脚本（例如 cleanup.sh），该脚本将检查节点的 CPU 和内存使用情况，并在超过阈值时清理节点上的服务：

#!/bin/bash

# 设置阈值
CPU_THRESHOLD=90
MEM_THRESHOLD=90

# 获取节点的名称
NODE_NAME=$(hostname)

# 获取节点的 CPU 和内存使用情况
CPU_USAGE=$(kubectl top node $NODE_NAME --no-headers | awk '{print $3}' | sed 's/%//')
MEM_USAGE=$(kubectl top node $NODE_NAME --no-headers | awk '{print $5}' | sed 's/%//')

# 检查是否超过阈值
if [[ $CPU_USAGE -gt $CPU_THRESHOLD ]] || [[ $MEM_USAGE -gt $MEM_THRESHOLD ]]; then
    echo "Node $NODE_NAME CPU or Memory usage is above threshold. Cleaning up..."

    # 获取节点上的所有以 "svc" 开头的 Pod
    PODS=$(kubectl get pods --all-namespaces -o wide | grep $NODE_NAME | awk '{if ($2 ~ /^svc/) print $2" -n "$1}')

    # 删除节点上的所有以 "svc" 开头的 Pod
    for POD in $PODS; do
        kubectl delete pod $POD --grace-period=0 --force
    done
fi

步骤 2：在节点上设置 cron job

将脚本部署到每个节点上，并使用 cron job 定期运行该脚本：

将脚本复制到节点上（例如 /usr/local/bin/cleanup.sh）：
```
scp cleanup.sh user@node:/usr/local/bin/cleanup.sh
```
在每个节点上为脚本添加可执行权限：
```
chmod +x /usr/local/bin/cleanup.sh
```
在每个节点上编辑 crontab 文件：
```
crontab -e
```
添加以下行来每 5 分钟运行一次脚本：
```
*/5 * * * * /usr/local/bin/cleanup.sh >> /var/log/cleanup.log 2>&1
```