kube-vip实践

news2025/3/28 7:23:57

kube-vip 是一款专为 Kubernetes 设计的轻量级高可用（HA）和负载均衡工具，通过虚拟 IP（VIP）机制实现控制平面和服务的高可用性。以下从核心原理、部署实践到高级配置进行全面解析。

一、核心原理与模式

kube-vip 通过两种模式实现 VIP 管理，适应不同网络环境：

1. ARP 模式（Layer 2）

原理：利用 ARP 协议在局域网内广播 VIP 的 MAC 地址，通过领导者选举（Leader Election）动态绑定 VIP 到健康节点。
优点：配置简单，无需依赖外部设备。
缺点：仅适用于同一二层网络环境，无法跨子网。

2. BGP 模式（Layer 3）

原理：通过 BGP 协议将 VIP 路由信息广播到网络设备（如路由器），实现跨子网的高可用。
优点：支持跨网络分区，适合复杂网络拓扑。
缺点：需网络设备支持 BGP，配置复杂度较高。

二、部署实践：基于 ARP 模式的裸机集群

1. 环境准备

节点规划：3 个控制平面节点（master1, master2, master3），若干工作节点。
网络要求：所有控制平面节点需在同一二层网络，共享一个 VIP（如 192.168.1.100）。

2. 安装 kube-vip

# 在所有控制平面节点执行
# 下载 kube-vip 二进制
wget https://github.com/kube-vip/kube-vip/releases/download/v0.6.3/kube-vip-linux-amd64
chmod +x kube-vip-linux-amd64
mv kube-vip-linux-amd64 /usr/local/bin/kube-vip

# 创建静态 Pod 配置
cat <<EOF | tee /etc/kubernetes/manifests/kube-vip.yaml
apiVersion: v1
kind: Pod
metadata:
  name: kube-vip
  namespace: kube-system
spec:
  containers:
  - name: kube-vip
    image: ghcr.io/kube-vip/kube-vip:v0.6.3
    args:
    - start
    - --arp
    - --interface eth0
    - --vip 192.168.1.100
    - --controlplane
    - --leaderElection
    securityContext:
      capabilities:
        add: ["NET_ADMIN", "NET_RAW"]
EOF

3. 初始化 Kubernetes 集群

# 在 master1 节点执行
kubeadm init --control-plane-endpoint "192.168.1.100:6443" --upload-certs

# 生成加入命令（控制平面节点）
kubeadm token create --print-join-command

# 示例输出
kubeadm join 192.168.1.100:6443 --token <token> --discovery-token-ca-cert-hash <hash> --control-plane

4. 加入其他控制平面节点

在 master2 和 master3 上执行上述生成的加入命令。

三、验证高可用性

1. 检查 kube-vip 状态

kubectl get pods -n kube-system -l app=kube-vip
# 预期输出：一个 Running 状态的 Pod

2. 测试 VIP 故障转移

步骤：

当前 VIP 所在节点执行 kubectl delete pod kube-vip -n kube-system。
观察 VIP 自动漂移到其他节点：arping -I eth0 192.168.1.100 -c 1（查看 ARP 响应来源的 MAC 地址）。

3. 验证 API Server 高可用

curl -k https://192.168.1.100:6443/healthz
# 预期输出：ok

四、服务负载均衡实践

kube-vip 可为 LoadBalancer 类型服务分配本地 VIP。

1. 配置地址池

# 创建全局地址池
apiVersion: kube-vip.io/v1alpha1
kind: IPPool
metadata:
  name: global-pool
spec:
  addresses:
  - 192.168.1.200-192.168.1.220

2. 部署示例服务

apiVersion: v1
kind: Service
metadata:
  name: nginx
spec:
  type: LoadBalancer
  selector:
    app: nginx
  ports:
  - port: 80
    targetPort: 80

3. 验证服务 IP

kubectl get svc nginx
# 输出示例
NAME    TYPE           CLUSTER-IP     EXTERNAL-IP     PORT(S)        AGE
nginx   LoadBalancer   10.96.1.2      192.168.1.200   80:30080/TCP   2m

五、高级配置

1. BGP 模式配置

# kube-vip 配置文件（BGP 模式）
args:
- start
- --bgp
- --interface eth0
- --vip 192.168.1.100
- --bgpRouterID 192.168.1.1
- --bgpAS 65000
- --bgpPeer <router-ip>:<asn>:password

2. 健康检查优化

# 自定义健康检查端点
args:
- --healthCheck
- --healthCheckPort 8080
- --healthCheckPath /healthz

六、常见问题与解决

1. VIP 无法绑定

原因：网络接口名称错误或 ARP 广播被阻止。
解决：
- 确认 --interface 参数与节点实际网卡名称一致。
- 检查防火墙是否放行 ARP 流量。

2. 服务未分配外部 IP

原因：地址池配置错误或 kube-vip 未启用服务模式。
解决：
- 检查 IPPool 资源是否正确定义。
- 确保 kube-vip 启动参数包含 --services。

3. BGP 路由未广播

原因：BGP 对等体配置错误或网络设备未放行 BGP 连接。
解决：
- 验证 BGP 对等体 IP 和 AS 号。
- 使用 tcpdump 抓包分析 BGP 会话建立情况。

七、与传统方案对比

特性	kube-vip	HAProxy + Keepalived
部署复杂度	低（Kubernetes 原生集成）	高（需独立部署和维护）
网络要求	ARP 模式需二层网络，BGP 需路由支持	依赖虚拟 IP 和健康检查机制
适用场景	裸机、边缘计算、混合云	传统虚拟化环境