K8S高可用方案

1、高可用部署方式

官方提供两种高可用实现方式：

• 堆叠etcd 拓扑，其中 etcd 节点与控制平面节点共存；
• 外部 etcd 节点，其中 etcd 与控制平面在不同的节点上运行；

1.1、堆叠 etcd 拓扑

主要特点：

• 每个 master 节点上运行一个 apiserver 和 etcd, etcd 只与本节点 apiserver 通信。

• kubeadm 中的默认拓扑。当使用 kubeadm init 和 kubeadm join --control-plane 时，在控制平面节点上会自动创建本地 etcd 成员

• 应该为 HA 集群运行至少三个堆叠的控制平面节点（防止脑裂）。

• 部署的节点数为奇数，3节点方式最多容忍一台机器宕机。

• 缺点： 堆叠集群存在耦合失败的风险。如果一个节点发生故障，则 etcd 成员和控制平面实例都将丢失，并且冗余会受到影响。可以通过添加更多控制平面节点来降低此风险。

1.2、外部 etcd 拓扑

• etcd 集群运行在单独的主机上，每个 etcd 都与每个 apiserver 节点通信。

• 这种拓扑结构解耦了控制平面和 etcd 成员。因此，它提供了一种 HA 设置，其中失去控制平面实例或者 etcd 成员的影响较小，并且不会像堆叠的 HA 拓扑那样影响集群冗余。

• 缺点：此拓扑需要两倍于堆叠 HA 拓扑的主机数量。具有此拓扑的 HA 集群至少需要三个用于控制平面节点的主机和三个用于 etcd 节点的主机。

1.3、小结

• 堆叠etcd 拓扑：设置简单，易于副本管理 ，不过存在耦合失败风险。如果节点发生故障，则 etcd 成员和控制平面实例有丢失的可能；（需保证至少3个主节点）
• 外部 etcd 拓扑：解耦了控制平面和 etcd 成员，不会像堆叠的 HA 拓扑那样有影响集群冗余的风险，不过需要两倍于堆叠 HA 拓扑的主机数量，设置相对复杂。

2、堆叠etcd 拓扑部署

以三个主节点为例

2.1、haproxy

haproxy提供高可用性，负载均衡，基于 TCP 和 HTTP 的代理，支持数以万记的并发连接。

分别在三个 master 主机上安装 haproxy，配置信息一致 /etc/haproxy/haproxy.cfg，重要配置以中文注释标出：

#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   https://www.haproxy.org/download/2.1/doc/configuration.txt
#   https://cbonte.github.io/haproxy-dconv/2.1/configuration.html
#
#---------------------------------------------------------------------

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    # to have these messages end up in /var/log/haproxy.log you will
    # need to:
    #
    # 1) configure syslog to accept network log events.  This is done
    #    by adding the '-r' option to the SYSLOGD_OPTIONS in
    #    /etc/sysconfig/syslog
    #
    # 2) configure local2 events to go to the /var/log/haproxy.log
    #   file. A line like the following can be added to
    #   /etc/sysconfig/syslog
    #
    #    local2.*                       /var/log/haproxy.log
    #
    log         127.0.0.1 local2

#    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
#    user        haproxy
#    group       haproxy
    # daemon

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections wi