系列文章目录
1.kubeadm安装K8s集群之基础环境配置
2.kubeadm安装K8s集群之高可用组件keepalived+nginx及kubeadm部署
3.kubeadm安装K8s集群之master节点加入
4.kubeadm安装K8s集群之worker1节点加入
kubeadm安装K8s集群之高可用组件keepalived+nginx及kubeadm部署
- 1.安装kubeadm、kubectl、kubelet
- 2.安装高可用组件nginx
- 3.安装高可用组件keepalived
1.安装kubeadm、kubectl、kubelet
kubeadm：是用于初始化和管理kubernetes集群的工具，简化集群的创建维护；
kubelet：是每个节点的代理，负责容器的生命周期和节点级别的任务管理；
kubectl：是作为用户的命令行界面，用来与kubernetes集群进行交换，便于管理和操作集群资源；
- 添加kubernetes yum源；
cat > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes Repo
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
enabled=1
EOF
- 安装软件包，我这里是安装指定版本1.19.1-0；
yum install -y kubelet-1.19.1-0.x86_64 kubeadm-1.19.1-0.x86_64 kubectl-1.19.1-0.x86_64
- 配置kubelet镜像仓库
默认配置的pause镜像使用 gcr.io 仓库，国内可能无法访问，所以这里配置 Kubelet 使用阿里云的 pause 镜像;
首先获取 Docker cgroups 驱动程序信息
DOCKER_CGROUPS=$(docker info --format '{{.CgroupDriver}}')
echo $DOCKER_CGROUPS
注意：获取Docker cgroups驱动程序信息是为了保证docker和kubelet的cgroup-driver保持一致，如果不一致，在初始化集群时会报错：[kubelet-check] The HTTP call equal to 'curl -sSL http://xxxxxxx:xxx connect: connection refused.
编辑Kubelet配置文件
cat >/etc/sysconfig/kubelet <<EOF
KUBELET_EXTRA_ARGS="--cgroup-driver=${DOCKER_CGROUPS} --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1"
EOF
加载配置并将kubelet设置为开机自启；
#加载system系统配置管理文件
systemctl daemon-reload
#设置开机自启并启动，启动肯定是报错，因为kubelet还没有在master进行初始化启动
systemctl enable kubelet && systemctl restart kubelet
2.安装高可用组件nginx
- 启用EPEL仓库后安装 Nginx
yum install -y epel-release
yum install -y nginx
- 加载nginx stream模块
因为需要用到nginx的stream模块，yum安装的nginx默认是没有这个模块的，所以需要手动安装所有mod；
yum -y install nginx-all-modules.noarch
安装成功后/usr/lib64/nginx/modules/目录中会增加以下文件；
ll /usr/lib64/nginx/modules/
- 配置nginx配置文件
首先备份一下默认的nginx.conf文件
cp /etc/nginx/nginx.conf /etc/nginx/nginx.confbak
修改配置文件中的内容执行命令，将以下内容覆盖重定向到配置文件中；
提示：以下内容请根据文件中的注释调整对应的实际情况的内容；
cat >/etc/nginx/nginx.conf <<EOF
#手动将上面安装的nginx stream模块加载进来；
load_module /usr/lib64/nginx/modules/ngx_stream_module.so;
events {
worker_connections 1024;
}
stream {
log_format main '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
access_log /var/log/nginx/k8s-access.log main;
upstream k8s-apiserver {
server 192.168.0.105:6443; # master1 apiserver的ip和端口，请根据实际情况替换该内容；
server 192.168.0.106:6443; # master2 apiserver的ip和端口，请根据实际情况替换该内容；
}
server {
listen 16443; # 因nginx与master节点复用，这个监听端口不能是6443，否则会冲突
proxy_pass k8s-apiserver;
}
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 80;
server_name localhost;
location / {
root html;
index index.html index.htm;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
EOF
将nginx设置为开机自启
systemctl enable nginx && systemctl start nginx && systemctl status nginx
3.安装高可用组件keepalived
通过模拟虚拟路由器的来保证，主服务器出现故障时自动将流量切换到备用服务器，从而保证服务的持续可用，确保服务的连续性和可靠性；
- 安装 Keepalived
yum install -y keepalived
- 修改配置keepalived配置文件
首先备份默认的配置文件
cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.confbak
修改配置文件中的内容执行命令，将以下内容覆盖重定向到配置文件中；
提示：以下内容请根据文件中的注释调整对应的实际情况的内容；
cat > /etc/keepalived/keepalived.conf << EOF
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script check_nginx { #配置健康检查脚本相关内容
script "/etc/keepalived/check_nginx.sh" #配置健康检查脚本路径
interval 2
weight -20 #健康检查脚本返回的状态码为1，就权重下降20，实现VIP飘移；
}
vrrp_instance VI_1 {
state MASTER
interface ens32 #ens32：网络接口名称，需要调整为实际对应的名称，可以执行ifconfig查看对应名字；
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111 #可以理解为设置认证的密码，这里可根据情况调整;
}
virtual_ipaddress {
192.168.200.18/24 #vip设置一组虚拟IP地址，可根据实际情况的需要调整，
}
track_script {
check_nginx #设置健康检查
}
}
EOF
如图，启动好keepalived的服务后可以输入命令会把vip显示出来，ip addr show；
编写健康检查脚本check_nginx.sh，这里为了演示随便写的个简单脚本，实际使用环境中不应如此粗糙；
cat > /etc/keepalived/check_nginx.sh << 'EOF'
#!/bin/bash
#这里随便写了一个简单的健康检查脚本，计算nginx的16443端口的数量，如果数量是0就判定为服务不正常；
#16443是上文nginx配置的监听端口，如果上面不是设置的16443这里需要调整为对应的；
count=$(ss -antp |grep 16443 |egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
exit 1
else
exit 0
fi
EOF
- 启动 Keepalived
将keepalived为开机自启动，并开启服务
systemctl enable keepalived && systemctl start keepalived
