Kubernetes集群搭建

目录

• 前言
• 前期准备
• K8S集群安装
  • 虚拟机设置
  • 安装K8S集群
  • k8s部署Nginx
• 附录1 Docker安装
• 附录2 yum k8s 问题
• 附录3 k8s start问题
• 附录4 k8s master init
• 附录5 node节点添加进集群失败，可以删除节点重新添加

前言

本文指定Docker与K8s版本，保证兼容性，可供参考

• Docker‐ce‐3:19.03.9‐3.el7.x86_64
• Kubelet‐1.18.0
• Kubeadm‐1.18.0
• Kubectl‐1.18.0

前期准备

• 三台双核4GB内存，centos7+操作系统的虚拟机
  • 192.168.***.133
  • 192.168.***.134
  • 192.168.***.135
• 三台虚拟机安装Docker （详见附录1）
  
  
  

K8S集群安装

虚拟机设置

三台虚拟机执行以下命令

# 1.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 2.关闭 selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久关闭(或者选择permissive宽容模式,disable在aarch64架构虚拟机开机docker无法运行)  
setenforce 0 # 临时关闭

# 3.关闭 swap
swapoff -a # 临时关闭
vim /etc/fstab # 永久关闭
#注释掉swap这行
# /dev/mapper/centos‐swap swap swap defaults 0 0
systemctl reboot #重启生效
free -m #查看下swap交换区是否都为0，如果都为0则swap关闭成功

# 4.给三台机器分别设置主机名
hostnamectl set-hostname <hostname>
# 第一台：k8smaster
# 第二台：k8snode1
# 第三台：k8snode2

# 5.在k8s‐master机器添加hosts，执行如下命令，ip需要修改成你自己机器的ip
cat >> /etc/hosts << EOF
192.168.***.133 k8s-master
192.168.***.134 k8s-node1
192.168.***.135 k8s-node2
EOF

sysctl --system # 生效

# 6.将桥接的IPv4流量传递到iptables
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
# 立即生效
sysctl -p  /etc/sysctl.d/k8s.conf

# 7.设置时间同步
yum install ntpdate -y
ntpdate time.windows.com

安装K8S集群

# 1、设置k8s yum源  
# x86: https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
# aarch64: https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-aarch64
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-aarch64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm‐package-key.gpg
EOF

# 2、如果之前安装过k8s，先卸载旧版本
yum remove -y kubelet kubeadm kubectl

# 3、查看可以安装的版本
yum list kubelet --showduplicates | sort -r

# 4、安装kubelet、kubeadm、kubectl 指定版本，我们使用kubeadm方式安装k8s集群
# 此处出现的问题：附录二
yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0

# 5、开机启动kubelet
systemctl enable kubelet

# 6、在k8s-master机器上执行初始化操作(里面的第一个ip地址就是k8s-master机器的ip，改成你自己机器的，后面两个ip网段不用动)
# 此处出现的问题： 附录四
kubeadm init --apiserver-advertise-address=192.168.***.133 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.18.0 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16 --ignore-preflight-errors=Swap

# 7.启动k8s （启动失败现象，附录三）
systemctl start kubelet
# 查看启动状态
systemctl status kubelet -l 
# 查看启动日志
journalctl -xefu kubelet

# 在k8s-master上配置使用 kubectl 命令工具(类似docker这个命令)，
 mkdir -p $HOME/.kube
 sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
 sudo chown $(id -u):$(id -g) $HOME/.kube/config

#查看kubectl是否能正常使用
kubectl get nodes

#安装 Pod 网络插件
kubectl apply -f https://docs.projectcalico.org/v3.10/manifests/calico.yaml
# 如果上面这个calico网络插件安装不成功可以试下下面这个
# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kubeflannel.yml
# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml


## 将node节点加入进master节点的集群里 (三台机器都执行)
kubeadm join 192.168.145.133:6443 --token xiwdb1.ivwp175n7l2c7mad \
    --discovery-token-ca-cert-hash sha256:7ff5423635326f54a5b901f4caec367170fa6d2f29fe095434d5d42d6f0bfe93

kubeadm init 成功

kubeadm join 192.168.145.133:6443 --token xiwdb1.ivwp175n7l2c7mad \
    --discovery-token-ca-cert-hash sha256:7ff5423635326f54a5b901f4caec367170fa6d2f29fe095434d5d42d6f0bfe93

k8s部署Nginx

在k8smaster上执行：

# 创建一次deployment部署
kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort

# 查看Nginx的pod和service信息
kubectl get pod,svc -o wide

启动成功：

访问Nginx地址： http://任意node节点的ip:图中Nginx的对外映射端口，http://192.168.***.134:32127

附录1 Docker安装

• Docker 要求 CentOS 系统的内核版本高于 3.10

  # 查看内核版本
  uname ‐r
  

• 安装需要的软件包， yum-utils提供yum-config-manager功能，另外两个是devicemapper驱动依赖的

  # yum-util 提供yum-config-manager功能
  yum install -y yum‐utils
  # 设置yum源，并更新 yum 的包索引
  sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
  yum makecache fast
  # 注意： 官方软件源默认启用了最新的软件，您可以通过编辑软件源的方式获取各个版本的软件包。例如官方并没有将测试版本的软件源置为可用，您可以通过以下方式开启。同理可以开启各种测试版本等。
  # vim /etc/yum.repos.d/docker-ce.repo
  #   将[docker-ce-test]下方的enabled=0修改为enabled=1
  #
  # 安装指定版本的Docker-CE:
  # Step 1: 查找Docker-CE的版本:
  # yum list docker-ce.x86_64 --showduplicates | sort -r
  #   Loading mirror speeds from cached hostfile
  #   Loaded plugins: branch, fastestmirror, langpacks
  #   docker-ce.x86_64            17.03.1.ce-1.el7.centos            docker-ce-stable
  #   docker-ce.x86_64            17.03.1.ce-1.el7.centos            docker-ce-stable
  #   docker-ce.x86_64            17.03.0.ce-1.el7.centos            docker-ce-stable
  #   Available Packages
  # Step2: 安装指定版本的Docker-CE: (VERSION例如上面的17.03.0.ce.1-1.el7.centos)
  # sudo yum -y install docker-ce-[VERSION]
  

• 查看所有仓库中所有docker版本，并选择特定版本安装

  yum list docker-ce --showduplicates | sort -r
  

• 安装docker

  yum install docker-ce-19.03.9-3.el7 -y # 这是指定版本安装
  

• 启动docker并加入开机启动

  systemctl start docker && systemctl enable docker
  

• 验证安装是否成功(有client和service两部分表示docker安装启动都成功了)

  docker version
  

  
• docker 镜像加速
  • 登录阿里云https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors
    
    
    
    

附录2 yum k8s问题

• ‘ascii’ codec can’t decode byte 0xe2 in position 719: ordinal not in range(128)
  • 原因： 网上搜是python2的编码问题
  • 解决方法：

    cat > /usr/lib/python2.7/site-packages/sitecustomize.py << EOF
     #encoding=utf8
     import sys
     reload(sys)
     sys.setdefaultencoding('utf-8')
     EOF
    
    # 重启python编译器
    python
    

附录3 k8s start问题

• systemctl status kubelet -l 查看k8s启动状态发现启动失败，
  

  • journalctl -xefu kubelet 查看启动日志，发现：

    Jan 30 10:30:20 k8s-node1 kubelet[1797]: F0130 10:30:20.011562 1797 server.go:199] failed to load Kubelet config file /var/lib/kubelet/config.yaml, error failed to read kubelet config file “/var/lib/kubelet/config.yaml”, error: open /var/lib/kubelet/config.yaml: no such file or directory

  • 解决方案：

    # 执行kubeadm init
    kubeadm init --kubernetes-version=v1.18.0 --image-repository=registry.aliyuncs.com/google_containers --pod-network-cidr=172.16.0.0/16 --apiserver-advertise-address=192.168.***.***
    

附录4 k8s master init问题

• [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
  

  • 原因：检测到"cgroupfs"作为Docker的cgroup驱动程序。 推荐使用systemd驱动需要更换驱动，修改docker Driver
  • 解决方案：

    # 修改配置文件
    vim /etc/docker/daemon.json
    # 增加以下配置json
    {
    "exec-opts":["native.cgroupdriver=systemd"]
    }
    # 重启docker
    systemctl restart docker
    

附录5 node节点添加进集群失败，可以删除节点重新添加

要删除 k8s­node1 这个节点，首先在 master 节点上依次执行以下两个命令

kubectl drain k8snode1 --delete-local-data --force --ignore-daemonsets
kubectl delete node k8snode1

执行后通过 kubectl get node 命令可以看到 k8s­node1 已被成功删除 接着在 k8s­node1 这个 Node 节点上执行如下命令，这样该节点即完全从 k8s 集群中脱离开来，之后就可以重新执 行命令添加到集群

kubeadm reset