话不多说,直接开始从0搭建k8s集群
环境:centous7.9 2核 20G
k8s-master 192.168.37.20
k8s-node1 192.168.37.21
k8s-node2 192.168.37.22
一:设置主机名
#设置主机名 hostnamectl set-hostname k8s-master hostnamectl set-hostname k8s-node1 hostnamectl set-hostname k8s-node2 #将如下内容写入hosts中,是的三台机器可以互相解析 cat > /etc/hosts <<EOF 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.37.20 k8s-master 192.168.37.21 k8s-node1 192.168.37.22 k8s-node2 EOF
二.安装依赖包
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git
三.设置防火墙为iptables并设置空规则
1.selinux关闭 配置文件 /etc/sysconfig/selinux SELINUX=disabled setenfore 0 setenforce 1 2.iptables 关闭 iptables -F 3.firewalld 暂时关闭 systemctl stop firewalld 永久关闭 systemctl disable firewalld 重启防火墙 systemctl enable firewalld
四.调整内核参数,对于 K8S
cat > kubernetes.conf <<EOF net.bridge.bridge-nf-call-iptables=1 net.bridge.bridge-nf-call-ip6tables=1 net.ipv4.ip_forward=1 net.ipv4.tcp_tw_recycle=0 vm.swappiness=0 # 禁止使用 swap 空间,只有当系统 OOM 时才允许使用它 vm.overcommit_memory=1 # 不检查物理内存是否够用 vm.panic_on_oom=0 # 开启OOM fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=1048576 fs.file-max=52706963 fs.nr_open=52706963 net.ipv6.conf.all.disable_ipv6=1 net.netfilter.nf_conntrack_max=2310720 EOF #拷贝kubernetes.conf到对应目录并启用 cp kubernetes.conf /etc/sysctl.d/kubernetes.conf sysctl -p /etc/sysctl.d/kubernetes.conf
五.调整系统时区
timedatectl set-timezone Asia/Shanghai timedatectl set-local-rtc 0 #重启依赖系统时间的服务 systemctl restart rsyslog systemctl restart crond
5.1关闭系统不需要的服务
systemctl stop postfix && systemctl disable postfix
5.2设置rsyslogd和systemd journald
mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=10G
# 单日志文件最大 200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到
syslog ForwardToSyslog=no
EOF
#重启systemd-journald
systemctl restart systemd-journald
六.升级内核
6.1.加载netfilter模块
#加载netfilter模块
modprobe br_netfilter
CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs,导致运行的 Docker、Kubernetes 不稳定,例如: rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm 需要进行内核升级的操作,【CentOS8以上版本不需要进行此操作】
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置,如果没有,再安装一次!
yum --enablerepo=elrepo-kernel install -y kernel-lt
# 设置开机从新内核启动,需要对应不同版本内核
grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
七.kube-proxy开启ipvs的前置条件
主要为了解决集群pod之间调度的方式,通过lvs的方式进行集群调度
#加载模块相关的依赖
#高版本内核需要将nf_conntrack_ipv4替换为nf_conntrack,否则会报错。高版本内核已经把nf_conntrack_ipv4替换为nf_conntrack了
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
#赋予权限并执行文件,然后检查模块是否被引导成功
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
#检查后信息如下:
[root@k8s-master ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
ip_vs_sh 16384 0
ip_vs_wrr 16384 0
ip_vs_rr 16384 0
ip_vs 155648 6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack_ipv4 147456 1 ip_vs
nf_defrag_ipv6 24576 2 nf_conntrack,ip_vs
nf_defrag_ipv4 16384 1 nf_conntrack
libcrc32c 16384 3 nf_conntrack,xfs,ip_vs
八.docker安装
8..1卸载历史版本。
这一步是可选的,如果之前安装过旧版本的Docker,可以
使用如下命令进行卸载:
yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine \
docker-ce
8.2设置源仓库
我这里用的阿里地址
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
8.3查看支持的docker版
注意docker与k8s的兼容性
yum list docker-ce --showduplicates |sort -r
yum -y install docker-ce-19*
systemctl enable docker && systemctl start docker
docker --version

8.4镜像加速器
#vim /etc/docker/daemon.json
{
"registry-mirrors": ["http://f1361db2.m.daocloud.io"],
"exec-opts":["native.cgroupdriver=systemd"]
}
8.5重启docker
systemctl restart docker
systemctl daemon-reload
systemctl restart docker
九.安装kubeadm、kubelet和kubectl
9.1添加阿里云的YUM软件源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
9.2安装kubeadm、kubelet和kubectl
yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
- 为了实现Docker使用的cgroup drvier和kubelet使用的cgroup drver一致,建议修改"/etc/sysconfig/kubelet"文件的内容:
vim /etc/sysconfig/kubelet
# 修改
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
- 设置为开机自启动即可,由于没有生成配置文件,集群初始化后自动启动:
systemctl enable kubelet
9.3部署k8s的Master节点
- 部署k8s的Master节点(192.168.217.100):慢一点,耐心等待下
# 由于默认拉取镜像地址k8s.gcr.io国内无法访问,这里需要指定阿里云镜像仓库地址
kubeadm init \
--apiserver-advertise-address=192.168.37.20 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.18.0 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16
成功后如下输出
- 根据提示信息,在Master节点上使用kubectl工具:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
9.4添加k8s的Node节点
- 在192.168.37.21和192.168.37.22上添加如下的命令:耐心等待,可能慢一点
- 这个命令在master节点部署后最后两行有提示
# 向k8s集群中添加Node节点
kubeadm join 192.168.37.20:6443 --token 3810m3.7kmmkrrcdytu8fga \
--discovery-token-ca-cert-hash sha256:979a660928b97f175128a85e51bff01430de11060afd0fe15f74b395bbdd9f5c
- 默认的token有效期为24小时,当过期之后,该token就不能用了,这时可以使用如下的命令创建token:
kubeadm token create --print-join-command
# 生成一个永不过期的token
kubeadm token create --ttl 0
9.5部署CNI网络插件
- 根据提示,在Master节点使用kubectl工具查看节点状态:
kubectl get nodes
- Master节点部署CNI网络插件(可能会失败,如果失败,请下载到本地,然后安装):
- 我就是这样下载的,本地下载执行
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
- 看部署CNI网络插件进度:
kubectl get pods -n kube-system
- 再次在Master节点使用kubectl工具查看节点状态:
kubectl get nodes
哈哈哈,终于成功了,记录下。
- 查看集群健康状态:
kubectl get cs
kubectl cluster-info
哈哈哈,再来看下这个状态。完美结束
附件
步骤七:本文k8s 部分参考:从零搭建k8s集群 - 许大仙 - 博客园
步骤一到六:本文准备工作参考:Kubernetes学习【1-3】 | Banyuh
步骤八:本文docker 部分亲测无问题。故障多少参考的是kimi,特别注意yum源和swap ,防火墙必须关闭,docker 必须启动。
- 永久关闭swap分区:
# 永久
sed -ri 's/.*swap.*/#&/' /etc/fstab
# 重启
reboot
- 临时关闭swap分区:
swapoff -a