文章目录
- 1 Kubernetes简介（k8s）
- 2 安装实战
- 2.1 主机安装并初始化
- 2.2 安装docker
- 2.3 安装Kubernetes组件
- 2.4 准备集群镜像
- 2.5 集群初始化
- 2.6 安装flannel网络插件
- 3 部署nginx 测试
- 3.1 创建一个nginx服务
- 3.2 暴漏端口
- 3.3 查看服务
- 3.4 测试服务
1 Kubernetes简介（k8s）
传统部署：互联网早期会直接将应用程序部署在物理机上或者虚拟操作系统中，如部署到tomcat/weblogin/websphere等，这种部署方式比较简单，但是很难合理地分配计算资源，而且程序之间容易产生影响；
容器化部署：运行应用程序所需要的资源都被容器包装，并和底层基础架构解耦, 带来很多便利，但是也会出现一些问题，比如说：
- 一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器
- 当并发访问量变大的时候，怎么样做到横向扩展容器数量
这些容器管理的问题统称为容器编排问题，为了解决这些容器编排问题，就产生了一些容器编排的软件,目前k8s的时长占有率是最高的，本文参考尚硅谷教程记录了k8s一主一从简单集群环境的搭建过程，及实践过程中遇到的问题解决办法。
这里环境搭建是通过kubeadm 部署方式，kubeadm 是官方社区推出的一个用于快速部署kubernetes 集群的工具，这个工具能通过两条指令完成一个kubernetes 集群的部署：
- 创建一个Master 节点kubeadm init
- 将Node 节点加入到当前集群中$ kubeadm join <Master 节点的IP 和端口>
2 安装实战
用到的主机是2台Linux系统，均内置Centos 7操作系统，准备好系统后我们在来从零开始安装docker、k8s三大组件-kubeadm/kubelet/kubectl程序。
2.1 主机安装并初始化
大家都装过CentOS虚拟机吧，默认过程不详述了，我装的是CentOS 7,安装的时候打开了网卡，因为安装过程中需要访问外网拉取镜像，硬盘设置为30GB 或更多。
这里有个坑，后面集群初始化的时候报错：
the number of available CPUs 1 is less than the required 2 也就是说硬件配置必须要有2个或更多CPU,建议还是用实体机测试吧
记录系统初始化步骤之前看一个小知识点，就是使用MobaXterm工具操作Linux系统的时候，工具栏有个MultiExec工具可以同时打开多个窗口同时执行某个命令或者粘贴命令行执行，这样我们就不用反复切换三台机器执行同样的代码了，部署集群环境又简单了一步，多窗口样子如下图：
-
设置主机名解析
为了方便后面集群节点间的直接调用，在这配置一下主机名解析，企业中通常会有内部DNS服务器做解析。两台机器同时执行以下命令：
cat <<EOF>> /etc/hosts
192.168.177.132 master
192.168.177.133 node1
EOF
- 时间同步（两台机器同时执行）
- kubernetes要求集群中的节点时间必须精确一致，这里有两个方案，一个是直接使用chronyd服务从网络同步时间
# 启动chronyd服务
systemctl start chronyd
# 设置chronyd服务开机自启
systemctl enable chronyd
# chronyd服务启动稍等几秒钟，就可以用date命令验证时间了
date
- 另一种时间同步方式
#设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai
#将当前的 UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
#重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond
- 禁用iptables和firewalld服务（两台机器同时执行）
kubernetes和docker在运行中会产生大量的iptables规则，为了不让系统规则跟它们混淆，直接关闭系统的规则
- 禁用selinux（两台机器同时执行）
selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种奇葩问题
- 禁用swap分区（两台机器同时执行）
kubernetes要求每个节点都要禁用swap设备
#编辑分区配置文件/etc/fstab，注释掉swap分区一行
注意修改完毕之后需要重启linux服务
vim /etc/fstab
注释掉 /dev/mapper/centos-swap swap
#/dev/mapper/centos-swap swap
- 修改linux的内核参数（两台机器同时执行）
# 修改linux的内核采纳数，添加网桥过滤和地址转发功能
# 编辑/etc/sysctl.d/kubernetes.conf文件，添加如下配置：
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
# 重新加载配置
[root@master ~]# sysctl -p
# 加载网桥过滤模块
[root@master ~]# modprobe br_netfilter
# 查看网桥过滤模块是否加载成功
[root@master ~]# lsmod | grep br_netfilter
- 配置ipvs功能（两台机器同时执行）
# 1.安装ipset和ipvsadm
[root@master ~]# yum install ipset ipvsadmin -y
# 2.添加需要加载的模块写入脚本文件
[root@master ~]# cat <<EOF> /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
# 3.为脚本添加执行权限
[root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules
# 4.执行脚本文件
[root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules
# 5.查看对应的模块是否加载成功
[root@master ~]# lsmod | grep -e -ip_vs -e nf_conntrack_ipv4
nf_conntrack_ipv4 15053 10
nf_defrag_ipv4 12729 1 nf_conntrack_ipv4
nf_conntrack 133095 10 ip_vs,nf_nat,nf_nat_ipv4,nf_nat_ipv6,xt_conntrack,nf_nat_masquerade_ipv4,nf_nat_masquerade_ipv6,nf_conntrack_netlink,nf_conntrack_ipv4,nf_conntrack_ipv6
2.2 安装docker
（两台机器同时执行）
# 1、切换镜像源,wget命令找不到的话就 yum -y install wget
[root@master ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d.docker-ce.repo
# 2、查看当前镜像源中支持的docker版本,我这里报错了，需要先cd到/etc/yum.repos.d/文件夹
[root@master ~]# yum list docker-ce --showduplicates
# 3、安装特定版本的docker-ce
# 必须制定--setopt=obsoletes=0，否则yum会自动安装更高版本
[root@master ~]# yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y
# 4、添加一个配置文件
#Docker 在默认情况下使用Vgroup Driver为cgroupfs，而Kubernetes推荐使用systemd来替代cgroupfs
[root@master ~]# mkdir /etc/docker
[root@master ~]# cat <<EOF> /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]
}
EOF
# 5、启动dokcer
[root@master ~]# systemctl restart docker
[root@master ~]# systemctl enable docker
上面我执行第2部分查看当前镜像源中支持的docker版本时报错如下，没匹配到软件包，需要cd到/etc/yum.repos.d/文件夹下面就ok了
2.3 安装Kubernetes组件
（两台机器同时执行）
# 1、由于kubernetes的镜像在国外，速度比较慢，这里切换成国内的镜像源
# 2、编辑/etc/yum.repos.d/kubernetes.repo,添加下面的配置
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
[root@k8s-node1 ~]# yum makecache
# 3、安装kubeadm、kubelet和kubectl
[root@master ~]# yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y
# 4、配置kubelet的cgroup
#编辑/etc/sysconfig/kubelet, 添加下面的配置
cat <<EOF > /etc/sysconfig/kubelet
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
EOF
# 5、设置kubelet开机自启
[root@master ~]# systemctl enable --now kubelet
2.4 准备集群镜像
（两台机器同时执行）
# 在安装kubernetes集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过下面命令查看
[root@master ~]# kubeadm config images list
# 下载镜像
# 此镜像kubernetes的仓库中，由于网络原因，无法连接，下面提供了一种替换方案，直接执行
images=(
kube-apiserver:v1.17.4
kube-controller-manager:v1.17.4
kube-scheduler:v1.17.4
kube-proxy:v1.17.4
pause:3.1
etcd:3.4.3-0
coredns:1.6.5
)
for imageName in ${images[@]};do
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done
2.5 集群初始化
下面的操作只需要在master节点上执行即可
# 创建集群,注意192.168.177.132是master节点的ip
[root@master ~]# kubeadm init
--apiserver-advertise-address=192.168.177.132
--image-repository registry.aliyuncs.com/google_containers
--kubernetes-version=v1.17.4
--service-cidr=10.96.0.0/12
--pod-network-cidr=10.244.0.0/16
# 创建必要文件
[root@master ~]# mkdir -p $HOME/.kube
[root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
下面的操作只需要在node节点上执行即可
#kubeadm join命令在master执行完上面的初始化后进行提示,注意保存，后面会使用该命令让node节点加入k8s集群
kubeadm join 192.168.177.132:6443 --token awk15p.t6bamck54w69u4s8 \
--discovery-token-ca-cert-hash sha256:a94fa09562466d32d29523ab6cff122186f1127599fa4dcd5fa0152694f17117
此时，通过kubectl get nodes命令查看主从节点都是NotReady状态
2.6 安装flannel网络插件
只在master节点操作即可,需要下载kube-flannel.yml配置文件，外网不好下载，可以直接生成/root/kube-flannel.yml文件，内容如下：
https://github.com/flannel-io/flannel/tree/master/Documentation/kube-flannel.yml
[root@k8s-master1 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12
[root@k8s-master1 ~]# docker tag registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannelv014 quay.io/coreos/flannel:v0.14.0
[root@k8s-master1 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12
[root@k8s-master1 ~]# docker tag registry.cn-hangzhou.aliyuncs.com/eagleslab/service:flannel-cni-pluginv12 rancher/flannel-cni-plugin:v1.2
[root@k8s-master1 ~]# kubectl apply -f kube-flannel.yml
Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds created
[root@k8s-master1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 50m v1.22.4
node1 Ready <none> 44m v1.22.4
此时，通过kubectl get nodes命令查看主从节点都是Ready状态
3 部署nginx 测试
3.1 创建一个nginx服务
[root@k8s-master1 ~]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created
3.2 暴漏端口
[root@k8s-master1 ~]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
3.3 查看服务
[root@k8s-master1 ~]# kubectl get pod,svc
NAME READY STATUS RESTARTS AGE
pod/nginx-6799fc88d8-ldpw2 1/1 Running 0 31s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 172.16.0.1 <none> 443/TCP 56m
service/nginx NodePort 172.16.172.68 <none> 80:32550/TCP 14s
3.4 测试服务
