一、环境准备

1、下载centos7镜像

阿里巴巴开源镜像站-OPSX镜像站-阿里云开发者社区

下载地址: centos安装包下载_开源镜像站-阿里云

选择对应的版本即可，我下载的：CentOS-7-x86_64-DVD-2207-02.iso

2、使用VirtualBox安装centos

选择新建，然后选择对应的iso镜像一直 下一步即可。内存推荐4G,磁盘40G,CPU:2

设置网络为桥接模式

 等待系统安装，然后配置网络 cd /etc/sysconfig/network-scripts

编辑网卡配置文件

重启网络服务 重启命令：systemctl restart network或者service network restart

检查网络是否联通：ping www.baidu.com或者curl -i www.baidu.com

按照上面的步骤，部署三台机器，master、node1、node2 

二、kubernetes集群准备

1、master节点

        k8s集群的管理节点，负责管理集群，提供集群的资源数据访问入口。拥有Etcd存储服务（可选），运行Api Server进程，Controller Manager服务进程及Scheduler服务进程，关联工作节点Node。

API Server
        提供了资源对象的唯一操作入口，其他所有组件都必须通过它提供的API来操作资源数据，只有API Server与存储通信，其他模块通过API Server访问集群状态。

Scheduler
        新建立的Pod进行节点(node)选择(即分配机器)，负责集群的资源调度。组件抽离，可以方便替换成其他调度器。

Controller
        负责执行各种控制器，目前已经提供了很多控制器来保证Kubernetes的正常运行。

Cluster state store
        Kubernetes默认使用etcd作为集群整体存储，当然也可以使用其它的技术。etcd是一个简单的、分布式的、一致的key-value存储，主要被用来共享配置和服务发现。etcd提供了一个CRUD操作的REST API，以及提供了作为注册的接口，以监控指定的Node。集群的所有状态都存储在etcd实例中，并具有监控的能力，因此当etcd中的信息发生变化时，就能够快速的通知集群中相关的组件。

2、Node节点

        Node节点是工作节点监听API Server发送过来的新的工作分配；他们会执行分配给他们的工作，然后将结果报告给Kubernetes主节点。

Kubelet
        负责管控容器，Kubelet会从Kubernetes API Server接收Pod的创建请求，启动和停止容器，监控容器运行状态并汇报给Kubernetes API Server。

Container Runtime
        每一个Node都会运行一个Container Runtime，其负责下载镜像和运行容器。Kubernetes本身并不提供容器运行时环境，但提供了接口，可以插入所选择的容器运行时环境。kubelet使用Unix socket之上的gRPC框架与容器运行时进行通信，kubelet作为客户端，而CRI shim作为服务器。

kube proxy
        基于一种公共访问策略（例如：负载均衡），服务提供了一种访问一群pod的途径。此方式通过创建一个虚拟的IP来实现，客户端能够访问此IP，并能够将服务透明的代理至Pod。每一个Node都会运行一个kube-proxy，kube proxy通过iptables规则引导访问至服务IP，并将重定向至正确的后端应用，通过这种方式kube-proxy提供了一个高可用的负载均衡解决方案。服务发现主要通过DNS实现。
  在Kubernetes中，kube proxy负责为Pod创建代理服务；引到访问至服务；并实现服务到Pod的路由和转发，以及通过应用的负载均衡。

Pod
        运行于Node节点上，若干相关容器的组合。Pod内包含的容器运行在同一宿主机上，使用相同的网络命名空间、IP地址,同一个Pod中，端口不能重复，否则报错，能够通过localhost进行通信。Pod是Kurbernetes进行创建、调度和管理的最小单位，它提供了比容器更高层次的抽象，使得部署和管理更加灵活。一个Pod可以包含一个容器或者多个相关容器。
  Pod其实有两种类型：普通Pod和静态Pod，后者比较特殊，它并不存在Kubernetes的etcd存储中，而是存放在某个具体的Node上的一个具体文件中，并且只在此Node上启动。普通Pod一旦被创建，就会被放入etcd存储中，随后会被Kubernetes Master调度到摸个具体的Node上进行绑定，随后该Pod被对应的Node上的kubelet进程实例化成一组相关的Docker容器并启动起来。在默认情况下，当Pod里的某个容器停止时，Kubernetes会自动检测到这个问起并且重启这个Pod（重启Pod里的所有容器），如果Pod所在的Node宕机，则会将这个Node上的所有Pod重新调度到其他节点上。

3、kubectl

        集群管理命令行工具集，通过客户端的kubectl命令集操作，API Server响应对应的命令结果，从而达到对kubernetes集群的管理。

4、kubeadm

        Kubeadm是一个工具，它提供了kubeadm init以及kubeadm join这两个命令作为快速创建kubernetes 集群的最佳实践。

  kubeadm通过执行必要的操作来启动和运行一个最小可用的集群。kubeadm只关心启动集群，而不关心其他工作，如部署前的节点准备工作、安装各种Kubernetes Dashboard、监控解决方案以及特定云提供商的插件，这些都不属于kubeadm关注范围。

5、kubeadm功能

kubeadm init 启动/初始化一个 Kubernetes 主节点；
kubeadm join 启动一个 Kubernetes 工作节点并且将其加入到集群；
kubeadm upgrade 更新一个 Kubernetes 集群到新版本；
kubeadm config 如果使用 v1.7.x 或者更低版本的 kubeadm 初始化集群，您需要对集群做一些配置以便使用 kubeadm upgrade 命令；
kubeadm token 管理 kubeadm join 使用的令牌；
kubeadm reset 还原 kubeadm init 或者 kubeadm join 对主机所做的任何更改；
kubeadm version 打印 kubeadm 版本；
kubeadm alpha 预览一组可用的新功能以便从社区搜集反馈。

6、准备工作（所有节点都要做同样的操作）

 1）关闭防火墙

systemctl stop firewalld && systemctl disable firewalld

2）关闭selinux

临时关闭selinux（沙河）如需永久关闭selinux需要修改为sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

#临时关闭selinux
setenforce 0

#永久关闭selinux
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

3）关闭交换分区

#临时关闭所有的交换分区
swapoff -a

#永久关闭所有的交换分区
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab

4）修改三台集群的主机名：（每个主机限一条命令）

[root@k8s-master1 ~]# hostnamectl set-hostname k8s-master
[root@k8s-node1 ~]# hostnamectl set-hostname k8s-node1
[root@k8s-node2 ~]# hostnamectl set-hostname k8s-node2

5）所有节点都添加集群ip与主机名到hosts中：

cat >> /etc/hosts << EOF 
172.16.11.221 k8s-master
172.16.11.222 k8s-node1
172.16.11.223 k8s-node2
EOF

注意：ip一定要改成自己的ip，不要直接复制粘贴

6）三台机器进行时间同步

#安裝同步时间命令
yum install ntpdate -y

#同步时间
ntpdate cn.pool.ntp.org

#设置定时任务每五分钟同步一次时间
echo "*/5 * * * * root /usr/sbin/ntpdate cn.pool.ntp.org &>/dev/null" >> /etc/crontab

特殊说明:

如果是克隆虚拟机建议执行rm -rf /etc/udev/* 保证网卡UUID不同

7）三台都安装需要的一些命令：

a.添加centos源并将下载地址更换为阿里云地址

#添加centos源
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

#将下载地址更换为阿里云地址
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

b.添加epel扩展源

curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

c.清除缓存

yum clean all

d.重新加载源缓存

yum makecache

e.升级yum并安装一些会用到的命令

yum -y update && yum -y install lrzsz wget conntrack ipvsadm ipset jq psmisc sysstat curl iptables net-tools libseccomp gcc gcc-c++ yum-utils device-mapper-persistent-data lvm2 bash-completion

等待安装完成即可。

7、部署docker（所有节点都需要部署）

#安装docker所需的依赖包
[root@docker ~]# yum install -y yum-utils device-mapper-persistent-data lvm2	

#添加阿里云的docker镜像地址
[root@docker ~]# sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
&&#或者（二选一即可）
[root@docker ~]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

#更新缓存，只处理新添加的yum源缓存
[root@docker ~]# yum makecache fast

#部署docker，默认安装最新版本
[root@docker ~]# yum install -y docker-ce-20.10.14 docker-ce-cli-20.10.14 containerd.io

#查看安装docker版本
[root@docker ~]# docker --version(或者使用docker version)
Docker version 20.10.14, build a224086

#加载docker配置
[root@docker ~]# systemctl daemon-reload
#启动docker服务
[root@docker ~]# systemctl start docker
#设置docker服务开机自启
[root@docker ~]# systemctl enable docker

#查看docker可以安装的版本，也可以自己安装指定版本，yum -y install docker-ce-19.03.12.el7
[root@docker ~]# yum list docker-ce --showduplicates | sort -r

给docker添加镜像加速器及cgroup并重启docker服务

[root@docker ~]# mkdir -p /etc/docker
[root@docker ~]# tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://mrlmpasq.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
#由于新版kubelet建议使用systemd，所以可以把docker的CgroupDriver改成systemd

#重新加载docker配置
[root@docker ~]# systemctl daemon-reload
#重新启动docker服务
[root@docker ~]# systemctl restart docker

8、部署 kubernetes（所有节点都要部署）

1）配置相关的内核参数，将桥接的IPv4 流量传递到iptables 的链

[root@docker ~]# cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

#让其生效
sysctl --system

2）添加 k8s yum源

[root@docker ~]# cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#重新加载缓存
yum makecache fast

3）安装 kubeadm kubelet kubectl

注：安装这几个版本不要用最新的，容易出问题

yum install -y kubeadm-1.20.0-0 kubelet-1.20.0-0 kubectl-1.20.0-0

#查看kubeadm版本
kubeadm version

4）启动kubelet并设置开机自启

systemctl enable kubelet && systemctl start kubelet

5）kubernetes强化tab（安装之后会tab可以补全命令及参数）

echo 'source  <(kubectl  completion  bash)' >> ~/.bashrc

1、退出连接，重新连接；
2、或者bash更新环境就可以使用了。

6）查看镜像 

kubeadm config images list

三、master节点

1、初始化master节点

        如果执行kubeadm init初始化k8s集群失败了，在下一次执行kubeadm init初始化语句之前，可以先执行kubeadm reset命令。这个命令的作用是重置节点，大家可以把这个命令理解为：上一次kubeadm init初始化集群操作失败了，该命令清理了之前的失败环境。

        此命令只在master节点执行，192.168.124.41替换为自己的master节点IP，192.168.124.41/24替换为自己的pod网段。

kubeadm init --kubernetes-version=1.20.15 --apiserver-advertise-address=192.168.124.41 --pod-network-cidr=192.168.124.41/24

如遇初始化报错可根据systemctl status kubelet 或者 journalctl -xeu kubelet 查看报错信息来解决。

• 根据成功提示先执行下面内容
  这些是成功图中提示的那些，要给他创建一下

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

#查看nodes节点
kubectl get nodes

#这个时候master是处于NotReady状态的。

四、node节点的加入

1、完成之后将刚刚初始化master节点成功后的kubeadm join信息复制到其他node节点进行加入。在node1和node2执行下面的命令，加入到集群。

kubeadm join 192.168.124.41:6443 --token m78dvx.83p9lw44ecii40iz     --discovery-token-ca-cert-hash sha256:0248cbd2b963cf50aedab435115ab4cb649a78031be90cbbad208b527ee8b68c  --certificate-key 16891256f89462aff74c8453092eca40b51d53148b39d8ca86dbdd606e4909a7

问题：token和密钥如何生成？

2、在 kubeadm 初始话集群成功后会返回 join 命令, 里面有 token，discovery-token-ca-cert-hash等参数, 但ta们是有过期时间的. token 的过期时间是24小时, certificate-key 过期时间是2小时。

$ kubeadm token list
TOKEN                     TTL         EXPIRES                     USAGES                   DESCRIPTION   EXTRA GROUPS
1ugnpn.7qwbt58paanfov8a   <invalid>   2019-07-19T11:17:01+08:00   authentication,signing   <none>        system:bootstrappers:kubeadm:default-node-token

如下生成worker节点的join命令:

$ kubeadm token create --print-join-command
kubeadm join k8s-master-7-13:8443 --token fw6ywo.1sfp61ddwlg1we27     --discovery-token-ca-cert-hash sha256:52cab6e89be9881e2e423149ecb00e610619ba0fd85f2eccc3137adffa77bb04

kubeadm token create --ttl 0 --print-join-command   #可以创建一个永不过期的token.

要添加master节点, 还要执行如下命令, 得到certificate-key

kubeadm init phase upload-certs --upload-certs  --v=999
[upload-certs] Storing the certificates in Secret "kubeadm-certs" in the "kube-system" Namespace
[upload-certs] Using certificate key:
70f399e275cabef0bb2794ea76303da0220574f59e994e755378a359edb5a233

这样我们上面的加入命令的  token和 secret就生成好了，替换即可。

node节点显示这样就是加载成功；加载成功之后返回master节点查看集群

[root@k8s-master ~]# kubectl get nodes

现在的集群状态都是NotReady表示不可达；这是因为还没有安装网络插件，下面我们来安装一下网络插件（caclico）

五、网络安装

1、给master节点安装Pod网络插件（calico）

选择网络插件：https://kubernetes.io/docs/concepts/cluster-administration/addons/
快速开始配置：https://projectcalico.docs.tigera.io/archive/v3.20/getting-started/clis/calicoctl/install
calico网络插件：https://docs.projectcalico.org/v3.9/getting-started/kubernetes/

kubectl apply -f https://docs.projectcalico.org/v3.9/manifests/calico.yaml

• 确认一下calico是否安装成功

kubectl get pods --all-namespaces -w
kubectl get pods -n kube-system -w

查看节点连接状态 安装完成之后，再次返回master节点查看集群，在主节点执行命令看集群是否成功

六、测试

1、写一个nginx的yaml文件

cat > pod_nginx_rs.yaml <<EOF
apiVersion: apps/v1
kind: ReplicaSet
metadata:
  name: nginx
  labels:
    tier: frontend
spec:
  replicas: 3
  selector:
    matchLabels:
      tier: frontend
  template:
    metadata:
      name: nginx
      labels:
        tier: frontend
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80
EOF

• 根据pod_nginx_rs.yml文件创建pod

kubectl apply -f pod_nginx_rs.yaml

查看pod

#查看所有的pod
kubectl get pods
#查看所有的pod详细信息
kubectl get pods -o wide
#查看所有的pod超级详细信息
kubectl describe pod nginx

• 通过rs将pod扩容为5个nginx服务

#将nginx服务由3个扩容为5个
kubectl scale rs nginx --replicas=5
#查看所有的pod
kubectl get pods -o wide

• 光有ReplicaSet是不行的，ReplicaSet不会提供服务的，需要一个Service。将它应用到集群里面去。

cat > pod_nginx_rs_svc.yaml <<EOF
apiVersion: v1
kind: Service              # 类型是service
metadata:                  
  name: nginx              # 这个service的全局唯一名称
spec:
  type: NodePort
  ports:
    - port: 80             # service提供服务的端口号
      nodePort: 30000      # 想要对外的端口
  selector:
    tier: frontend         # 把拥有{tier:labels}或者{app:labels}这个标签的pod应用到这个服务里面
EOF

如果不加nodePort也就是不指定nodeport，默认会随机输出端口，可以通过kubectl get svc查看；

如果需要修改端口范围，如果是按照我的方式部署的，可在：vim /etc/kubernetes/manifests/kube-apiserver.yaml 的第17行进行修改，默认范围是30000-32767。

根据 pod_nginx_rs_svc.yml 文件创建services，需对外访问

kubectl apply -f pod_nginx_rs_svc.yaml

• 查看services

kubectl get svc
kubectl get services

kubectl get svc 中的 type 。

• Cluster IP 为服务器内部使用
• Node Port 为服务器内部外部都可以使用，可以指定端口也可以随机端口。

• 启动services之后，查看端口

ip+30000  master的ip、node1的 ip、node2的ip都可以 

• 删除serviecs和pod

#删除serviecs
kubectl delete -f pod_nginx_rs_svc.yaml

#删除pod
kubectl delete -f pod_nginx_rs.yaml

附录：参考文献

【云原生-K8s-1】kubeadm搭建k8s集群(一主两从)完整教程及kubernetes简介_kubeadm 主主-CSDN博客

kubeadm join 集群中加入新的master与worker节点_kubeadm join master-CSDN博客

centos7-设置桥接网络-CSDN博客