k8s下的网络通信与调度

一、k8s网络通信

1、k8s通信整体架构

2、flannel网络插件

（1）flannel跨主机通信原理

（2）flannel支持的后端模式

3、calico网络插件

（1）简介

（2）网络架构

（3）部署calico

二、k8s调度（Scheduling）

1、调度在kubernetes中的作用

2、调度原理

3、调度器种类

4、常用调度方法

（1）nodename

（2）Nodeselector

5、affinity（亲和性）

（1）亲和与反亲和

（2）nodeAffinity节点亲和

（3）podaffinity（pod的亲和）

（4）Podantiaffinity（pod反亲和）

6、Taints（污点模式，禁止调度）

示例

tolerations（污点容忍）

情形一设置容忍所有污点

情节二容忍effect为Noschedule的污点

情节三容忍指定kv的NoSchedule污点

一、k8s网络通信

1、k8s通信整体架构

k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel，calico等
CNI插件存放位置：cat /etc/cni/net.d/10-flannel.conflist
插件使用的解决方案如下
- 虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信。
- 多路复用：MacVLAN，多个容器共用一个物理网卡进行通信。
- 硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。
容器间通信：
- 同一个pod内的多个容器间的通信，通过lo即可实现pod之间的通信
- 同一节点的pod之间通过cni网桥转发数据包。
- 不同节点的pod之间的通信需要网络插件支持
pod和service通信: 通过iptables或ipvs实现通信，ipvs取代不了iptables，因为ipvs只能做负载均衡，而做不了nat转换
pod和外网通信：iptables的MASQUERADE
Service与集群外部客户端的通信；（ingress、nodeport、loadbalancer）

2、flannel网络插件

插件	功能
VXLAN	即Virtual Extensible LAN（虚拟可扩展局域网），是Linux本身支持的一网种网络虚拟化技术。VXLAN可以完全在内核态实现封装和解封装工作，从而通过“隧道”机制，构建出覆盖网络（Overlay Network）
VTEP	VXLAN Tunnel End Point（虚拟隧道端点），在Flannel中 VNI的默认值是1，这也是为什么宿主机的VTEP设备都叫flannel.1的原因
Cni0	网桥设备，每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）
Flannel.1	TUN设备(虚拟网卡)，用来进行 vxlan 报文的处理（封包和解包）。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端
Flanneld	flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库，为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息

（1）flannel跨主机通信原理

当容器发送IP包，通过veth pair 发往cni网桥，再路由到本机的flannel.1设备进行处理。
VTEP设备之间通过二层数据帧进行通信，源VTEP设备收到原始IP包后，在上面加上一个目的MAC地址，封装成一个内部数据帧，发送给目的VTEP设备。
内部数据桢，并不能在宿主机的二层网络传输，Linux内核还需要把它进一步封装成为宿主机的一个普通的数据帧，承载着内部数据帧通过宿主机的eth0进行传输。
Linux会在内部数据帧前面，加上一个VXLAN头，VXLAN头里有一个重要的标志叫VNI，它是VTEP识别某个数据桢是不是应该归自己处理的重要标识。
flannel.1设备只知道另一端flannel.1设备的MAC地址，却不知道对应的宿主机地址是什么。在linux内核里面，网络设备进行转发的依据，来自FDB的转发数据库，这个flannel.1网桥对应的FDB信息，是由flanneld进程维护的。
linux内核在IP包前面再加上二层数据帧头，把目标节点的MAC地址填进去，MAC地址从宿主机的ARP表获取。
此时flannel.1设备就可以把这个数据帧从eth0发出去，再经过宿主机网络来到目标节点的eth0设备。目标主机内核网络栈会发现这个数据帧有VXLAN Header，并且VNI为1，Linux内核会对它进行拆包，拿到内部数据帧，根据VNI的值，交给本机flannel.1设备处理,flannel.1拆包，根据路由表发往cni网桥，最后到达目标容器。

#默认网络通信路由
[root@k8s-master ~]# ip route 
default via 172.25.254.2 dev eth0 proto static metric 100 
172.25.254.0/24 dev eth0 proto kernel scope link src 172.25.254.200 metric 100 

#桥接转发数据库
[root@k8s-master ~]# bridge fdb
01:00:5e:00:00:01 dev eth0 self permanent
01:00:5e:00:00:fb dev eth0 self permanent
33:33:00:00:00:01 dev eth0 self permanent
33:33:00:00:00:fb dev eth0 self permanent
33:33:ff:8b:58:76 dev eth0 self permanent
33:33:00:00:00:01 dev docker0 self permanent
01:00:5e:00:00:6a dev docker0 self permanent
33:33:00:00:00:6a dev docker0 self permanent
01:00:5e:00:00:01 dev docker0 self permanent
02:42:9c:dc:8c:61 dev docker0 vlan 1 master docker0 permanent
02:42:9c:dc:8c:61 dev docker0 master docker0 permanent
06:f2:9c:9f:ae:ff dev flannel.1 dst 172.25.254.20 self permanent
9e:f7:ac:55:c9:4d dev flannel.1 dst 172.25.254.10 self permanent
01:00:5e:00:00:6a dev cni0 self permanent
01:00:5e:00:00:01 dev cni0 self permanent
33:33:00:00:00:6a dev cni0 self permanent
33:33:00:00:00:01 dev cni0 self permanent
4a:2e:ca:b5:48:a8 dev cni0 vlan 1 master cni0 permanent
4a:2e:ca:b5:48:a8 dev cni0 master cni0 permanent
33:33:00:00:00:01 dev vethad69e73d self permanent
01:00:5e:00:00:01 dev vethad69e73d self permanent
33:33:ff:4f:a9:02 dev vethad69e73d self permanent
33:33:00:00:00:fb dev vethad69e73d self permanent
33:33:00:00:00:01 dev veth91ca1a5b self permanent
01:00:5e:00:00:01 dev veth91ca1a5b self permanent
33:33:ff:d7:f8:4e dev veth91ca1a5b self permanent
33:33:00:00:00:fb dev veth91ca1a5b self permanent
33:33:00:00:00:01 dev kube-ipvs0 self permanent

#arp列表
[root@k8s-master ~]# arp -n
Address                  HWtype  HWaddress           Flags Mask            Iface
172.25.254.10            ether   00:0c:29:40:7b:63   C                     eth0
172.25.254.1             ether   00:50:56:c0:00:08   C                     eth0
172.25.254.100           ether   00:0c:29:13:fd:c6   C                     eth0
172.25.254.20            ether   00:0c:29:16:26:1b   C                     eth0
172.25.254.2             ether   00:50:56:e7:b1:57   C                     eth0

（2）flannel支持的后端模式

网络模式	功能
vxlan	报文封装，默认模式
Directrouting	直接路由，跨网段使用vxlan，同网段使用host-gw模式
host-gw	主机网关，性能好，但只能在二层网络中，不支持跨网络如果有成千上万的Pod，容易产生广播风暴，不推荐
UDP	性能差，不推荐

更改flannel的默认模式

[root@k8s-master ~]# kubectl -n kube-flannel edit cm kube-flannel-cfg

#重启pod
[root@k8s-master ~]# kubectl -n kube-flannel delete pod --all

3、calico网络插件

官网：

Install Calico networking and network policy for on-premises deployments | Calico Documentation

（1）简介

纯三层的转发，中间没有任何的NAT和overlay，转发效率最好。
Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。

（2）网络架构

Felix：监听ECTD中心的存储获取事件，用户创建pod后，Felix负责将其网卡、IP、MAC都设置好，然后在内核的路由表里面写一条，注明这个IP应该到这张网卡。同样如果用户制定了隔离策略，Felix同样会将该策略创建到ACL中，以实现隔离。
BIRD：一个标准的路由程序，它会从内核里面获取哪一些IP的路由发生了变化，然后通过标准BGP的路由协议扩散到整个其他的宿主机上，让外界都知道这个IP在这里，路由的时候到这里

（3）部署calico

删除flannel插件

[root@k8s-master ~]# kubectl delete  -f kube-flannel.yml

删除所有节点上flannel配置文件,避免冲突

[root@k8s-master & node1-2 ~]# rm -rf /etc/cni/net.d/10-flannel.conflist

下载部署文件

[root@k8s-master calico]# curl https://raw.githubusercontent.com/projectcalico/calico/v3.28.1/manifests/calico-typha.yaml -o calico.yaml

下载镜像上传至仓库

[root@k8s-master ~]# mkdir calico
[root@k8s-master ~]# cd calico/
[root@k8s-master calico]# ls
calico-3.28.1.tar  calico.yaml
[root@k8s-master calico]# docker load -i calico-3.28.1.tar 
6b2e64a0b556: Loading layer   3.69MB/3.69MB
38ba74eb8103: Loading layer  205.4MB/205.4MB
5f70bf18a086: Loading layer  1.024kB/1.024kB
Loaded image: calico/cni:v3.28.1
3831744e3436: Loading layer  366.9MB/366.9MB
Loaded image: calico/node:v3.28.1
4f27db678727: Loading layer  75.59MB/75.59MB
Loaded image: calico/kube-controllers:v3.28.1
993f578a98d3: Loading layer  67.61MB/67.61MB
Loaded image: calico/typha:v3.28.1

[root@k8s-master calico]# docker tag calico/cni:v3.28.1 reg.zx.org/calico/cni:v3.28.1
[root@k8s-master calico]# docker tag calico/node:v3.28.1 reg.zx.org/calico/node:v3.28.1
[root@k8s-master calico]# docker tag calico/kube-controllers:v3.28.1 reg.zx.org/calico/kube-controllers:v3.28.1
[root@k8s-master calico]# docker tag calico/typha:v3.28.1 reg.zx.org/calico/typha:v3.28.1

[root@k8s-master calico]# docker push reg.zx.org/calico/cni:v3.28.1
[root@k8s-master calico]# docker push reg.zx.org/calico/node:v3.28.1
[root@k8s-master calico]# docker push reg.zx.org/calico/kube-controllers:v3.28.1
[root@k8s-master calico]# docker push reg.zx.org/calico/typha:v3.28.1

更改yml设置，修改镜像位置等信息

[root@k8s-master calico]# vim calico.yaml
[root@k8s-master calico]# kubectl apply -f calico.yaml
[root@k8s-master calico]# kubectl -n kube-system get pods

测试

[root@k8s-master calico]# kubectl run web --image reg.zx.org/library/myapp:v1
pod/web created
[root@k8s-master calico]# kubectl get pods -o wide
NAME      READY   STATUS    RESTARTS      AGE   IP               NODE               NOMINATED NODE   READINESS GATES
testpod   1/1     Running   1 (72m ago)   77m   10.244.2.117     k8s-node2.zx.org   <none>           <none>
web       1/1     Running   0             9s    10.244.101.129   k8s-node1.zx.org   <none>           <none>

[root@k8s-master calico]# curl 10.244.101.129
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>