Calico IP In IP模拟组网
网络架构
模拟组网
- 先在k8s-master-1节点执行如下命令：
# 创建veth-pair设备对
ip link add veth1 type veth peer name eth0
# 创建ns1网络命名空间
ip netns add ns1
# 将eth0网卡插入ns1网络命名空间
ip link set eth0 netns ns1
# 为ns1网络命名空间中的eth0网卡配置IP地址
ip netns exec ns1 ip addr add 10.70.1.1/24 dev eth0
# 启动ns1网络命名空间中的eth0网卡
ip netns exec ns1 ip link set eth0 up
# 为ns1网络命名空间的eth0网卡添加路由，168.254.1.1这个IP实际上并没有使用，它仅作为eth0的网关使用,然后当数据发送到veth1后，这里会进行ARP欺骗，将veth1的MAC地址返回给eth0
ip netns exec ns1 ip route add 169.254.1.1 dev eth0 scope link
ip netns exec ns1 ip route add default via 169.254.1.1 dev eth0
# 开启veth1网卡
ip link set veth1 up
# 宿主机添加路由条目
ip route add 10.70.1.1 dev veth1 scope link # 用于ens160接受到数据报文后，发送给ns1中的eth0网卡
ip route add 10.70.2.1 via 192.168.0.12 dev ens160 # 用于veth1数据报文出来后，跨主机通信使用
echo 1 > /proc/sys/net/ipv4/conf/veth1/proxy_arp
- 在k8s-node-1节点执行如下命令：
# 创建veth-pair设备对
ip link add veth1 type veth peer name eth0
# 创建ns1网络命名空间
ip netns add ns1
# 将eth0网卡插入ns1网络命名空间
ip link set eth0 netns ns1
# 为ns1网络命名空间中的eth0网卡配置IP地址
ip netns exec ns1 ip addr add 10.70.2.1/24 dev eth0
# 启动ns1网络命名空间中的eth0网卡
ip netns exec ns1 ip link set eth0 up
# 为ns1网络命名空间的eth0网卡添加路由，168.254.1.1这个IP实际上并没有使用，它仅作为eth0的网关使用,然后当数据发送到veth1后，这里会进行ARP欺骗，将veth1的MAC地址返回给eth0
ip netns exec ns1 ip route add 169.254.1.1 dev eth0 scope link
ip netns exec ns1 ip route add default via 169.254.1.1 dev eth0
# 开启veth1网卡
ip link set veth1 up
# 宿主机添加路由条目
ip route add 10.70.2.1 dev veth1 scope link # 用于ens160接受到数据报文后，发送给ns1中的eth0网卡
ip route add 10.70.1.1 via 192.168.0.11 dev ens160 # 用于veth1数据报文出来后，跨主机通信使用
echo 1 > /proc/sys/net/ipv4/conf/veth1/proxy_arp
- 在k8s-master-1 ping k8s-node-1
[root@k8s-master-1 ~]# ip netns exec ns1 ping -c 1 10.70.2.1
PING 10.70.2.1 (10.70.2.1) 56(84) bytes of data.
64 bytes from 10.70.2.1: icmp_seq=1 ttl=62 time=1.01 ms
--- 10.70.2.1 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 1.014/1.014/1.014/0.000 ms
具体的转发过程如下：
- ns1网络空间的所有数据包都转发到一个虚拟的 IP 地址 169.254.1.1，发送 ARP 请求
- k8s-master-1宿主机的 veth1 端收到 ARP 请求时通过开启网卡的代理 ARP 功能直接把自己的 MAC 地址返回给 ns1的eth0
- k8s-master-1的ns1 发送目的地址为 k8s-node-1的ns1 的 IP 数据包
- 因为使用了 169.254.1.1 这样的地址，宿主机判断为三层路由转发，查询本地路由
10.70.2.1 via 192.168.1.12 dev ens160发送给对端 Host1，如果配置了 BGP，这里就会看到 proto 协议为 BIRD - 当 k8s-node-1 收到10.70.2.1的数据包时，匹配本地的路由表
10.20.2.1 dev veth1 scope link，将数据包转发到对应的 veth1端，从而到达 ns1 - 回程类似
通过这个实验，我们可以很清晰地掌握 Calico 网络的数据转发流程，首先需要给所有的 ns 配置一条特殊的路由，并利用 veth 的代理 ARP 功能让 ns 出来的所有转发都变成三层路由转发，然后再利用主机的路由进行转发。这种方式不仅实现了同主机的二三层转发，也能实现跨主机的转发
