SDN 实现 vxlan隧道

SDN vxlan隧道

官方介绍：
VXLAN（Virtual eXtensible Local Area Network，虚拟扩展局域网），是由IETF定义的NVO3（Network Virtualization over Layer 3）标准技术之一，是对传统VLAN协议的一种扩展。VXLAN的特点是将L2的以太帧封装到UDP报文（即L2 over L4）中，并在L3网络中传输。VXLAN本质上是一种隧道技术，在源网络设备与目的网络设备之间的IP网络上，建立一条逻辑隧道，将用户侧报文经过特定的封装后通过这条隧道转发。

vxlan 是一种网络协议，将原始数据封装到UDP数据包中传输。vxlan被广泛应用到云计算网络环境中，耳熟能详的云计算框架openstack主要的网络架构就是vxlan，kubernetes也有vxlan的网络插件。vxlan 有许多优点，诸如：

连接两个局域网，可以将局域网内主机之间流量互通。就像是在局域网之间架起桥梁
支持隔离。vlan最多支持4096个隔离，而vxlan支持2的次方数32即 4294967296据隔离

vxlan的封装格式

本篇文章使用ovs搭建vxlan网桥，连接两个mininet构建的局域网。
实验环境：两台虚拟机 ubuntu1804桌面版+ubuntu1604桌面版+mininet

一、安装mininet

分别在两台机器上安装mininet

1.1安装git工具

root@ubuntu:~# apt install git
Reading package lists... Done
Building dependency tree       
Reading state information... Done
The following additional packages will be installed:
  git-man liberror-perl
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-el git-email git-gui gitk gitweb git-arch git-cvs git-mediawiki git-svn
The following NEW packages will be installed:
  git git-man liberror-perl
0 upgraded, 3 newly installed, 0 to remove and 406 not upgraded.
Need to get 3,932 kB of archives.
After this operation, 25.6 MB of additional disk space will be used.
Do you want to continue? [Y/n] y

1.2从github上拉取mininet源码

root@openlab:~# git clone https://github.com/mininet/mininet.git
Cloning into 'mininet'...
remote: Enumerating objects: 9752, done.
remote: Total 9752 (delta 0), reused 0 (delta 0), pack-reused 9752
Receiving objects: 100% (9752/9752), 3.03 MiB | 1.35 MiB/s, done.
Resolving deltas: 100% (6472/6472), done.

1.3 安装mininet

mininet的安装是进入mininet/util目录中，然后执行 ./install -a。-a表示安装全部的组件。mininet的安装可以有很多备选项。

root@openlab:~/mininet/util# ./install.sh -a
Detected Linux distribution: Ubuntu 18.04 bionic amd64
sys.version_info(major=3, minor=6, micro=7, releaselevel='final', serial=0)
Detected Python (python3) version 3
Installing all packages except for -eix (doxypy, ivs, nox-classic)...
Install Mininet-compatible kernel if necessary
.......
.......
.......
libtool: install: /usr/bin/install -c cbench /usr/local/bin/cbench
make[2]: Nothing to be done for 'install-data-am'.
make[2]: Leaving directory '/root/oflops/cbench'
make[1]: Leaving directory '/root/oflops/cbench'
Making install in doc
make[1]: Entering directory '/root/oflops/doc'
make[1]: Nothing to be done for 'install'.
make[1]: Leaving directory '/root/oflops/doc'
Enjoy Mininet!

1.4验证安装

安装完成之后，ovs会安装好，使用ovs-vsctl show命令，查看ovs版本

root@openlab:~/mininet/util# ovs-vsctl show
58cc7b02-ef48-4de7-a96b-ee1c0259472d
    ovs_version: "2.9.5"

使用命令 mn 创建一个最小拓扑的环境。包括一个控制器，一个交换机，两个主机。

root@openlab:~/mininet/util# mn
*** Creating network
*** Adding controller
*** Adding hosts:
h1 h2 
*** Adding switches:
s1 
*** Adding links:
(h1, s1) (h2, s1) 
*** Configuring hosts
h1 h2 
*** Starting controller
c0 
*** Starting 1 switches
s1 ...
*** Starting CLI:
mininet>

二、配置vxlan

2.1第一台机器的配置信息(10.0.5.14)

记录下第一台机器的ip地址和路由信息，后面会使用这些信息。

在这里插入图片描述

2.2第二台机器的配置信息(10.0.5.15)

同样，记录第二台机器的ip地址和路由信息。
在这里插入图片描述

2.3创建隧道网桥br-tun

使用ovs创建一个网桥，叫做br-tun，该网桥后面会作为vxlan隧道的端点。两个虚拟机都需要创建。

root@openlab:~/mininet/util# ovs-vsctl add-br br-tun
root@openlab:~/mininet/util# 
root@openlab:~/mininet/util# ovs-vsctl show
58cc7b02-ef48-4de7-a96b-ee1c0259472d
    Bridge br-tun
        Port br-tun
            Interface br-tun
                type: internal
    ovs_version: "2.9.5"

创建好br-tun之后，可以用ifconfig -a查看到这个设备

root@openlab:~/mininet/util# ifconfig -a
br-tun: flags=4098<BROADCAST,MULTICAST>  mtu 1500
        ether 26:c9:1f:49:4e:4e  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.175.130  netmask 255.255.255.0  broadcast 192.168.175.255
        inet6 fe80::20c:29ff:fe45:a8b7  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:45:a8:b7  txqueuelen 1000  (Ethernet)
        RX packets 247744  bytes 344644771 (344.6 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 75331  bytes 6070686 (6.0 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 993  bytes 76788 (76.7 KB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 993  bytes 76788 (76.7 KB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ovs-system: flags=4098<BROADCAST,MULTICAST>  mtu 1500
        ether 62:da:79:d8:d4:d3  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

第二台机器创建好的设备。

root@ubuntu:~/mininet/util# ifconfig -a
br-tun    Link encap:Ethernet  HWaddr 1e:66:43:f2:04:43  
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

ens33     Link encap:Ethernet  HWaddr 00:0c:29:a6:71:34  
          inet addr:192.168.175.128  Bcast:192.168.175.255  Mask:255.255.255.0
          inet6 addr: fe80::b933:b350:fe27:b89a/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:56569 errors:0 dropped:0 overruns:0 frame:0
          TX packets:15061 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:76151455 (76.1 MB)  TX bytes:1479464 (1.4 MB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:404 errors:0 dropped:0 overruns:0 frame:0
          TX packets:404 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:33728 (33.7 KB)  TX bytes:33728 (33.7 KB)

ovs-system Link encap:Ethernet  HWaddr 8e:fb:8e:a0:0c:e5  
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

2.4转移ens33 网卡的ip地址到br-tun上

将网卡上的ip地址转交给br-tun。从上一步可以看出br-tun和网卡其实是非常类似的，将其赋值ip地址就可以当做网卡使用。现在要做的是把虚拟机网卡的ip地址给br-tun。
增加路由信息。将ip地址转交给br-tun之后，路由信息也需要更新。ip地址和路由信息都要以实际的信息，在复制实验时不可直接使用我的。这也是为什么在前面记录ip信息和路由信息的原因。

ifconfig ens33 0 up
ifconfig br-tun 192.168.175.130/24 up
route add default gw 192.168.175.2

同样在第二台机器上完成同样的操作。

ifconfig ens33 0 up
ifconfig br-tun 192.168.175.128/24 up
route add default gw 192.168.175.2

2.5将网卡ens33作为端口添加到br-tun

因为ens33是流量出虚拟机的接口，所以最后流量还是肯定走ens33网卡出去。br-tun只是一个虚拟机的设备，要将ens33作为端口加入br-tun中

ovs-vsctl add-port br-tun ens33

同样在第二台机器上完成同样的操作。

ovs-vsctl add-port br-tun ens33

2.6启动mininet

使用命令mn启动一个最小拓扑的实验。创建的设备包括两个主机，h1，h2；一个交换机 s1

10.0.5.14：mn --mac --switch ovsk --controller remote
10.0.5.15：mn --mac --switch ovsk --controller=remote,ip=10.0.5.14,port=6653

使用ovs-vsctl show 可以看到环境中新增了一个交换机s1

同样在第二台机器上完成同样的操作。

2.7修改主机IP地址

上一步创建的mininet中两个主机的默认地址都是10.0.0.1和10.0.0.2,需要将第一台虚拟机中的mininet的主机的地址修改10.0.0.3和10.0.0.4。构建的环境如下:

2.8创建vxlan隧道

在交换机s1创建vxlan隧道。这一步是最关键的一步。

10.0.5.14：ovs-vsctl add-port s1 vx1 -- set interface vx1 type=vxlan options:remote_ip=10.0.5.15 options:key=flow

其中s1是创建隧道的网桥，remote_ip就是隧道另外一端机器的ip地址。

查看创建好的隧道

在第二台虚拟机上做同样的操作

10.0.5.15：ovs-vsctl add-port s1 vx1 -- set interface vx1 type=vxlan options:remote_ip=10.0.5.14 options:key=flow

查看创建好的隧道

15：ovs-vsctl add-port s1 vx1 – set interface vx1 type=vxlan options:remote_ip=10.0.5.14 options:key=flow

2.8Ryu控制器下发流表代码

from ryu.base import app_manager
from ryu.controller import ofp_event
from ryu.controller.handler import CONFIG_DISPATCHER, MAIN_DISPATCHER
from ryu.controller.handler import set_ev_cls
from ryu.ofproto import ofproto_v1_3
from ryu.ofproto import ether
from ryu.lib.packet import packet, ethernet

class FlowController(app_manager.RyuApp):
    OFP_VERSIONS = [ofproto_v1_3.OFP_VERSION]

    def __init__(self, *args, **kwargs):
        super(FlowController, self).__init__(*args, **kwargs)

    @set_ev_cls(ofp_event.EventOFPSwitchFeatures, CONFIG_DISPATCHER)
    def switch_features_handler(self, ev):
        datapath = ev.msg.datapath
        ofproto = datapath.ofproto
        parser = datapath.ofproto_parser

        # 构建第一个流表项，匹配输入端口为1的数据包，设置tunnel ID为10，输出到端口4
        match1 = parser.OFPMatch(in_port=1)
        actions1 = [parser.OFPActionSetField(tunnel_id=10), parser.OFPActionOutput(4)]
        self.add_flow(datapath, match1, actions1)

        # 构建第二个流表项，匹配输入端口为4且tunnel ID为10的数据包，输出到端口1
        match2 = parser.OFPMatch(in_port=4, tunnel_id=10)
        actions2 = [parser.OFPActionOutput(1)]
        self.add_flow(datapath, match2, actions2)

    def add_flow(self, datapath, match, actions):
        ofproto = datapath.ofproto
        parser = datapath.ofproto_parser

        # 构造流表项
        inst = [parser.OFPInstructionActions(ofproto.OFPIT_APPLY_ACTIONS, actions)]
        mod = parser.OFPFlowMod(datapath=datapath, priority=0, match=match, instructions=inst)

        # 发送流表项到交换机
        datapath.send_msg(mod)

if __name__ == '__main__':
    from ryu.cmd import manager
    import sys
    sys.argv.append('--ofp-tcp-listen-port')
    sys.argv.append('6653')
    manager.main()

2.10验证通信

在第一台虚拟机上打开h2。使用命令xterm h2可以打开mininet中h2的操作终端。

在终端中ping 10.0.0.1

在终端中ping 10.0.0.2

2.11抓取vxlan数据包

打开wireshark，监听br-tun隧道端点上的流量。可以看到目前流量就是ICMP。

打开具体的icmp查看，与普通icmp有什么不同之处。正常icmp流量是icmp+网络层+数据链路层，而使用vxlan的icmp则是 icmp + 网络层 + 数据链路层 + vxlan报文头 + udp + 网络层 + 数据链路层。内层是10.0.0.3 ping 10.0.0.1的流量，这些流量被vxlan封装之后有外层包 192.168.175.130到192.168.175.128的UDP数据包。