已发表的技术专栏(订阅即可观看所有专栏)
0 grpc-go、protobuf、multus-cni 技术专栏 总入口
1 grpc-go 源码剖析与实战 文章目录
2 Protobuf介绍与实战 图文专栏 文章目录
3 multus-cni 文章目录(k8s多网络实现方案)
4 grpc、oauth2、openssl、双向认证、单向认证等专栏文章目录
本篇文章主要是想通过golang编程来实现,为veth pair链接的网络命名空间添加网卡,配置veth pair的IP
1、测试环境介绍 |
一台centos虚拟机
# 查看操作系统版本
cat /etc/centos-release
# 内核版本
uname -a
uname -r
# 查看网卡信息
ip a s eth0
2、创建命名空间–>启动一个进程–>获取进程号 |
打开xshell一个终端,输入下面的命令:
相关命令如下
ip netns list
ip netns add ns1
ip netns exec ns1 ip a s
ip netns exec ns1 sh
echo $$
获取到ns1使用的进程号
此终端,不要关闭。
重新再打开一个终端,编译,运行下面的测试代码。
3、编写代码,为ns1网络命名空间,添加veth2虚拟网卡,并设置IP |
下面代码的主要过程:
创建veth pair —>获取ns1的进程号—>将veth2网卡移动到ns1网络命名空间里—>获取当前二进制文件所在主网络命名空间—>切换到ns1网络命名空间里—>给veth2网卡设置IP—>再切换到主网络命名空间里—>给veth1网卡设置IP
package main
import (
"flag"
"fmt"
"github.com/vishvananda/netlink"
"github.com/vishvananda/netns"
"golang.org/x/sys/unix"
"net"
"os"
"runtime"
)
const (
veth1Name = "veth1"
veth2Name = "veth2"
)
var pid int
func main() {
flag.IntVar(&pid, "pid", 0, "Use -pid xxx")
flag.Parse()
l, err := netlink.LinkByName(veth1Name)
if err == nil {
// 删除掉 已经存在的 veth pair
netlink.LinkDel(l)
}
vethpeer := &netlink.Veth{
LinkAttrs: netlink.LinkAttrs{
Name: veth1Name,
Flags: net.FlagUp,
MTU: 1500,
},
PeerName: veth2Name,
}
err = netlink.LinkAdd(vethpeer)
if err != nil {
panic(err)
}
// 获取到某个容器,如11101容器对应的网络命名空间
// 11101是容器的PID,就是容器的进程号
// /proc/11101/ns/net
// 如何获取到某个容器的Pid呢?
// 假设,容器名称是 my-sw
// docker inspect my-sw | grep -w Pid
// 将得到的值,复制过来
nsPath := fmt.Sprintf("/proc/%d/ns", pid)
ns, err := netns.GetFromPath(fmt.Sprintf("%s/%s", nsPath, "net"))
if err != nil {
panic(err)
}
// 因为是打开文件的,是一个句柄,因此必须close
defer ns.Close()
veth2, err := netlink.LinkByName(veth2Name)
if err != nil {
panic(err)
}
// ip link set veth2 netns
// /proc/11101/ns/net命名空间里
// 就是将veth2网卡,移动到容器里的网络空间里
err = netlink.LinkSetNsFd(veth2, int(ns))
if err != nil {
panic(err)
}
// 再切换到容器网络命名空间里前,先获取当前主网络命名空间;
// 以便能切换回来
hostNS, err := GetCurrentNS()
if err != nil {
panic(err)
}
// 设置当前网络命名空间
// 假设,已经将veth2移动了容器里了
// 此时在物理机上,直接ifconfig是查看不到veth2网卡的
// 而你的二进制文件是在物理机上的,此二进制文件想操作veth2网卡的话
// 只能先设置网络命名空间了
err = netns.Set(ns)
if err != nil {
panic(err)
}
// 因为网络命名空间切换了,进入到容器网络命名空间里,必须再获取一次veth2r设备
veth2, err = netlink.LinkByName(veth2Name)
if err != nil {
panic(err)
}
// 仅仅是设置IP
addr, _ := netlink.ParseAddr("10.244.1.2/24")
err = netlink.AddrAdd(veth2, addr)
if err != nil {
panic(err)
}
// 可以将容器里的网卡名称,改为通用的名称,如eth0; 非必须步骤
//netlink.LinkSetName(veth2, "eth0")
// 将容器里的网卡eth0启动
err = netlink.LinkSetUp(veth2)
if err != nil {
panic(err)
}
// 切换回到主网络命名空间里
err = unix.Setns(int(hostNS.Fd()), unix.CLONE_NEWNET)
if err != nil {
panic(err)
}
addr, _ = netlink.ParseAddr("10.244.1.3/24")
veth1, err := netlink.LinkByName(veth1Name)
if err != nil {
panic(err)
}
// 在主网络命名空间里设置veth1网卡的IP
err = netlink.AddrAdd(veth1, addr)
if err != nil {
panic(err)
}
// 将veth1网卡设置为up状态
netlink.LinkSetUp(veth1)
}
func GetCurrentNS() (*os.File, error) {
runtime.LockOSThread()
defer runtime.UnlockOSThread()
return GetNS(getCurrentThreadNetNSPath())
}
func getCurrentThreadNetNSPath() string {
currentNetNSPath := fmt.Sprintf("/proc/%d/task/%d/ns/net", os.Getpid(), unix.Gettid())
return currentNetNSPath
}
func GetNS(nspath string) (*os.File, error) {
fd, err := os.Open(nspath)
if err != nil {
return nil, err
}
return fd, nil
}
4、Makefile |
build:
CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o createveth main.go
scp:
scp createveth root@10.211.55.122:/root
all:
make build && make scp
执行运行
make all
将编译后二进制文件,上传到目标服务器上
5、在服务器上,运行createveth二进制文件 |
6、总结 |
本篇文章最主要的几点:(仅供参考)
-
如何获取某个网络的命名空间,
- 就是获取 /proc/容器进程号/ns/net
-
如何获取某个线程的网络命名空间
- 就是获取 /proc/进程号/task/线程号/ns/net
-
如何进入到某个网络命名空间里
-
在cni插件中,创建网桥时,就用到了这个知识点。
这样的话,就实现了为某个网络命名空间,添加虚拟网卡的目的。
既然,可以给ip netns创建的网络命名空间,添加虚拟网卡,
那么,能不能为docker环境下的容器,添加额外的虚拟网卡呢?
实现,多网络功能?
类似于multus-cni