0. 前言

五一假期期间重新考虑了目前的组网环境，准备对目前的组网进行一个重新的划分。
目前有的资源
① 两台服务器，阿里云-深圳（5M上行）和腾讯云广州（3M上行）
② 带动态公网IP的家庭宽带（1000M下载/50M上行）
③公司内两台个人的openwrt 路由器(公网出口不同)以及其下面挂载的若干设备
（公司下载1000M上行 100M,我没有总网络的管理员权限不能做端口映射，全锥）

我的需求：
可以打通家里的设备以及公司的设备，且尽量的免部署。公司那边配备了两台电犀牛的 R68S ,希望能做到将服务部署到路由器内部，后续增加设备不需要任何配置就可以互相访问（家里面设备、公司设备、云服务器，服务器的docker ）。
上面的需求比较奇怪，除了打通几个物理网络以外还需要打通一个（或多个）虚拟的 docker内网

1. 之前踩过的坑

为了能随时随地联系到我家里面的机器，我这边其实是做了不少的斗争，下面的集中方案简单的一笔带过，不同方案适合不同的人群，希望能给你一个参考吧。注意：下面的几种组网方案的验证与体验我花了几年的时间，部分可能已经不适用了，请自行斟酌。

1.1 frp 做内网穿透

这种方案最简单，直接将内网主机的一个端口映射到公网上，然后就可以使用 ssh 或者是 rdp 之类的协议去访问内网的设备，缺点也是很明显
① 非常的不安全。
② 需要有公网服务器。
针对第一点不安全，之前的 frp 方案的时候，基本是日均上万次的登录请求。
针对第二点我这边有自己的服务器，但是带宽太低，固定只有5M的上行，传文件之类的直接不用想。
如果想用的小伙伴可以考虑申请带公网IP的家庭宽带，然后配合 DDNS的服务去使用，但是切记注意安全。

1.2 zerotier 官方服务器组网

这个大约是在2019年到2021 年阶段的时候用的，那时候还没家庭宽带，也没有公网IP,不得已使用的zerotier的免费的服务。只能说是相当的慢！！！基础延迟大约是 300 ms ,毕竟是没有国内的服务器，物理距离太远了
这部分我就不去详细赘述了，自己去翻官方手册吧
下载地址：

https://www.zerotier.com/download/

linux版本一键下载

curl -s https://install.zerotier.com | sudo bash

1.3 zerotier 官方服务器 + 自建moon 节点

这是是后来买了深圳的阿里云服务器之后自建了一个zerotier的moon 服务器，有了moon服务器之后延迟条件大幅度的改善了，但是还是存在一些问题
① 服务器带宽低

1.4 wireguard 中心化组网

wireguard 是未来的大势所趋，然后wireguard 原生只提供非常基础的功能，要想玩的号还是需要借助一些大佬封装好的工具的。
我这边安装是使用的 docker版本的wg-easy ，可以在 web界面完成对虚拟内网的配置，但是我没有搞定跨网段的方案，也就是说我搭建的wireguard 是一个中心化的，无法分别部署在三个路由器上然后让三个路由器下的设备互相之间链接。
这里搭建的时候是在家里面的路由器里面使用 docker容器搭建的，路由是 N6005 + PVE + Openwrt ,wg-easy 搭建起来还是比较简单的。
使用体验也还是不错

1.5 netmaker 组网

netmake 的底层实现还是 wireguard ，但是使用了中心组网的方法，号称是能实现多个节点的点对点通讯，然后实际测试下来流量还是全部都走的我的中心节点，而且 netmaker 的环境国内还无法部署！之前测试的时候临时采用了一个新加坡的服务器进行测试的。实际体验下来甚至还不如 wireguard 的中心组网， wg-easy 至少部署简单，而netmaker 除了界面看起来炫酷一点以外使用体验不是很好。应该是还需要再打磨一段时间吧，毕竟是一个很新的项目。

1.6 openvpn 的方案

openvpn方案和 wireguard的中心组网方案基本是一样的，没什么本质上的区别（可能有一点点性能差异，但是我的硬件性能都很强，看不出来。。。。），我验证的方案基本是和wireguard 一样还是使用docker 然后使用带ui 界面的，使用起来没什么难度，傻瓜式的创建设备，下载配置文件，然后在客户端导入配置文件就可以使用了

2. 新的方案的优势自建zerotier 的planet

最新的方案是使用zerotier的自建planet 方案。
相比较于其他的方案zerotier最大的优势就是可以配置网关（其他的可能也有，但是应该都不简单吧）配置网关之后客户端就可以进行网络转发了。
目前的网络拓扑如下：
在这里插入图片描述
上面的图里面画的不太好，因为自建的zerotier-planet 是可以打洞的！所以数据流向应该是可以更复杂一些！
上面的设备中我需要实际部署的节点其实只有五个一个是 planet 外加四个 node 节点（leaf）

3. 部署流程记录

这部分直接贴出参考链接，我这边是照着别人的去设置的，基本完全一致
方法一：

https://blog.csdn.net/smzq123/article/details/128760942
https://gitee.com/opopop880/zerotier_planet/

方法二
docker 的（docker貌似会有打洞失败的问题可能是因为docker的数据过了一层docker网桥，planet 拿不到对端的真实IP ?）
不推荐使用docker 做 planet ，虽然方便，但是没法使用p2p 打洞那就是没有灵魂的，而且我的中心节点出口带宽只有5Mbps

https://zhuanlan.zhihu.com/p/573746661

流程大致的总结
① 照着执行指令
② 连接管理的界面（不建议照着原版去开放端口，建议使用ssh将端口代理到本地,安全第一！）可以参考

https://blog.csdn.net/qq_40944311/article/details/121396856
https://blog.csdn.net/qq_38100666/article/details/125596078

③ 替换其他客户端的 planet 文件
将标准版本的客户段的 planet 换为自建产生的planet 文件

## openwrt 
root@OpenWrtPro1:# cd /var/lib/zerotier-one/
root@OpenWrtPro1:/var/lib/zerotier-one# ls
authtoken.secret   controller.d       identity.public    identity.secret    networks.d         peers.d            planet             zerotier-one.pid   zerotier-one.port
root@OpenWrtPro1:/var/lib/zerotier-one# pwd
/var/lib/zerotier-one
root@OpenWrtPro1:/var/lib/zerotier-one#

在这里插入图片描述
更换完后不启用 zerotier,然后在增加自建的节点然后点击启用就可以链接自建的节点了

4. 细节提示

4.1 zerotier 拓展 docker 内网

使用zerotier 拓展docker 的内网的时候需要需要改防火墙的规则

gpt4 回答的流程大概是这样的：（实测有效）

# 设置NAT规则，使Docker网络可以访问ZeroTier网络。这里我们假设您的ZeroTier网络分配的IP地址为10.147.20.1/24：
sudo iptables -t nat -A POSTROUTING -s 192.168.66.0/24 -o ztie3xewtj -j MASQUERADE
sudo iptables -A FORWARD -i ztie3xewtj -o docker0 -m state --state RELATED,ESTABLISHED -j ACCEPT
sudo iptables -A FORWARD -i docker0 -o ztie3xewtj -j ACCEPT
# 添加iptables规则，允许从ZeroTier网络（假设为10.147.20.0/24）到Docker网络（假设为192.168.66.0/24）的流量转发。注意，您需要根据实际情况替换# 网络地址和接口名称：
sudo iptables -A FORWARD -i ztie3xewtj -o docker0 -s 10.147.20.0/24 -d 192.168.66.0/24 -j ACCEPT
sudo iptables -A FORWARD -i docker0 -o ztie3xewtj -s 192.168.66.0/24 -d 10.147.20.0/24 -j ACCEPT
# 设置NAT规则，使Docker网络可以访问ZeroTier网络：
sudo iptables -t nat -A POSTROUTING -s 192.168.66.0/24 -o ztie3xewtj -j MASQUERADE