定义
iNOF(Intelligent Lossless NVMe Over Fabric,智能无损存储网络)是指通过对接入主机的快速管控,将智能无损网络应用到存储系统,实现计算和存储网络融合的技术。
目的
网络转发设备用于传输流量,不同类型的流量对网络的需求是不同的。传统的网络架构中,用户到用户的应用流量对于丢包、时延和吞吐的容忍度较高,通常使用基于TCP/IP协议的以太网进行传输;计算流量需要极低的时延,通常使用IB(Infinite Band,无限带宽)网络进行低时延、高吞吐地传输;存储流量需要无丢包,通常使用FC(Fibre Channel,光纤通道)网络进行无丢包、高吞吐地传输。三种网络的部署和维护相互独立。
随着全球企业数字化转型的加速进行,海量数据的高效处理促进了存储系统的高速发展。存储介质从HDD(hard-disk drive)发展到NVMe(Non-Volatile Memory express),访问性能可以提升10000倍,大幅降低存储介质的内部时延,满足大规模存储业务的需要。
存储系统分为计算和存储节点,需要具有无丢包、低时延和高吞吐性能的网络。若仍采用传统网络架构中三种网络独立部署的方案,不仅需要大量的部署和维护成本,并且基于TCP/IP协议的传统以太网也无法满足存储系统对性能的要求。
智能无损网络基于RoCEv2(RDMA over Converged Ethernet Version 2)协议,通过集合了PFC、AI ECN等技术的iLossless(Intelligent Lossless)智能无损算法,可以在以太网上实现无丢包、低时延和高吞吐地流量传输,满足存储系统的需求,实现计算和存储网络的融合。
然而存储系统为了存储大量的数据,往往需要管理数量庞大的主机,并且存在新主机陆续接入网络设备的情况。为了让智能无损网络技术更好的服务于存储系统,提出了iNOF技术,通过对接入主机的快速管控,可以第一时间获知新接入的主机,智能的调整智能无损网络的相关配置,并且iNOF技术支持将主机信息通告给存储系统,可以协助存储系统管理主机。
iNOF原理图:
iNOF报文是TCP封装的报文,TCP端口号范围为10000到57999,缺省值为19516,包含iNOF关键信息的内容承载在TCP报文的Data字段内。客户端可以通过iNOF报文将iNOF关键信息发送给反射器,反射器汇总后再发往其他客户端。通过iNOF报文可以传输以下几类信息:
1、建连信息:iNOF反射器和客户端之间需要通过互相交换iNOF报文来建立iNOF连接,具体的建立过程类似TCP建连。
2、域配置信息:iNOF系统中,设备可以通过域(Zone)对接入的主机进行管理,iNOF反射器上完成iNOF域的相关配置后,会通过iNOF报文把域配置信息发往各个客户端。
3、主机动态信息:iNOF设备需要启用LLDP功能,当有新的主机接入客户端或者离开客户端时,主机会主动向客户端发送LLDP报文,报文内记录了LLDP邻居信息的变化,让iNOF系统内的其他设备感知到主机动态信息。
4、接口Error-Down信息:当iNOF设备因为PFC死锁、CRC错误报文达到告警阈值等问题触发接口Error-Down后,iNOF报文内会携带接口Error-Down信息,让iNOF系统内的其他设备迅速感知,及时调整路径信息。
iNOF系统建立后,系统内的所有设备都可以第一时间感知到接入主机的变化,从而可以将信息反馈给各个智能无损网络功能去智能的调整相关配置,最终使网络达到低时延、无丢包和高吞吐的性能。
典型实验案例:
Reflector1配置:
#
sysname Reflector1
#
bfd
lldp enable
#
interface 100GE1/0/2
undo portswitch
ip address 10.1.3.1 255.255.255.0
#
interface 100GE1/0/3
undo portswitch
ip address 10.1.4.1 255.255.255.0
#
interface LoopBack0
ip address 192.168.1.1 255.255.255.255
#
ai-service
#
inof
authentication-mode hmac-sha256 password 123456
hard-zoning enable
inof bfd enable
peer 192.168.1.2 reflect-client
peer 192.168.1.3 reflect-client
peer 192.168.1.4 reflect-client
role reflector
service-address 192.168.1.1 port-id 10002
undo default-zone enable
#
zone zone1
host 10.1.1.1
host 10.1.2.1
#
ospf 1
area 0.0.0.0
network 10.1.3.0 0.0.0.255
network 10.1.4.0 0.0.0.255
network 192.168.1.1 0.0.0.0
#
return
Reflector2配置:
#
sysname Reflector2
#
bfd
lldp enable
#
interface 100GE1/0/2
undo portswitch
ip address 10.1.5.1 255.255.255.0
#
interface 100GE1/0/3
undo portswitch
ip address 10.1.6.1 255.255.255.0
#
interface LoopBack0
ip address 192.168.1.4 255.255.255.255
#
ai-service
#
inof
authentication-mode hmac-sha256 password 123456
hard-zoning enable
inof bfd enable
peer 192.168.1.2 reflect-client
peer 192.168.1.3 reflect-client
peer 192.168.1.1 reflect-client
role reflector
service-address 192.168.1.4 port-id 10002
undo default-zone enable
#
zone zone1
host 10.1.1.1
host 10.1.2.1
#
ospf 1
area 0.0.0.0
network 10.1.5.0 0.0.0.255
network 10.1.6.0 0.0.0.255
network 192.168.1.4 0.0.0.0
#
return
Client1配置:
#
sysname Client1
#
lldp enable
#
interface 100GE1/0/2
undo portswitch
ip address 10.1.3.2 255.255.255.0
#
interface 100GE1/0/3
undo portswitch
ip address 10.1.1.2 255.255.255.0
#
interface 100GE1/0/4
undo portswitch
ip address 10.1.5.2 255.255.255.0
#
interface LoopBack0
ip address 192.168.1.2 255.255.255.255
#
ai-service
#
inof
authentication-mode hmac-sha256 password 123456
role reflect-client
service-address 192.168.1.2 port-id 10002
#
ospf 1
area 0.0.0.0
network 10.1.1.0 0.0.0.255
network 10.1.3.0 0.0.0.255
network 10.1.5.0 0.0.0.255
network 192.168.1.2 0.0.0.0
#
return
Client2配置:
#
sysname Client2
#
lldp enable
#
interface 100GE1/0/2
undo portswitch
ip address 10.1.4.2 255.255.255.0
#
interface 100GE1/0/3
undo portswitch
ip address 10.1.2.2 255.255.255.0
#
interface 100GE1/0/4
undo portswitch
ip address 10.1.6.2 255.255.255.0
#
interface LoopBack0
ip address 192.168.1.3 255.255.255.255
#
ai-service
#
inof
authentication-mode hmac-sha256 password 123456
role reflect-client
service-address 192.168.1.3 port-id 10002
#
ospf 1
area 0.0.0.0
network 10.1.2.0 0.0.0.255
network 10.1.4.0 0.0.0.255
network 10.1.6.0 0.0.0.255
network 192.168.1.3 0.0.0.0
#
return