(该架构图来源于参考文献) 

• 高性能计算网络，RoCE vs. InfiniBand该怎么选？

新 RoCEv2 标准可实现 RDMA 路由在第三层以太网网络中的传输。RoCEv2 规范将用以太网链路层上的 IP 报头和 UDP 报头替代 InfiniBand 网络层。这样，就可以在基于 IP 的传统路由器之间路由 RoCE。 

• RoCE v1协议：基于以太网承载 RDMA，只能部署于二层网络，它的报文结构是在原有的 IB架构的报文上增加二层以太网的报文头，通过 Ethertype 0x8915 标识 RoCE 报文。 
• RoCE v2协议：基于 UDP/IP 协议承载 RDMA，可部署于三层网络，它的报文结构是在原有的 IB 架构的报文上增加UDP头、IP 头和二层以太网报文头，通过 UDP 目的端口号 4791 标 识 RoCE 报文。RoCE v2 支持基于源端口号 hash，采用 ECMP 实现负载分担，提高了网络的利用率。

由架构图可轻松区分出：

• 链路层是InfiniBand时，我们将其称之为IB网卡
• 链路层是Ethernet时，则我们将其称之为RoCE或WARP网卡
  • 当传输层为IB时，（即 transport: InfiniBand ）, 我们称其为RoCE网卡
  • 当传输层为iWARP时，我们称其为iWARP网卡

ibv_devinfo命令查看Link Layer包含Ethernet

InfiniBand传输模式 - 例子

RoCE传输模式 - 例子

ibv_devinfo -v命令查看GID包含RoCE

RoCE传输模式 - 例子

show_gids命令查看KVM内部端口的GID, 传输模式RoCE V1 or RoCE V2