前言

NVMe全称是Nonvolatile Memory Express（非易失性内存标准），在它首次投放市场的时候，许多人认为它只是一个新的、速度更快的SSD。但实际上，NVMe是一种基于性能并从头开始创建新存储协议，它可以使我们能够充分利用SSD和存储类内存（SCM）的速度。

1 概念

什么是端到端NVMe？

当时的全闪存阵列大部分是在存储后端支持NVMe SSD，当时的全闪存阵列控制器架构也是为了适应机械硬盘而设计的，而在使用NVMe SSD时，这种控制器就成为了阻碍，为此，阵列控制器以及存储网络协议必须不断发展。

而NVMe over Fabrics（简称NVMe-OF）的出现，就是将NVMe应用到前端，作为存储阵列与前端主机连接的通道，取代过去的FC、iSCSI。由此，主机可以使用本机NVMe协议直接与NVMe SSD

通信，从而大幅降低了延迟。

NVMe-oF传输类型

对于NVMe-oF，传输类型有3种选择，分别是使用光纤通道的NVMe-oF、TCP的NVMe-oF和使用RDMA的NVMe-oF。

Fibre Channel

在光纤通道(FC)上使用NVMe的组合通常被称为FC-NVMe、NVMe over FC，有时也称为NVMe/FC。光纤通道是存储阵列和服务器之间传输数据的强大协议，大多数SAN存储系统都使用它。在FC-NVMe中，SCSI命令被封装在FC帧内。它基于标准的FC规则，与支持访问共享NVMe闪存的标准FC协议相匹配。

TCP

这种传输类型是NVMe-oF的最新发展之一。NVMe over TCP(传输控制协议)使用NVMe-oF和TCP传输协议在IP(以太网)网络上传输数据。NVMe通过以太网作为物理传输，在TCP数据报内进行传输。

尽管有RDMA和光纤通道，TCP提供了一个可能更便宜和更灵活的选择。此外，与同样使用以太网的RoCE相比，NVMe/TCP的表现更像FC-NVMe，因为它们在I/O中使用了消息语义。

RDMA

该规范采用远程直接内存访问(RDMA)，使数据和内存能够在计算机和存储设备之间跨网络传输。RDMA是一种在网络中两台计算机的主存储器之间交换信息的方式，不涉及任何一台计算机的处理器、缓存或操作系统。由于RDMA避开了操作系统，因此它通常是网络传输数据的最快、开销最低的机制。

RDMA上的NVMe-oF使用TCP传输协议在IP网络上传输数据，典型的RDMA实现包括虚拟接口架构、聚合以太网上的RDMA（RoCE）、InfiniBand、Omni-Path和iWARP。RoCE、InfiniBand和iWARP是目前使用最多的。

将NVMe-oF与RDMA、光纤通道或TCP一起使用，就可以形成一个完整的端到端NVMe存储解决方案。这些解决方案提供了显著的高性能，同时保持了通过NVMe提供的极低延迟。

今天，NVMe由于其低延迟和高吞吐量的多任务处理速度而变得越来越受欢迎。虽然NVMe也用于个人计算机中以改进视频编辑，游戏和其他解决方案，但通过NVMe-oF在企业中可以看到真正的好处，特别是在分秒必争的企业场景。如实时客户互动，人工智能 (AI)、机器学习 (ML)、大数据和高级分析应用开发运营等。处理和访问数据的速度越快，对业务就越能带来价值。