相信很多做存储的同学都听说过SPDK,它是Intel开发的一套开源存储栈。SPDK的全称为存储高性能开发包(Storage Performance Development Kit),从名称可以看出SPDK其实就是一个第三方的程序库。但是这个程序库却是非常强大的,下图是SPDK的软件模块图,从该图可以看出,几乎囊括了整个存储栈。
其实SPDK最早开发出来得时候功能还是比较单一的,它是作为一个用户态的NVMe驱动来发布的。这一点可以通过阅读SPDK的发布日志得到。但是到目前,SPDPK包含三层数十个功能组件。其底层是驱动层,包括NVMe驱动和经过网络的NVMe-oF驱动,这也是SPDK最开始发布的内容。
中间层则是SPDK开发的一个存储服务层,这里最核心的是提供了一个块设备抽象层。同时,在该层还实现了块存储服务常见的功能,比如逻辑卷、快照和克隆等等。
最上层则是存储协议层,包括常见的如iSCSI协议,Linux网络块存储nbd,以及NVMe相关的NVMe-oF等。通过该层的功能,主机端可以通过存储协议以远程的方式访问NVMe提供的存储功能。
我们从架构回到具体实现,如下图是SPDK的目录结构。在该目录树中,核心的三个目录分别是app、lib和module,这里面包含着SPDK中比较核心的代码。从目录名称上我们也大概能猜出其中代码的大致功能。
其中app目录包含着一些应用程序的源代码,其中包含iscsi_tgt、nvmf_tgt和spdk_dd等子目录,每个子目录可以编译成一个可以独立执行的应用程序。例如iscsi_tgt&