Kioxia的NVMe RAID卸载有何亮点？

news2024/9/23 17:52:59

随着每一代固态硬盘SSD的速度不断提升，RAID阵列面临着一个重大的挑战：如何有效地维持并扩展性能。即使是通过专门的RAID卡来处理RAID操作的情况下，例如在RAID 5阵列中，简单的写请求也需要涉及两次读取和两次写入不同的SSD。如果没有硬件加速，来自读取操作的数据需要返回到CPU和主内存进行进一步处理，然后才能执行写操作。

RAID 5：
将数据和相对应的奇偶校验信息分别存储在不同的硬盘上，奇偶校验信息占一个硬盘的空间，允许损坏一个硬盘。当一个硬盘损坏时，可以根据剩余的数据和相对应的奇偶校验信息计算出损坏的数据，恢复数据时性能会受到较大的影响。RAID 5写性能偏低，尤其是随机写性能，建议在读写不太频繁的场景上使用，如：用作数据备份。

Kioxia提出了利用PCIe直接内存访问（DMA）功能和SSD控制器的控制器内存缓冲区（CMB）来避免数据移动至CPU再返回的过程。所需的奇偶校验计算是由SSD控制器内的加速器块完成的。

扩展阅读：

PCIe P2P DMA全景解读
浅析CXL P2P DMA加速数据传输的原理

自2014年以来，CMB被纳入到NVMe 1.2标准中，其目的是减少主机和设备之间的数据移动。CMB是控制器内部的一块专用内存，通过PCIe总线访问。当CPU需要访问存储设备的数据时，它可以通过内存读写事务层封装（MRd或MRw）直接访问CMB，而不需要将整个数据块传输到主机内存。

由于主机CPU无法像访问DDR内存那样高效地访问CMB，因此CMB通常被用作PCIe设备之间块数据传输的DMA（直接内存访问）缓冲区。这种方式减少了数据在主机和设备之间来回移动的次数，从而提高了数据传输效率。尽管CMB提供了一种优化数据移动的方法，但它仍然存在一些限制。例如，由于主机CPU访问CMB的效率低于DDR内存，且CMB的大小有限，因此对于需要频繁、大量数据交换的应用场景，CMB可能无法提供最佳的性能。

Kioxia的PoC（概念验证）实现中，DMA引擎可以访问整个主机地址空间（包括同条带SSD的BAR映射CMB），这样它就能够从相邻的SSD接收和传输所需的数据。过使用CMB，可以避免数据移动到CPU和主内存，从而减少CPU和系统DRAM的使用。奇偶校验计算由位于SSD控制器内部的加速器块完成，这减少了对主机CPU周期的占用。

Kioxia的PoC实现显示，与软件RAID相比，CPU利用率降低了近50%。系统DRAM的利用率减少了超过90%。卸载方案还可以处理奇偶校验检查操作，无需占用主机CPU周期来进行奇偶校验计算任务。

在企业级SSD中，这种新型的RAID卸载方法可以显著提高RAID阵列的整体性能，特别是在需要大量读写操作的工作负载下。对于需要处理大量数据和频繁读写操作的数据中心来说，这种技术可以有效降低CPU负担，提高整体效率。对于高性能计算应用，这种方法可以减少数据传输延迟，提高计算密集型任务的处理速度。

此外，Kioxia已经开始向NVM Express工作小组贡献这些特性。如果获得接受，这项提议的卸载方案将成为一项标准，可能被多个SSD厂商广泛采用。

为了实现大规模的企业级支持，需要解决良好的互操作性问题。这意味着不仅要跨越不同的厂商，还需要在不同型号和固件之间兼容。关于如何安全地进行重建、扩展或收缩RAID阵列的具体细节还需要进一步披露。

硬件RAID在过去曾被视为一种依赖硬件厂商的技术，因此它的地位有所下降。相反，像ZFS这样的软件定义解决方案因为强调数据完整性而受到了欢迎。考虑到ZFS在写入数据之前先进行奇偶校验计算的特点，Kioxia的新技术可能与ZFS的算法不兼容，至少需要进行大量的修改。

扩展阅读：