随着云计算、企业级应用以及物联网领域的飞速发展,当前的数据处理需求正以前所未有的规模增长,以满足存储行业不断变化的需求。这种增长导致网络带宽压力增大,并对主机计算资源(如内存和CPU)造成极大负担,进而引发了网络带宽使用率上升、主机内存和CPU利用率过高以及系统性能瓶颈等问题。传统的数据中心架构主要以CPU为中心,这使得数据中心的计算和存储任务主要依赖于CPU的处理能力。但是,随着数据量的不断增长,这种架构逐渐显现出一些问题和瓶颈,如处理速度慢、效率低下等。
在此背景下,计算存储技术应运而生,通过在存储设备内部集成计算资源,实现数据的本地处理,极大提升了数据处理速度和效率。计算存储的基本理念是利用SSD控制器的一部分计算能力来执行超越内部存储管理的更多任务。当数据通过SSD的I/O通道传输时,SSD会丧失其巨大的内部带宽。若将部分计算功能移至SSD内部,则可利用这一巨大带宽实现闪电般快速的操作,同时减轻服务器负载并减少网络流量。
在SNIA和NVME两大组织的带领下,计算存储已逐步形成行业生态。在2022年8月已经发布了《Computational Storage Architecture and Programming Model Version 1.0》。
目前加入到SNIA工作组的成员已经有258家,行业生态的建设如火如荼。
-
SNIA对Computational Storage定义为一种将计算和存储资源整合在一起的技术,以支持更高效、更智能的数据中心。在这种定义下,Computational Storage强调将计算和存储功能集成到一个统一的系统中,以提高数据管理和处理效率。
-
NVME将Computational Storage定义为一种将存储设备转化为计算资源的技术,以支持更高效、更灵活的数据中心。在这种定义下,NVMe强调将存储设备转化为可编程的计算资源,以实现更高效的数据处理和管理。NVMe规范侧重于存储设备的性能优化和灵活性。
虽然SNIA和NVMe在Computational Storage的定义上有所不同,但它们的重点都在于将存储和计算资源更有效地整合在一起,以提高数据中心的效率和灵活性。SNIA更注重存储和计算的集成,而NVMe更注重存储设备的性能优化和灵活性。这两种定义在实际应用中都有其价值,并且可以相互补充。
去年,NVME协议组织为了解决这些性能问题并为供应商提供标准化机制,在其架构中集成优化的计算功能,开发了NVM Express® (NVMe®) 计算存储特性。
计算存储的核心特性包括两个命令集:计算程序集和子系统本地内存。
-
计算程序集允许NVMe设备在非易失性存储器(NVM)子系统上操作数据,通过命令管理在设备上进行计算的程序。
-
SLM(Subsystem Local Memory)子系统本地内存则支持通过NVMe I/O命令经由NVMe传输协议访问NVM子系统的本地内存,同时还包含了读取、写入及复制用户数据到设备内存的新命令。
更多详细扩展解读:深度解读NVMe计算存储协议