产品介绍
前段时间在Solidigm D5-P5316的帮助下，计算圆周率100万亿位数的世界纪录被刷新，新纪录的计算效率达到之前的三倍。我们一方面能够感受到SSD对高性能计算的影响，另一方面也看到QLC已经在数据中心中得到广泛采用。今天PCEVA评测的是使用Solidigm第四代QLC闪存的D5-P5430 15.36TB数据中心级SSD。
作为QLC闪存产品，D5-P5430延续大容量高密度优势，最大存储容量可达30.72TB。写入耐久度指标从0.41 DWPD提升至0.58 DWPD，同时提供U.2、E1.S和E3.S多种丰富的规格选项。
相比前面提到的D5-P5316，采用Solidigm第四代192层堆叠QLC闪存的D5-P5430在性能和写入耐久度表现上更进一步，定位也从“高效和读取优化的PCIe 4.0 SSD”提升为“高效和坚固耐用的PCIe 4.0 SSD”，适合的工作负载类型不再局限于顺序读写，而是可以满足更加广泛的主流和读取密集型工作负载。
读取密集型SSD通常提供1 DWPD的写入耐久度指标，D5-P5430虽然在DWPD上仍有一些差距，但更高的存储容量可以弥补这一不足，并在PBW指标上超越一些采用TLC闪存的竞争对手。与此同时，D5-P5430还可在主流应用中提供媲美TLC闪存产品的使用性能，帮助优化总拥有成本(TCO)。
硬件拆解
Solidigm成立于2021年底，名称由Solid-state（固态）和paradigm（范式）两个词组合而成，取树立固态存储行业范式之意，是当前唯一同时掌握Charge Trap电荷捕获结构和Floating Gate浮栅结构两种当代3D NAND技术的公司。相比去年评测时依旧带着英特尔标签的D7-P5520，这次我们收到的D5-P5430样品已经完全换上了Solidigm标签。
当然这个U.2外壳的结构还是一点没变，包括螺丝和卡扣设计还是过去那个已经被证明是非常合理的方式。
Solidigm D5-P5430使用了D5-P5520同款主控，这颗主控在洛斯阿拉莫斯国家实验室的中子源经过SDC（Silent Data Corruption静默数据损坏）测试。所谓静默数据损坏，就是未被ECC纠错机制捕获的、无法在第一时间被发现的错误，到数据需要使用时才被发现，即便有RAID阵列也不一定能修正。前几年就曾有国内云存储大厂因SDC丢失客户数据并招致巨额索赔。
静默数据损坏通常是偶发性事件，可由一些射线或环境影响引发比特翻转所产生。Solidigm的SDC测试通过将中子束聚焦在主控中心来进行，SSD内预先填充了数据，测试过程中主控连续发出I/O指令。实验室会检查数据完整性来确认有无静默数据损坏。Solidigm已经在数代产品中采用了这种测试程序，累计测试时间相当于超过600万年运行寿命，期间没有发现任何SDC错误，可见其对数据完整性的保护非常到位。
Solidigm第四代192层堆叠3D QLC闪存基于Float Gate浮栅结构，由位于大连的晶圆厂制造。Solidigm LOGO靠近颗粒边缘，正面是8颗编号为29F04P2BNCQL1的QLC闪存颗粒(4die 4CE)，PCB背面另有8颗编号为29F08P2BOCQL1的QLC闪存颗粒(8die 8CE)。
测试平台和工具软件
测试平台：
CPU：intel Core i9-13900KS（禁用C State）
主板：ROG MAXIMUS Z690 HERO
内存：金士顿DDR5-6000 16GB*2
SSD：Plextor M6Pro 128GB（系统盘）
Solidigm D5-P5430 15.36TB
OS：Ubuntu 22.04 LTS
对于习惯使用GUI图形界面的朋友来说，GSmartControl可以在Linux系统下替代CrystalDiskInfo，作为硬盘SMART健康信息检测工具使用。遗憾的是这款软件至今不支持NVMe SSD。
功能全面的smartmontools工具只有CLI命令行版本可用，我们在Windows下也经常会用到它，应该也比较熟悉了。它能够提供过热温度预设、电源状态、扇区格式支持情况和SMART健康度等信息。
从NVMe 1.1开始，SSD可以支持3种活动电源状态和2种非活动电源状态，消费级SSD可以在空闲时自动进入非活动电源状态（PS3/PS4）实现节能降温。不过数据中心级SSD不需要这种自主电源转换能力，取而代之的是三种可由用户指定的活动电源状态。对于Solidigm D5-P5430而言，PS0全速状态最大功耗25瓦，PS1状态限制15瓦，PS2状态限制10瓦。
我们可以通过Solidigm Storage Tool工具箱来指定D5-P5430的电源模式，默认是PS0全速状态。设定PowerGovernorMode 1就是限制到15瓦功耗，设定PowerGovernor Mode2则限制到10瓦功耗。
和消费级SSD崇尚“足容”设计不同，大多数数据中心SSD都设计有二级OP预留空间。在需要更高性能或写入耐久度的情况下，用户还可以通过厂商的工具箱软件增设三级OP预留空间。下图中我们使用Solidigm Storage Tool将D5-P5430 OP到12.75TB。通过nvme list可以确认增加OP预留空间后的可用容量。
理论性能测试
Linux下的硬盘性能测试工具大多离不开fio，这款软件功能强大但使用起来有一些门槛。
1.KDiskMark测试
对于习惯使用图形界面的朋友可以使用KDiskMark来替代Windows下的CrystalDiskMark，它在底层调用fio执行了类似于CrystalDiskMark的理论带宽测试项目。
当然二者还是略有不同，CrystalDiskMark结果显示峰值速度，而KDiskMark则显示平均值。这类测试由于缺乏预处理过程，只适合消费级SSD快餐跑分。数据中心SSD的稳定态性能测试还是需要回归到fio。
2.GFIO测试
GFIO为fio提供了一个图形化界面，不过配置文件还是需要提前动手写好，然后在GFIO中加载。GFIO会每秒刷新显示测试过程中的传输带宽和IOPS数值。首先是顺序写入预处理过程，测试使用128KB QD256顺序写入，持续2小时。
测试结束后会提供整合测试结果，包括写入数据总量、平均IOPS、最小/最大/平均带宽，百分位延迟统计等等。
为了提供更出色的QoS表现，数据中心级SSD不会像消费级SSD那样使用SLC缓存。增加OP也不会对顺序写入速度产生明显影响。
接下来进行4KB Q64T4随机写入，持续8小时，使SSD进入稳定态。
预处理过程产生了30TB写入量。
测试初段的高速写入对应的是OP预留空间内的空白块，当增设三级OP后这部分可以直接用于写入的空白块也相应增加，同时稳定态4K随机写入性能也更好。平时测消费级SSD只要用Q32T1测5000秒就足够看稳定态性能了，而这次15.36TB的数据中心SSD测了8个小时的Q64T4。消费级SSD的离散图需要设置对数坐标轴才能看清，数据中心级SSD的离散度要好很多，可以省去这一步骤直接看。
4KB随机写入QD1测试，ramp_time=300秒，runtime=900秒。注意这里测出的随机读取性能是全盘范围内的闪存直接读取性能，不能跟平时我们在消费级SSD评测中看到的SLC缓存范围内读取性能进行对比。
第99百分位延迟为137微秒，第99.99百分位延迟为178微秒，这意味着99.99%的延迟都低于178微秒。
4KB随机写入Q64T4测试，ramp_time=300秒，runtime=900秒。
平均1050K IOPS，第99百分位延迟533微秒，第99.99百分位延迟906微秒。
3.ezFIO脚本测试
ezFIO是一个可重复进行的稳定态性能测试脚本。在测试开始前有两次全盘容量写入的预处理阶段，帮助模拟企业级SSD的长期性能。ezFIO同时支持Windows和Linux平台，测试完成后可自动生成测试报告。以下成绩在是Linux系统下搭配fio 3.31测得。
借助ezFIO测试脚本可以自动化测试更多内容，如稳定态下不同块大小的顺序/随机读写性能：
下图是将Solidigm D5-P5430 15.36TB OP到12.75TB后的成绩，读取性能基本不变，写入性能大幅提升：
Solidigm D5-P5430 15.36TB稳定态4KB随机读写性能：
OP到12.75GB后4KB随机写入IOPS增长98%，写入延迟也降低了：
长期性能稳定性检验通过稳定态随机混合读写进行，根据平均IOPS和标准差计算得出变异系数，离散系数越低说明SSD在长期高负荷使用后的性能越稳定，越不容易产生程序需要等待IO的情况。Solidigm D5-P5430 15.36TB的4K R70:W30混合读写稳定态平均IOPS：280867，离散系数：1.05%。OP到12.75TB之后，稳定态混合读写IOPS为395347，离散系数1.51%。
Solidigm D5-P5430 15.36TB稳定态4K混合随机读写百位分延迟表现：
OP到12.75TB后的稳定态4K混合随机读写百分位延迟：
4.SNIA SSS PTS-E 2.0测试：
SSS PTS的全称为Solid State Storage Performance Test Specification，即固态存储性能测试规范，它由SNIA存储网络行业协会制定，当前最新版本是2.0，包括针对企业级SSD的PTS-E规范以及针对消费级SSD的PTS-C规范。
PTS测试在设备而非文件系统级别进行，通俗的说就是SSD在没有分区的状态下进行。PTS测试的是SS（Steady State稳定态）性能，而非FOB（Fresh-Out-of-the-Box开箱状态即出厂态）表现。
为了使SSD达到稳定态，PTS测试需要先执行预处理，也就是我们常说的“填盘”：用随机数据写入全盘2倍容量。而后执行一系列随机写入，稳定态的判定方式为：检查测试窗口中的4K随机写入、64K R65:W35混合随机写入和1024K随机读取三项成绩，允许波动范围+-10%，确认SSD已经进入稳定态后才会继续后续测试。
SSS PTS测试的内容包括512字节、4K、8K、16K、32K、64K、128K和1MB块大小，在0/100、5/95、35/65、50/50、65/35、95/5和100/0混合读写比例下的稳定态IOPS，并以数据表格、2D和3D图示三种形式进行展现。
左右滑动查看更多
OP到12.75TB之后，Solidigm D5-P5430能够在PTS IOPS测试中更快进入稳定态。
稳定态混合读写性能亦获得大幅提升：
左右滑动查看更多
模拟实际应用测试
VDBench是甲骨文推出的存储性能评估工具，能够支持去重和压缩等特性。我们将使用它来测试4KB随机读取、4KB随机写入、4KB混合读写（读70%写30%）三种情况，并模拟Oracle/SQL数据库、VSI、VDI四种企业级应用负载。图中横轴为IOPS为IOPS（越高越好），纵轴为对应的延迟（单位微秒，越低越好）。iorate的原理是VDBench先以无限制的方式测一次IOPS，而后以其作为100%基准，按照curve参数中给出百分比的IOPS为目标测定延迟。我们测试了P5430 15.36TB、P5430 OP 12.75TB、P5430限制电源模式1、P5430限制电源模式2四种情况。
4KB随机读取测试使用Q32T8进行测试。OP不影响4K随机读取性能，两条曲线基本重合，最高963K IOPS。限制电源模式1（15瓦）时最高694K IOPS，限制电源模式2（10瓦）时最高298K IOPS。
4KB随机写入测试使用Q32T8进行测试。增加三级OP后D5-P5430的4K随机写入性能提高近一倍（146K IOPS->288K IOPS）。限制电源模式1（15瓦）时最高77K IOPS，限制电源模式2（10瓦）时最高34K IOPS。
4KB混合随机读写测试使用Q32T8进行测试，读取占比70%。增加三级OP后D5-P5430的4KB混合随机写入性能提高38%（285K IOPS->395K IOPS）。限制电源模式1（15瓦）时最高214K IOPS，限制电源模式2（10瓦）时最高93K IOPS。
Oralce测试数据模型中读写比例为83.14：16.86，其中4K、8K、16K读取占比分别为22.1%、37.3%和19.12%，随机存取占比80%。4K、8K和16K写入占比分别为22.1%、37.3%和19.12%，随机存取占比80%。Dedupratio=3，compratio=3。
SQL数据库测试数据模型中，读写混合比例为68.42：31.58。8K和64K读取占比分别为53.57%和28.75%，随机存取占比80%。4K、8K和64K写入占比分别为27.85%、35.24%和26.35%，随机存取占比80%。Dedupratio=2，compratio=2。
Virtual Desktop Infrastructure测试数据模型中，读写混合比例为59.48：40.52。4K、16K、32K和64K读取分别占比39.35%、16.47%、10.37%和12.86%，随机存取占比80%。4K和8K写入分别占比61.11%和13.05%，随机存取占比80%。Dedupratio=7，compratio=8。
Virtual Storage Infrastructure测试数据模型中，读写混合比例为57.4：42.6。4K、8K、60K读取占比分别为25.68%、26.31%和10.52%，随机存取占比80%。4K和8K随机写入占比分别为59.62%和14.81%，随机存取占比80%。在负载较低时，四种情况下的延迟表现接近，增加OP后可以极大地提升最高IOPS表现。Dedupratio=4，compratio=4。
总结
Solidigm QLC闪存技术目前已经非常成熟，并被广泛使用到数据中心SSD当中，写入寿命满足现实工作负载需求，读取性能跟入门级SSD相当，QLC SSD在CDN、大数据、HCI等行业典型工作场景得到了广泛的部署和价值证明。采用192L 3D QLC闪存的Solidigm D5-P5430使用4KB间接单元，将使用范围扩展至AI、机器学习、OLTP等小文件快读密集型工作负载，在主流和读取密集型工作负载中提供可替代TLC闪存SSD的性能，并兼具QLC闪存带来的成本优势。Solidigm D5-P5430在性能、容量和成本之间的权衡中，为价值驱动的主流数据中心应用提供了更优的选择。
