在Host与Controller之间有数据交互时，Controller会多次访问Host内存。比如执行NVMe Read/Write:
当Host下发NVMe Write命令时，Host会先放数据放在Host内存中，然后通知Controller过来取数据。Controller接到信息后，会通过PCIe Memory Read TLP读取相应的数据，接着Host返回的PCIe Completion报文中会携带数据给Controller，最后再写入NAND中。
当Host下发NVMe Read命令时，Controller先从NAND中读出相应数据，然后通过PCIe Memory Write TLP将数据写入Host内存中。
上述Read/Write均有访问Host内存进行数据交互，那么，问题来了：
NVMe Write时，Controller怎么知道数据在Host内存的具体位置？
NVMe Read时，Controller怎么知道要把数据写到Host内存中哪个位置？
不怕，NVMe给Host配备了两大"法宝"：PRP和SGL。这两个模型均可以帮助Host告知Controller数据在Host内存中的具体地址。
PRP/SGL的背景知识，这里就暂时略过了，感兴趣的同学可以参考之前发布的文章。这里简单提下。存储随笔《NVMe专题》大合集及PDF版正式发布！
PRP和SGL是描述Host内存物理空间的两种方式，本质的不同是：PRP必须是物理页对齐的，而SGL则可以表述任意的物理空间。如下图。
在Linux内核中，Block层下发的IO请求以BIO表示。我们需要通过DMA发送这些数据，Command使用dma_alloc_coherent分配DMA地址，但是BIO是存放在普通的内核线程空间的（线程的虚拟空间不能直接作为DMA地址）。
Linux函数nvme_map_data能够将虚拟空间地址（BIO数据存放地址）转换成DMA可用地址，并且多个IO请求的DMA地址可以通过scatterlist来表示。有了DMA地址就可以把BIO封装成NVMe Command发送出去。
所以，linux驱动中nvme_map_data中针对NVME Command的IO传输格式就有了很重要的设定。比如，函数nvme_map_data中有iod->use_sgl的结果可以觉得IO传输过程中是使用SGL还是PRP。
而iod->use_sgl的返回结果依赖函数nvme_pci_use_sgls的判断，主要有两种情况：
当SGL不支持的时，iod->use_sgl返回false，对应的IO数据传输就采用PRP了。
当平均请求大小avg_seg_size值小于SGL阈值sgl_threshold时，也返回false，需要采用PRP。也就是说，使用SGL情况，必须要要求avg_seg_size大于等于sgl_threshold。SGL比较适合大块数据的传输。
sgl_threshold的定义是32KB，avg_seg_size和sgl_threshold的计算对比关系如下示例：
blk_rq_nr_phys_segments = 2，blk_rq_payload_bytes = 8k，那么，avg_seg_size = blk_rq_payload_bytes/blk_rq_nr_phys_segments=4K，这种情况avg_seg_size<sgl_threshold,那就需要采用PRP了。
blk_rq_nr_phys_segments = 2，blk_rq_payload_bytes = 64k，那么，avg_seg_size = blk_rq_payload_bytes/blk_rq_nr_phys_segments=32K，这种情况avg_seg_size=sgl_threshold,那就可以采用SGL了。
blk_rq_nr_phys_segments = 16，blk_rq_payload_bytes = 64k，那么，avg_seg_size = blk_rq_payload_bytes/blk_rq_nr_phys_segments=4K，这种情况avg_seg_size<sgl_threshold,那就需要采用PRP了。
sgl_threshold这个参数在linux内核中也可以通过修改/etc/default/grub文件，添加修改nvme.sgl_threshold参数即可
SQ队列中的PSDT参数中，可以定义每个IO数据传输采用PRP还是SGL。特别是NVME over Fabrics场景中，设定SGL时，需要关注metadata的MPTR设定，采用连续的物理空间，还是采用QWORD对齐的方式。
NVME Controller的Identify页面信息中，Byte536的前2个bit可以查询对SGL的支持情况。比如nvme-cli获取的2个nvme id-ctrl信息：
NVMe SSD A: sgls : 0，bit0=0，说明不支持SGL
NVMe SSD B: sgls : 0x70001，bit0=1，说明支持SGL，且对Data Block数据的对齐策略没有要求。
其中SGL Descriptor Threshold（SDT）代表SGL Descriptor最大的数量。如果SDT设置0，则代表没有设定最大建议值。
精彩推荐:
存储随笔2022年度最受欢迎文章榜单TOP15
从主流企业级PCIe Gen4 SSD性能对比，畅谈SSD性能调优的思考
浅析nvme原子写的应用场景
YMTC X3 NAND 232L 终露真容,全球领先
芯片级解密YMTC NAND Xtacking 3.0技术
Backblaze 2022 Q3 硬盘故障质量报告解读
漫谈云数据中心的前世今生
多维度深入剖析QLC SSD硬件延迟的来源
漫谈固态硬盘SSD全生命周期的质量管理
汽车存储SSD面临的挑战与机遇
超大规模云数据中心对存储的诉求有哪些？
SSD写放大的优化策略要统一标准了吗？
“后Optane时代”的替代存储方案有哪些？
浅析PCIe链路LTSSM状态机
浅析Relaxed Ordering对PCIe系统稳定性的影响
实战篇｜浅析MPS对PCIe系统稳定性的影响
浅析PCI配置空间
浅析PCIe系统性能
PLC SSD虽来但远，QLC SSD火力全开
最全电脑固态硬盘SSD入门级白皮书
存储随笔《NVMe专题》大合集及PDF版正式发布！
加权循环仲裁WRR特性对NVME SSD性能有什么影响？
Linux NVMe Driver学习笔记之9: nvme_reset_work压轴大戏
