📚控制器架构

• 控制器作为一个片上系统，处理来自用户端的命令并负责管理闪存颗粒。整个控制器的架构主要包括以下几个模块。
  • 前端主机接口模块：比如PCIe控制器和存储协议 NVMe控制器。
  • 后端闪存接口模块：用于直接和闪存交互，是控制器和闪存交互的通道，一个通道上可挂载多个闪存颗粒。
  • 后端数据处理模块：如 RAID、扰码器和LDPC，又称数据处理单元。
  • DDR 控制器和 PHY：用于和 DRAM交互。
  • 加解密以及认证的安全模块：负责硬件和数据安全。
  • 负责指挥整个系统和协调各个硬件计算系统的 CPU 以及互连系统
  • 其他：如片上SRAM、模拟IP和外设端口等。
    

🐇PCIe和NVMe控制器前端子系统

• PCle和 NVMe控制器前端子系统有时也被称为主机子系统，主要用于处理来自主机以及协议接口的各种命令。PCIe决定了整个控制器的前端和用户交互带宽。
• 目前主流的消费级控制器主要是4个通道，企业级控制器可能具备8个甚至更多的通道以满足带宽的需求。PCIe PHY（物理接口）作为高速接口，是控制器的核心IP。
• NVMe控制器借助PCIe接口实现了NVMe产品规范相关的协议，实现了基本操作（如读写）以及各种特性。NVMe控制器与主机间的交互流程如下：
  • 主机往 SQ（Submission Queue，提交队列）里面提交命令，并通过Doorbell 通知 NVMe 控制器；
  • NVMe 控制器去主机端的SQ取命令，并存在NVMe控制器的命令队列中。
  • NVMe控制器从内部命令队列中把命令传递给CPU（固件）系统，让CPU执行相应的操作。
  • 当CPU完成相关操作后通知 NVMe控制器，NVMe控制器更新主机端的CQ（Completion Queue，完成队列），并通知主机，主机收到通知后，释放相应的资源。
    
• 为了实现相关功能，NVMe控制器有两条通道，一条控制通道，一条数据通道。数据最终通过DMA传输到内存系统，命令和状态用于NVMe控制器和CPU计算系统的交付系统。
  • DMA意为直接内存访问，允许某些硬件子系统（如磁盘驱动器控制器或图形卡）直接访问系统的内存，而无需中央处理器（CPU）的介入。
  • DMA控制器会接管总线控制权，直接将数据从一个地址空间移动到另一个地址空间，比如从内存到硬盘或从网络接口卡到内存。
  • 完成数据传输后，DMA控制器会释放总线控制权，并通知CPU数据传输已完成。这样，CPU就可以继续执行其他任务，而不会因为等待数据传输而闲置。
• PCIe NVMe控制器控制与数据通道交互示意如下：
  

🐇NAND闪存控制器后端子系统

• 后端子系统一般包括任务调度模块、数据处理单元和闪存驱动。任务调度模块是后端子系统的大脑，通过SQ、CQ和CPU(固件)交互，以控制数据处理单元和闪存驱动完成固件提交任务。
• 后端的任务调度器（Taskscheduler）从SQ获取来自固件的命令，并将命令拆解为针对数据处理单元和闪存驱动（主要是微码处理器和闪存的PHY）的操作，等相关操作完成会收到对应的回复，任务调度器更新CQ里面的内容，并通知CPU。其中涉及的数据通路分为NAND写和NAND读两个操作方向。
  
• 在NAND写操作方向，数据从控制器的片上SRAM或者片外DRAM送至数据处理单元进行处理，然后通过闪存驱动写入NAND颗粒；在NAND读操作方向，数据从NAND颗粒读出，经过数据处理单元的处理传输到控制器的片上SRAM。
  • 写过程中的数据处理流程：固件元数据和用户数据合并 →独立磁盘冗余阵列（RedundantArray Independent Disk，RAID）引擎的异或运算→扰码器的伪随机化操作 →LDPC 编码并产生验证信息。
  • 读过程中的数据处理流程：LDPC译码并得到正确数据→扰码器对数据去随机化→判断固件元数据并去掉数据中的固件元数据。

🐇内存子系统

• 内存子系统包括片上SRAM和外设DRAM。
  • 片上的SRAM资源比较有限，按照AU（Allocation Unit，分配单元）大小进行组织、申请和释放，通常AU的大小为4KB。SRAM资源申请和释放可以单独由固件来管理，也可以由固件和硬件一起管理，如固件负责申请，当操作完成后由硬件释放。
  • DRAM用于存放L2P映射表及用户写数据等。L2P映射是指逻辑地址到物理地址的映射（Logical address To Physical address）。这种映射是由SSD的固件中的FTL（Flash Translation Layer，闪存转换层）来管理的。DRAM外部内存的管理则通过DRAM控制器进行，这种方式相比片上SRAM的访问速度要慢，但容量会大很多。
• DRAM控制器&PHY和PCIe控制器&PHY类似，都属于通用性的，可以通过向第三方卫供应商购买来提高SoC（系统级芯片，System on Chip）的开发效率。所有的内存空间以及各种控制器的寄存器均会有独一无二的地址，这可方便CPU的访问与控制。

🐇安全子系统

• 安全子系统主要负责两部分功能：对固件进行签名和验签，以及对用户数据进行加解密。

• 验签与授权相关安全算法如下。

  • 国际标准算法SHA-256和国内商密SM3算法，用于计算哈希值。
  • 国际标准算法RSA和国内商密SM2作为公匙加密法，用于固件和硬件验签。
  • 国际标准AES 和国内商密SM4，对固件等重要系统文件进行加解密
  • 真随机数(TRND)，用于密钥和临时数据(Nonce)加解密。

• TCG Opal为了保证数据安全可靠，提出Self-Encrypting Drive（自加密盘）的概念。
  

  • 明文由用户输入，控制器利用硬件的AES模块进行数据加密，然后写入相应的SRAM 和闪存颗粒中。
  • 用于用户数据加密的 Media EncryptionKey（媒体加密密钥，简称MEK）本身也被加密保护着，需要KeyEncryptionKey（密钥加密密钥，简称KEK）对加密后的 MEK 进行解密。
  • KEK则是通过用户输入的AuthenticationKey（验证密钥，PIN中的一种）通过KDF运算产生的，加密和认证环环相扣，从而创建一个安全可靠的数据环境。

🐇CPU计算子系统

• CPU计算子系统是整个控制器的管理中心，可确保有足够高的算力以保证性能需求，尤其是随机性能需求。
• 除了CPU核之外，CPU计算子系统中的重要部件还有ITCM与DTCM，它们分别用于存放指令以及重要的变量和数据。在目前的控制器芯片中，主流的CPU为ARMR系列(如R5和R8)。而主流的CPU核除了ARM的CPU核外，还有新思科技的ARC和RISC-V的CPU核。
  • ITCM主要用于存储指令代码。由于它与CPU内核紧密耦合，因此可以以与内核相同的速度访问指令，这对于提高程序的执行速度非常有帮助。在某些系统中，所有的指令都存储在ITCM中，特别是对于那些对实时性要求高的代码段。
  • DTCM主要用于存储数据。与ITCM一样，DTCM也具有高速访问的特点，适合存放需要频繁访问的数据。DTCM的访问速度通常比外部RAM快得多，因此可以显著提高数据存取的速度。
• 对于多核CPU系统，CPU核间的通信至关重要，可以通过共享的TCM来实现高效通信，当然也可以设计专用硬件来辅助复杂体系中多核间通信。除了实时R系列CPU核之外，ARMA系列CPU(如A53和A55CPU集群)也经常在高端的企业级控制器芯片中作为主处理器使用。

• 参考书籍：《深入浅出SSD：固态存储核心技术、原理与实战》（第2版）