目录
- 1. PCIe to AXI Lite Master
- 1.1. BAR Address to AXI Address
- 2. PCIe to AXI Memory Mapped Master
- 3. PCIe to DMA Interface
- 3.1. Descriptor
- 3.2. Transfer for H2C
- 4. MSI-X Vector Table and PBA
- 5. AXI Lite Slave
介绍XDMA IP核的功能及原理。
根据pg195,XDMA IP 的PCIe to AXI Bridge功能只存在于UltraScale+器件,不支持7系列器件,此处不介绍。
pg195 《DMA/Bridge Subsystem for PCI Express v4.1Product Guide Vivado Design Suite》
根据XDMA IP设置,有如下几种接口,下面依次介绍这几种接口的功能
XDMA内部构成如下图所示
PCIe协议详解见高速外设互连接口(Peripheral Component Interconnect express, PCIe)
1. PCIe to AXI Lite Master
这个比较简单,使用AXI Lite接口用于主机访问用户侧的各种寄存器、存储器。XDMA为该接口开启一个BAR空间,通过将PCIe总线域地址映射到FPGA处AXI总线域地址,实现寄存器读写。该接口*addr接口位宽为固定32bit.
IP设置该接口如下,需要指定主机为该BAR空间分配的内存空间大小,以及PCIe到AXI地址转换值。
其中AXI 总线域地址=PCIe总线域地址 偏移+PCIe to AXI Transalation。
手把手教你学会 Xilinx PCIE/XDMA 读写DDR系列(二) ——XDMA详细配置步骤
33.XDMA功能详解2-XDMA概述、功能框图、应用场景
下面介绍XDMA内部是如何通过TLP对用户侧进行访问的。
1.1. BAR Address to AXI Address
以下图FPGA的Block Design为例,XDMA IP 通过AXI SmartConnect连接MIG和BRAM
假设XDMA 的BAR0映射为M_AXI_LITE接口,且满足:PCIe to AXI Transalation==0x4000_0000
假设主机侧为BAR0分配的PCIe域内存空间为0x1000_0000-0x3000_0000(512MB)。
其中MIG为64M×32bit,寻址空间为256MB,主机侧的PCIe域地址空间为0x1000_0000-0x1FFF_FFFF,在FPGA侧的AXI总线域地址设置为0x4000_0000-0x4FFF_FFFF。
其中Block RAM为16K×32bit,寻址空间为64KB,主机侧的PCIe域地址空间为0x2000_0000-0x2000_FFFF,在FPGA侧设置的AXI总线域地址为0x5000_0000-0x5000_FFFF
AXI 总线域地址就是Vivado里Address Editor标签中命名的地址
如果主机要读取Block RAM中0x10的数据步骤如下:
- 先发送Length为0x1、Address为(0x2000_0000+0x40)的MRd TLP至pcie_mgt接口
- XDMA检测到TLP中的Address字段命中BAR0后,就将BAR0转化为AXI总线域地址,通过M_AXI_LITE接口发送读请求,其m_axi_araddr[31:0]=(0x4000_0000+(0x2000_0000+0x40-0x1000_0000))=(0x5000_0000+0x40),m_axi_rdata[31:0]返回数据
- 之后AXI SmartConnect再将AXI总线域地址转化为M01_AXI的地址,即BRAM Controller侧地址,即M01_AXI_araddr[15:0]=0x40、M01_AXI_arlen[7:0] = 8’d3、M01_AXI_arsize[2:0] =3’d2。
- AXI BRAM Controller将BRAM Controller侧地址转化为BRAM的raddr[13:0] = 0x10
2. PCIe to AXI Memory Mapped Master
3. PCIe to DMA Interface
是XDMA实现SG DMA的接口,可以配置为多Channel H2C Stream或C2H Stream类型,也可以配置为AXI4 Master用于所有通道共享。此处我们介绍配置为AXI4 Memory Mapped的SG DMA,对应到XDMA IP上其实就是一个M_AXI接口
首先介绍一下什么是SG DMA。SG DMA与普通DMA不同的是 允许每次 DMA 传输访问多个内存空间,所有任务都结束后,才发出中断。 能够提高CPU工作效率。
SG DMA基本原理是主机在主存中开辟一片空间保存H2C链表和C2H链表,链表以 Descriptor 为基本单元。每个Descriptor包含了要进行DMA的起始地址、长度、目标外设地址、下一个Descriptor在内存空间地址等信息。
主机控制SG DMA启动后,先读取第一个Descriptor、解析、执行DMA传输,传输完成后再从主存中读取第二个Descriptor,往复循环上述过程,直到读取到最后一个Descriptor,完成传输发出中断。
基于Xilinx FPGA的AXI Direct Memory Access (Scatter Gather Engine模式) 行为分析及软件操作流程
3.1. Descriptor
无论是H2C还是C2H,XDMA规定的descriptor格式如下图所示
可以看到一个descriptor占32字节
Len[27:0]单位是字节,Nxt_adj[5:0]表示链表后还剩多少个descriptor。
Src_addr[63:0]表示需要执行DMA的数据源地址,如果是H2C DMA该地址为主机侧PCIe总线域地址,若是C2H DMA该地址为FPGA侧AXI总线域地址。
同理,Dst_addr[63:0]表示需要执行DMA的数据目的地址,如果是H2C DMA该地址为FPGA侧AXI总线域地址,若是C2H DMA该地址为主机侧PCIe总线域地址。
Nxt_addr[63:0]表示下一个descriptor地址,只能是主机侧PCIe总线域地址。
可以在XDMA IP的GUI界面的PCIe: DMA标签下选择Descriptor Bypass for H2C和C2H,就可以通过旁路接口输入descriptor,可以不只从host主存获取
36.XDMA原理详解2-DMA描述符、描述符FIFO、描述符旁路详解
3.2. Transfer for H2C
XDMA执行SG DMA是基于通过BAR空间对相关DMA寄存器控制 进行的。
下面以H2C为例,介绍XDMA执行SG DMA整个流程
图中一个框出多个箭头表示并行执行。
执行过程如下:
Step 1. 主机向主存中存储多块连续数据,假设为100块
Step 2. 主机生成100个Descriptor分别指向这100个数据块,形成descriptors链表放入主存中。
注意每个descriptor.Dst_adr[63:0]是FPGA侧的AXI总线域地址
Step 3. 主机通过MWr TLP命中 DMA对应的BAR空间,向H2C SG DMA寄存器组写入首descriptor起始地址、首descriptor后的descriptor个数
上述信息分别对应XDMA的0x4080、0x4084、0x4088寄存器
Step 4. 主机初始化H2C DMA传输,开启对应通道的descriptor获取
包括H2C Channel Control寄存器0x0004、SGDMA Descriptor Controller 寄存器0x6010等等
Step 5. XDMA根据H2C SG DMA寄存器组的信息,以及获取的descriptor中Nxt_adr[63:0]信息,不断向主机发送MRd TLP包,获取descriptor缓存入FIFO
每次向主机请求多少个Descriptor(每个MRd TLP的Length[9:0]字段)与XDMA自身的Max Read Request Size(MRRS)寄存器0x300C和descriptor FIFO容量有关。
MRRS寄存器如下所示,一般为512B或1024B
DMA内部descriptor FIFO深度为 AXI Data Width×512供所有Channel共用,例如2个H2C、2个C2H的Gen3 x8,AXI Data Width=256bit,因此有256bit×5122=16KB=32B×512,可放入512个descriptor。
35.XDMA原理详解1-DMA描述符概述及DMA数据传输架构
37.XDMA寄存器详解1-内部寄存器概览