概述
Convolution DMA Module的定义在NV_NVDLA_cmda.v中,其module的定义如下:
module NV_NVDLA_cdma (
cdma_dat2cvif_rd_req_ready //|< i
,cdma_dat2mcif_rd_req_ready //|< i
,cdma_wt2cvif_rd_req_ready //|< i
,cdma_wt2mcif_rd_req_ready //|< i
,csb2cdma_req_pd //|< i
,csb2cdma_req_pvld //|< i
,cvif2cdma_dat_rd_rsp_pd //|< i
,cvif2cdma_dat_rd_rsp_valid //|< i
,cvif2cdma_wt_rd_rsp_pd //|< i
,cvif2cdma_wt_rd_rsp_valid //|< i
,dla_clk_ovr_on_sync //|< i
,global_clk_ovr_on_sync //|< i
,mcif2cdma_dat_rd_rsp_pd //|< i
,mcif2cdma_dat_rd_rsp_valid //|< i
,mcif2cdma_wt_rd_rsp_pd //|< i
,mcif2cdma_wt_rd_rsp_valid //|< i
,nvdla_core_clk //|< i
,nvdla_core_rstn //|< i
,pwrbus_ram_pd //|< i
,sc2cdma_dat_entries //|< i
,sc2cdma_dat_pending_req //|< i
,sc2cdma_dat_slices //|< i
,sc2cdma_dat_updt //|< i
,sc2cdma_wmb_entries //|< i
,sc2cdma_wt_entries //|< i
,sc2cdma_wt_kernels //|< i
,sc2cdma_wt_pending_req //|< i
,sc2cdma_wt_updt //|< i
,tmc2slcg_disable_clock_gating //|< i
,cdma2buf_dat_wr_addr //|> o
,cdma2buf_dat_wr_data //|> o
,cdma2buf_dat_wr_en //|> o
,cdma2buf_dat_wr_hsel //|> o
,cdma2buf_wt_wr_addr //|> o
,cdma2buf_wt_wr_data //|> o
,cdma2buf_wt_wr_en //|> o
,cdma2buf_wt_wr_hsel //|> o
,cdma2csb_resp_pd //|> o
,cdma2csb_resp_valid //|> o
,cdma2sc_dat_entries //|> o
,cdma2sc_dat_pending_ack //|> o
,cdma2sc_dat_slices //|> o
,cdma2sc_dat_updt //|> o
,cdma2sc_wmb_entries //|> o
,cdma2sc_wt_entries //|> o
,cdma2sc_wt_kernels //|> o
,cdma2sc_wt_pending_ack //|> o
,cdma2sc_wt_updt //|> o
,cdma_dat2cvif_rd_req_pd //|> o
,cdma_dat2cvif_rd_req_valid //|> o
,cdma_dat2glb_done_intr_pd //|> o
,cdma_dat2mcif_rd_req_pd //|> o
,cdma_dat2mcif_rd_req_valid //|> o
,cdma_wt2cvif_rd_req_pd //|> o
,cdma_wt2cvif_rd_req_valid //|> o
,cdma_wt2glb_done_intr_pd //|> o
,cdma_wt2mcif_rd_req_pd //|> o
,cdma_wt2mcif_rd_req_valid //|> o
,csb2cdma_req_prdy //|> o
,cvif2cdma_dat_rd_rsp_ready //|> o
,cvif2cdma_wt_rd_rsp_ready //|> o
,mcif2cdma_dat_rd_rsp_ready //|> o
,mcif2cdma_wt_rd_rsp_ready //|> o
);
//
// NV_NVDLA_cdma_ports.v
//
input nvdla_core_clk; /* cdma2buf_dat_wr, cdma2buf_wt_wr, cdma2csb_resp, cdma2sc_dat_pending, cdma2sc_wt_pending, cdma_dat2cvif_rd_req, cdma_dat2glb_done_intr, cdma_dat2mcif_rd_req, cdma_wt2cvif_rd_req, cdma_wt2glb_done_intr, cdma_wt2mcif_rd_req, csb2cdma_req, cvif2cdma_dat_rd_rsp, cvif2cdma_wt_rd_rsp, dat_up_cdma2sc, dat_up_sc2cdma, mcif2cdma_dat_rd_rsp, mcif2cdma_wt_rd_rsp, sc2cdma_dat_pending, sc2cdma_wt_pending, wt_up_cdma2sc, wt_up_sc2cdma */
input nvdla_core_rstn; /* cdma2buf_dat_wr, cdma2buf_wt_wr, cdma2csb_resp, cdma2sc_dat_pending, cdma2sc_wt_pending, cdma_dat2cvif_rd_req, cdma_dat2glb_done_intr, cdma_dat2mcif_rd_req, cdma_wt2cvif_rd_req, cdma_wt2glb_done_intr, cdma_wt2mcif_rd_req, csb2cdma_req, cvif2cdma_dat_rd_rsp, cvif2cdma_wt_rd_rsp, dat_up_cdma2sc, dat_up_sc2cdma, mcif2cdma_dat_rd_rsp, mcif2cdma_wt_rd_rsp, sc2cdma_dat_pending, sc2cdma_wt_pending, wt_up_cdma2sc, wt_up_sc2cdma */
output cdma2buf_dat_wr_en; /* data valid */
output [11:0] cdma2buf_dat_wr_addr;
output [1:0] cdma2buf_dat_wr_hsel;
output [1023:0] cdma2buf_dat_wr_data;
output cdma2buf_wt_wr_en; /* data valid */
output [11:0] cdma2buf_wt_wr_addr;
output cdma2buf_wt_wr_hsel;
output [511:0] cdma2buf_wt_wr_data;
output cdma2csb_resp_valid; /* data valid */
output [33:0] cdma2csb_resp_pd; /* pkt_id_width=1 pkt_widths=33,33 */
output cdma2sc_dat_pending_ack;
output cdma2sc_wt_pending_ack;
output cdma_dat2cvif_rd_req_valid; /* data valid */
input cdma_dat2cvif_rd_req_ready; /* data return handshake */
output [78:0] cdma_dat2cvif_rd_req_pd;
output [1:0] cdma_dat2glb_done_intr_pd;
output cdma_dat2mcif_rd_req_valid; /* data valid */
input cdma_dat2mcif_rd_req_ready; /* data return handshake */
output [78:0] cdma_dat2mcif_rd_req_pd;
output cdma_wt2cvif_rd_req_valid; /* data valid */
input cdma_wt2cvif_rd_req_ready; /* data return handshake */
output [78:0] cdma_wt2cvif_rd_req_pd;
output [1:0] cdma_wt2glb_done_intr_pd;
output cdma_wt2mcif_rd_req_valid; /* data valid */
input cdma_wt2mcif_rd_req_ready; /* data return handshake */
output [78:0] cdma_wt2mcif_rd_req_pd;
input csb2cdma_req_pvld; /* data valid */
output csb2cdma_req_prdy; /* data return handshake */
input [62:0] csb2cdma_req_pd;
input cvif2cdma_dat_rd_rsp_valid; /* data valid */
output cvif2cdma_dat_rd_rsp_ready; /* data return handshake */
input [513:0] cvif2cdma_dat_rd_rsp_pd;
input cvif2cdma_wt_rd_rsp_valid; /* data valid */
output cvif2cdma_wt_rd_rsp_ready; /* data return handshake */
input [513:0] cvif2cdma_wt_rd_rsp_pd;
output cdma2sc_dat_updt; /* data valid */
output [11:0] cdma2sc_dat_entries;
output [11:0] cdma2sc_dat_slices;
input sc2cdma_dat_updt; /* data valid */
input [11:0] sc2cdma_dat_entries;
input [11:0] sc2cdma_dat_slices;
input mcif2cdma_dat_rd_rsp_valid; /* data valid */
output mcif2cdma_dat_rd_rsp_ready; /* data return handshake */
input [513:0] mcif2cdma_dat_rd_rsp_pd;
input mcif2cdma_wt_rd_rsp_valid; /* data valid */
output mcif2cdma_wt_rd_rsp_ready; /* data return handshake */
input [513:0] mcif2cdma_wt_rd_rsp_pd;
input [31:0] pwrbus_ram_pd;
input sc2cdma_dat_pending_req;
input sc2cdma_wt_pending_req;
output cdma2sc_wt_updt; /* data valid */
output [13:0] cdma2sc_wt_kernels;
output [11:0] cdma2sc_wt_entries;
output [8:0] cdma2sc_wmb_entries;
input sc2cdma_wt_updt; /* data valid */
input [13:0] sc2cdma_wt_kernels;
input [11:0] sc2cdma_wt_entries;
input [8:0] sc2cdma_wmb_entries;
input dla_clk_ovr_on_sync;
input global_clk_ovr_on_sync;
input tmc2slcg_disable_clock_gating;
卷积DMA (CDMA)是卷积流水线中的一个阶段。它从SRAM/DRAM中取出数据用来进行卷积运算,按照卷积引擎所需的顺序将其存储到缓冲器(卷积Buffer或CBUF)中。支持的输入格式有:
- 像素数据
- 特征数据
- 未压缩/压缩的权重
- WMB
- WGS
两个读取通道从CDMA连接到AXI接口,它们是权重读取通道和数据读取通道。为了获取上面列出的输入格式,通道被配置为该格式的模式,下表记录了读取通道映射的输入数据格式。
卷积DMA仅发送存储读取请求,卷积DMA发送的所有存储读取请求都是64字节对齐的。
CDMA由三个子模块组成,用于提取像素数据或特征数据进行卷积:CDMA_DC(NV_NVDLA_CDMA_dc, NV_NVDLA_CDMA_dc.v)、CDMA_WG(NV_NVDLA_CDMA_wg, NV_NVDLA_CDMA_wg.v)和CDMA_IMG(NV_NVDLA_CDMA_img, NV_NVDLA_CDMA_img.v)。
这些子模块的流程是相似的,但不同之处在于它们如何将数据排列到CBUF RAM。在任何时候,只有一个子模块被激活来获取像素/特征数据。
以CDMA_DC为例介绍流程:
- 检查卷积缓冲区的状态是否有足够的可用空间。
- 生成读取事务
- 在共享缓冲区中缓存特征数据
- 将特征立方体重构(reshape)为合适的顺序
- 生成卷积缓冲器写地址
- 将特征数据写入卷积缓冲器
- 更新CDMA_STATUS子模块中卷积缓冲器的状态
卷积DMA使用专用引擎来处理Winograd的请求,CDMA_WG的结构和功能与CDMA_DC非常相似。但是,卷积缓冲区中生成的特征数据组织是不同的,因此CDMA_WG有一个特殊的获取序列。另外,CDMA_WG总是执行Winograd通道扩展。
CDMA_IMG引擎从外部存储器获取像素数据,它根据数据格式生成地址,对像素元素重新排序,并将它们写入卷积缓冲器的适当entry。CDMA_IMG的基本行为类似于CDMA_DC,但它对像素数据进行操作。
只有CDMA_DC引擎支持多批次模式。也就是说,在一个硬件层中提取多个输入特征数据立方体以提高性能,最大批量可达32。
CDMA还使用一个专用引擎来获取权重:CDMA_WT。与其他DMA引擎相比,CDMA_WT很简单,只是它可以一次支持三个读流。如果输入重量格式是未压缩的,则它仅获取重量数据。如果输入重量格式是压缩的,则权重、WMB和WGS都会被提取。有关权重格式的更多详细信息,请参见数据格式的详细说明。
如果输入权重数据被压缩,两个仲裁器被使能用于读取流的顺序。首先,权重循环仲裁器批准来自权重流或WMB流的请求。然后,获胜者利用静态优先级仲裁与WGS请求流竞争,WGS总是有优先权。最终的获胜请求被发送到权重通道以获取数据。
CDMA_WT总是试图尽可能多地填充卷积缓冲器,直到空闲entries用完或权重获取完成。
CDMA维护并传送CBUF中权重缓冲器和输入数据缓冲器的状态。CDMA和CSC中有两份状态。两个模块交换更新/发布信息,以决定何时获取新的特征/像素/权重数据以及何时发布这些数据元素。
能耗
卷积DMA在数据路径中应用时钟门控。卷积DMA的数据路径时钟在空闲时被选通,并且在可编程寄存器中没有配置硬件层。卷积DMA中的regfile子模块没有时钟门控,因此可以对新命令进行编程。