本篇主要讲网卡的工作原理

最近在做一个网卡仿真程序。主要目的是用程序代替网卡去向内存中填充报文。

网卡与内存的交互方式

1. rx阶段

网卡通过DMA向内存中发送数据包。
在内存中主要有三个数据结构
① DMA环(rx_ring), 其中存储了DMA描述符, DMA描述符指向了实际物理地址(todo), NIC将根据DMA描述符内的address把收到的报文放到相应的地址中。并更改DMA的RX_USED位, 让驱动程序知道NIC已经向这个槽里放置了报文。
② 软件环(sw_ring), 其中储存了报文池中的可用mbuf地址。

内存分布图:

pmd收包函数源代码分析, 以下代码只保留了重要部分

uint16_t recv_pkts(void *rx_queue, struct rte_mbuf **rx_pkts,
							uint16_t nb_pkts)
{
	struct macb_rx_queue *rxq;
	unsigned int len;
	unsigned int entry, next_entry;
	struct macb_dma_desc *desc, *ndesc;
	uint16_t nb_rx;
	struct macb *bp;
	struct rte_mbuf *rxm;
	struct rte_mbuf *nmb;
	struct macb_rx_entry *rxe, *rxn;
	uint64_t dma_addr;
	nb_rx = 0;
	rxq = rx_queue;
	bp = rxq->bp;
        
        /* 一次轮询从tail开始检查nb_pkts个数据包 可以的话重置rxe和dma描述符 */
	while (nb_rx < nb_pkts) {
		u32 ctrl;
		bool rxused;
		struct rte_ether_hdr *eth_hdr;
		uint16_t ether_type;

		entry = macb_rx_ring_wrap(bp, rxq->rx_tail);
		rxe = macb_rx_entry(rxq, entry); // 获取当前待处理在pool中的mbuf的指针
		desc = macb_rx_desc(rxq, entry); // 获取当前待处理的DMA descriptor
		
                /* 
                 * 如果该描述符的RX_USED位是0 证明NIC没有将数据传进rxe中, 
                 * 所以可以这个槽位以及后面的槽位可以直接不用管了 
                 */
		rxused = (desc->addr & MACB_BIT(RX_USED)) ? true : false;
		if (!rxused)
			break;
		/* Ensure ctrl is at least as up-to-date as rxused */
		rte_smp_rmb();
		ctrl = desc->ctrl;
		rxq->rx_tail++;
                
                /* 重新在报文池中分配了一块新的m_buff空间*/
		nmb = rte_mbuf_raw_alloc(rxq->mb_pool)；
                
		rxm = rxe->mbuf; /* rx_mbuf, 这个是要取得报文 */
		rxe->mbuf = nmb; /* 将rxe->mbuf赋值为新的m_buf 下次NIC可以再次使用 */

		dma_addr = rte_cpu_to_le_64(rte_mbuf_data_iova_default(nmb));

		eth_hdr = rte_pktmbuf_mtod(rxm, struct rte_ether_hdr *);
		ether_type = eth_hdr->ether_type;


		/* 将原本rxe的m_buf指针给rx_pkts, 相当于返回给调用函数 */
		rx_pkts[nb_rx++] = rxm;
                
                /* 给DMA描述符赋值 相当于重置了dma描述符 */
		macb_set_addr(bp, desc, dma_addr);
	}

	return nb_rx;
}

因此, 假设我们需要模拟NIC, 需要做的事情就是主动将USED位赋为1, 然后网sw_ring里对应槽位的mbuf里插入随机报文即可

2.tx阶段

tx阶段是rx阶段的逆过程, 当NIC将待发送报文从tx_queue里拿走时, TX_USED位会赋值为1, macb_reclaim_txd函数会从tx_queue队列的head遍历, 除掉所有TX_USED=1的槽位, 这样程序就可以继续往tx_queue里放置需要放置的报文, NIC就可以从tx_queue中复制报文并发送。

假设我们需要模拟NIC, 需要做的事情就是主动将USED位赋为1即可, 以及模拟数据。

pmd 发包源代码分析 略