一、Linux 网络协议栈

如下是TCP/IP四层网络模型，实际上Linux 网络协议栈与它相似

 下图是Linux 网络协议栈

 二、Linux 接收网络包的流程

1.网卡是计算机里的一个硬件，专门负责接收和发送网络包，当网卡接收到一个网络包后，会通过 DMA （Direct Memory Access，直接内存访问）技术，将网络包写入到指定的内存地址，也就是写入到 Ring Buffer (环形缓冲区)，接着就会告诉操作系统这个网络包已经到达。

2.告诉操作系统这个网络包已经到达最简单的一种方式就是触发中断，也就是每当网卡收到一个网络包，就触发一个中断告诉操作系统，但一旦网络包多起来，不停的打断会影响系统的整体效率。

为了解决频繁中断带来的性能开销，Linux 内核在 2.6 版本中引入了 NAPI 机制，它是混合「中断和轮询」的方式来接收网络包，它的核心概念就是不采用中断的方式读取数据，而是首先采用中断唤醒数据接收的服务程序，然后 poll 的方法来轮询数据。

因此，当有网络包到达时，会通过 DMA 技术，将网络包写入到指定的内存地址，接着网卡向 CPU 发起硬件中断，当 CPU 收到硬件中断请求后，根据中断表，调用已经注册的中断处理函数。

硬件中断处理函数会做如下的事情：

• 需要先「暂时屏蔽中断」，表示已经知道内存中有数据了，告诉网卡下次再收到数据包直接写内存就可以了，不要再通知 CPU 了，这样可以提高效率，避免 CPU 不停的被中断。
• 接着，发起「软中断」，然后恢复刚才屏蔽的中断。

至此，硬件中断处理函数的工作就已经完成。

(硬件中断处理函数做的事情很少，主要耗时的工作都交给软中断处理函数了。)

3.内核中的 ksoftirqd 线程专门负责软中断的处理，当 ksoftirqd 内核线程收到软中断后，就会来轮询处理数据。

ksoftirqd 线程会从 Ring Buffer 中获取一个数据帧，用 sk_buff (socket_buffer，一种数据结构)表示，从而可以作为一个网络包交给网络协议栈进行逐层处理。

4.首先，会进入到网络接口层，在这一层会检查报文的合法性，如果不合法则丢弃，合法则会找出该网络包的上层协议的类型，比如是 IPv4，还是 IPv6，接着再去掉帧头和帧尾，然后交给网络层。

5.到了网络层，则取出 IP 包，判断网络包下一步的走向，比如是交给上层处理还是转发出去。当确认这个网络包要发送给本机后，就会从 IP 头里看看上一层协议的类型是 TCP 还是 UDP，接着去掉 IP 头，然后交给传输层。

6.传输层取出 TCP 头或 UDP 头，根据四元组「源 IP、目的 IP、源端口、目的端口」 作为标识，找出对应的 Socket，并把数据放到 Socket 的接收缓冲区。

7.最后，应用层程序调用 Socket 接口，将内核的 Socket 接收缓冲区的数据「拷贝」到应用层的缓冲区，然后唤醒用户进程。

下图左边部分看到网络包接收的流程，右边部分刚好反过来，它是网络包发送的流程。

 

三、Linux 发送网络包的流程

发包是收包的逆过程。

1.首先，应用程序会调用 Socket 发送数据包的接口，由于这个是系统调用，所以会从用户态陷入到内核态中的 Socket 层，内核会申请一个内核态的 sk_buff 内存，将用户待发送的数据拷贝到 sk_buff 内存，并将其加入到发送缓冲区。

2.接下来，网络协议栈从 Socket 发送缓冲区中取出 sk_buff，并按照 TCP/IP 协议栈从上到下逐层处理。

如果使用的是 TCP 传输协议发送数据，那么先拷贝一个新的 sk_buff 副本 ，这是因为 sk_buff 后续在调用网络层，最后到达网卡发送完成的时候，这个 sk_buff 会被释放掉。而 TCP 协议是支持丢失重传的，在收到对方的 ACK(acknowledgement，代表接收方已接收并理解发送的信息) 之前，这个 sk_buff 不能被删除。所以实际上网卡发送的是 sk_buff 的一个拷贝。

接着，对 sk_buff 填充 TCP 头。

sk_buff 可以表示各个层的数据包，在应用层数据包叫 data，在 TCP 层我们称为 segment，在 IP 层我们叫 packet，在数据链路层称为 frame。

3.然后交给网络层，在网络层里会做这些工作：选取路由（确认下一跳的 IP）、填充 IP 头、netfilter 过滤、对超过 MTU 大小的数据包进行分片。处理完这些工作后会交给网络接口层处理。

4.网络接口层会通过 ARP 协议获得下一跳的 MAC 地址，然后对 sk_buff 填充帧头和帧尾，接着将 sk_buff 放到网卡的发送队列中。

5.这一些工作准备好后，会触发「软中断」告诉网卡驱动程序，这里有新的网络包需要发送，驱动程序会从发送队列中读取 sk_buff，将这个 sk_buff 挂到 RingBuffer 中，接着将 sk_buff 数据映射到网卡可访问的内存 DMA 区域，最后触发真实的发送。

6.当数据发送完成以后，还需要清理内存。发送完成的时候，网卡设备会触发一个硬中断来释放内存，主要是释放 sk_buff 内存和清理 RingBuffer 内存。

最后，当收到这个 TCP 报文的 ACK 应答时，传输层就会释放原始的 sk_buff 。

 

发送网络数据的时候，涉及几次内存拷贝操作？

第一次：调用发送数据的系统调用的时候，内核会申请一个内核态的 sk_buff 内存，将用户待发送的数据拷贝到 sk_buff 内存，并将其加入到发送缓冲区。

第二次：在使用 TCP 传输协议的情况下，从传输层进入网络层的时候，每一个 sk_buff 都会被克隆一个新的副本出来。副本 sk_buff 会被送往网络层，等它发送完的时候就会释放掉，然后原始的 sk_buff 还保留在传输层，等收到这个数据包的 ACK 时，才会释放原始的 sk_buff 。

第三次：当 IP 层发现 sk_buff 大于 MTU 时才需要进行。会再申请额外的 sk_buff，并将原来的 sk_buff 拷贝为多个小的 sk_buff。

 

总结

1.Linux收包：网卡收到网络包之后会通过 DMA 技术将网络包写入RingBuffer环形缓冲区，接着网卡向 CPU 发起硬件中断，当 CPU 收到硬件中断请求后，根据中断表，调用已经注册的中断处理函数。硬件中断函数先暂时屏蔽中断(下一次就直接写入内存而不通知CPU)，再发起软中断，软中断调用ksoftirqd 线程从 Ring Buffer 中获取一个数据帧，用sk_buffer(socket_buffer，一种数据类型)表示，然后由网络协议栈处理，先进入网络接口层，去掉帧头和帧尾，再进入网络层，去掉IP头部，接着进入传输层去掉TCP 头或 UDP 头，根据四元组「源 IP、目的 IP、源端口、目的端口」 作为标识，找出对应的 Socket，并把数据放到 Socket 的接收缓冲区。最后，应用层程序调用 Socket 接口，将缓冲区的数据「拷贝」到应用层的缓冲区，然后唤醒用户进程。

 

2.Linux发包：应用程序会调用 Socket 发送数据包的接口，内核会申请一个 sk_buff 内存，将用户待发送的数据拷贝到 sk_buff 内存，并将其加入到发送缓冲区，然后网络协议栈从 Socket 发送缓冲区中取出 sk_buff，先进入传输层，如果使用的是 TCP 协议发送数据，会先拷贝一个sk_buff 副本 ，然后为副本TCP头部，本来的sk_buff就留在传输层，接着sk_buff副本在网络层添加上IP头部，然后在网络接口层添加上MAC头部以及帧头和帧尾，最后将 sk_buff 放到网卡的发送队列中。随后会触发「软中断」告诉网卡驱动程序，驱动程序会从发送队列中读取 sk_buff，将这个 sk_buff 挂到 RingBuffer 中，接着将 sk_buff 数据映射到网卡可访问的内存 DMA 区域，最后触发真实的发送。当数据发送完成以后，网卡会触发一个硬中断来释放内存，主要是释放 sk_buff 内存和清理 RingBuffer 内存。