零拷贝mmap、sendfile

定义

零拷贝技术主要是解决传统网络I/O操作中发送文件的性能问题：如下图表示一次read和write时传统I/O涉及到的CPU操作：

在这里插入图片描述

涉及到4次用户态↔内核态上下文切换，其中read切换两次、write切换两次；
涉及到4次数据拷贝。其中DMA拷贝两次、CPU拷贝两次；

上述操作多次的上下文切换与拷贝会影响性能。

可以使用零拷贝技术mmap+write、sendfile和splice来优化。

DMA

DMA（Direct Memory Access），即直接存储器存取，是一种快速传送数据的机制。利用它进行数据传送时不需要CPU的参与。

使用DMA拷贝数据会获取一部分系统数据总线资源，用来传输数据，而不需要CPU参数。IO读取也不会引发中断。CPU读取IO操作，系统调用时是会引发中断的。

mmap

mmap（memory map）采用虚拟内存，地址映射来减少一次拷贝。可以减少将数据从内核态拷贝到用户态的性能消耗。

在这里插入图片描述

如上图所示，从数据并没有从内核态拷贝到用户态，而是直接通过内存映射的方式得到待传文件的虚拟内存地址，在发送的时候，可以通过共享的虚拟内存地址将待发送文件信息拷贝到socket缓存区，发送出去。

#include <sys/mman.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <fcntl.h>
#include <cstring>

int main() {
    // 打开文件并将其映射到内存中
    int fd = open("file.txt", O_RDONLY);
    size_t size = lseek(fd, 0, SEEK_END);
    char* data = (char*) mmap(nullptr, size, PROT_READ, MAP_PRIVATE, fd, 0);

    // 创建套接字并连接到目标地址
    int sock = socket(AF_INET, SOCK_STREAM, 0);
    sockaddr_in addr;
    addr.sin_family = AF_INET;
    addr.sin_addr.s_addr = inet_addr("127.0.0.1");
    addr.sin_port = htons(1234);
    connect(sock, (sockaddr*) &addr, sizeof(addr));

    // 将内存中的数据直接写入套接字
    write(sock, data, size);//

    // 关闭套接字和文件，并解除内存映射
    close(sock);
    munmap(data, size);
    close(fd);

    return 0;
}

mmap这里只是减少了copy，但还是需要4次上下文切换。那是否有什么方式可以减少上下文切换，这时sendfile就出来了。

`sendfile`

sendfile可以减少文件发送时的上下文切换。

从 Linux 2.1 版本开始，Linux 引入了 sendfile来简化操作。sendfile方式可以替换上面的mmap/write方式来进一步优化。

sendfile将以下操作：

  mmap();
  write();

替换为：

 sendfile();

这样就减少了上下文切换，因为少了一个应用程序发起write操作，直接发起sendfile操作。

在这里插入图片描述

直接通过DMA将磁盘数据复制到缓存区，在内核态将缓冲区的数据拷贝到socket缓存区，不需要用户态参与。

#include <sys/socket.h>
#include <fcntl.h>
#include <cstring>

int main() {
    // 打开文件并获取文件描述符
    int fd = open("file.txt", O_RDONLY);

    // 创建套接字并连接到目标地址
    int sock = socket(AF_INET, SOCK_STREAM, 0);
    sockaddr_in addr;
    addr.sin_family = AF_INET;
    addr.sin_addr.s_addr = inet_addr("127.0.0.1");
    addr.sin_port = htons(1234);
    connect(sock, (sockaddr*) &addr, sizeof(addr));

    // 使用sendfile函数将文件信息发送到套接字
    off_t offset = 0;
    struct stat stat_buf;
    fstat(fd, &stat_buf);
    sendfile(sock, fd, &offset, stat_buf.st_size);//直接使用sendfile发送文件，避免上下文切换

    // 关闭套接字和文件
    close(sock);
    close(fd);

    return 0;
}

可以看到sendfile经历了3次的copy动作，而且没有频繁的用户态↔内核态的状态切换。

那sendfile是不是就是完美的，还可不可以把cpu copy也节省呢?

带有 scatter/gather 的 sendfile方式

Linux 2.4 内核进行了优化，提供了带有 scatter/gather 的 sendfile 操作，这个操作可以把最后一次 CPU COPY 去除。其原理就是在内核空间 Read BUffer 和 Socket Buffer 不做数据复制，而是将 Read Buffer 的内存地址、偏移量记录到相应的 Socket Buffer 中，这样就不需要复制。其本质和虚拟内存的解决方法思路一致，就是内存地址的记录。

下图展示了scatter/gather 的 sendfile 的原理：

在这里插入图片描述