IO多路复用（Linux epoll）

文章目录

- 一、IO多路复用介绍
- - 1. 缓存 I/O (各种IO模型缘起)
- 二、目前有哪些IO多路复用的方案
- 三、关联基础知识
- - 1. 用户空间和内核空间
  - 2. 文件描述符fd
- 四、Linux IO多路复用 select
- 五、Linux IO多路复用 epoll
- - 1. epoll 介绍
  - 2. epoll只提供三个函数
  - - ET模式与LT模式
  - 3. demo验证
- 六、Unix 下的IO多路复用 kqueue
- 七、参考

一、IO多路复用介绍

I/O的含义：在计算机领域常说的IO包括磁盘IO和网络IO，我们所说的IO复用主要是指网络IO，在Linux中一切皆文件，因此网络IO也经常用文件描述符FD来表示。

复用的含义：那么这些文件描述符FD要复用什么呢？在网络场景中复用的就是任务处理线程，所以简单理解就是多个IO共用1个线程。

单路：一个IO给它专门开一个线程处理。
多路：多个IO复用一个线程处理。（节约线程，内存）。

IO复用技术就是协调多个可释放资源的FD交替共享任务处理线程完成通信任务，实现多个fd对应1个任务处理线程。

注意理解：多路复用 (select/poll/epoll多路复用器) 返回的是IO状态，这些IO的读写，程序自己需要自己去读写。在状态上使用了IO多路复用。

1. 缓存 I/O (各种IO模型缘起)

缓存 I/O 又被称作标准 I/O，大多数文件系统的默认 I/O 操作都是缓存 I/O。在 Linux 的缓存 I/O 机制中，操作系统会将 I/O 的数据缓存在文件系统的页缓存（ page cache ）中，也就是说，**数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。**用户空间没法直接访问内核空间的，内核态到用户态的数据拷贝。

对于一次IO访问（以read举例），数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。 所以说，当一个read操作发生时，它会经历两个阶段：

等待数据准备 (Waiting for the data to be ready) 等待客户端连接(conn ,addr 客户端的每一个连接就是一个socket对象)
将数据从内核拷贝到进程中 (Copying the data from the kernel to the process)

正式因为这两个阶段，linux系统产生了下面五种网络模式的方案。

阻塞 I/O（blocking IO）
非阻塞 I/O（nonblocking IO）
I/O 多路复用（ IO multiplexing）
信号驱动 I/O（ signal driven IO）
异步 I/O（asynchronous IO）

注：由于signal driven IO在实际中并不常用，所以我这只提及剩下的四种IO Model。

blocking IO （阻塞IO）
在linux中，默认情况下所有的socket都是blocking，一个典型的读操作流程大概是这样：
在这里插入图片描述当用户进程调用了recvfrom这个系统调用，kernel就开始了IO的第一个阶段：准备数据（对于网络IO来说，很多时候数据在一开始还没有到达。比如，还没有收到一个完整的UDP包。这个时候kernel就要等待足够的数据到来）。这个过程需要等待，也就是说数据被拷贝到操作系统内核的缓冲区中是需要一个过程的。而在用户进程这边，整个进程会被阻塞（当然，是进程自己选择的阻塞）。当kernel一直等到数据准备好了，它就会将数据从kernel中拷贝到用户内存，然后kernel返回结果，用户进程才解除block的状态，重新运行起来。

所以，blocking IO的特点就是在IO执行的两个阶段都被block了。

非阻塞 I/O（nonblocking IO）
linux下，可以通过设置socket使其变为non-blocking。当对一个non-blocking socket执行读操作时，流程是这个样子：
在这里插入图片描述当用户进程发出read操作时，如果kernel中的数据还没有准备好，那么它并不会block用户进程，而是立刻返回一个error。从用户进程角度讲，它发起一个read操作后，并不需要等待，而是马上就得到了一个结果。用户进程判断结果是一个error时，它就知道数据还没有准备好，于是它可以再次发送read操作。一旦kernel中的数据准备好了，并且又再次收到了用户进程的system call，那么它马上就将数据拷贝到了用户内存，然后返回。

所以，nonblocking IO的特点是用户进程需要不断的主动询问kernel数据好了没有。

I/O 多路复用（ IO multiplexing）

IO multiplexing就是我们说的select，poll，epoll，有些地方也称这种IO方式为event driven IO。select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。它的基本原理就是select，poll，epoll这个function会不断的轮询所负责的所有socket，当某个socket有数据到达了，就通知用户进程。
在这里插入图片描述当用户进程调用了select，那么整个进程会被block，而同时，kernel会“监视”所有select负责的socket，当任何一个socket中的数据准备好了，select就会返回。这个时候用户进程再调用read操作，将数据从kernel拷贝到用户进程。

所以，I/O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符，而这些文件描述符（套接字描述符）其中的任意一个进入读就绪状态，select()函数就可以返回。

异步 I/O（asynchronous IO）
inux下的asynchronous IO其实用得很少。

二、目前有哪些IO多路复用的方案

Linux: select、poll、epoll
MacOS/FreeBSD: kqueue
Windows/Solaris: IOCP

三、关联基础知识

1. 用户空间和内核空间

用户空间和内核空间
参考URL: https://www.cnblogs.com/guxuanqing/p/10482066.html

现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。
操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。
为了保证用户进程不能直接操作内核（kernel），保证内核的安全，操心系统将虚拟空间划分为两部分，一部分为内核空间，一部分为用户空间。

针对linux操作系统而言，将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF），供各个进程使用，称为用户空间。

2. 文件描述符fd

文件描述符（File descriptor）是计算机科学中的一个术语，是一个用于表述指向文件的引用的抽象化概念。

文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。 当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。

在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。

四、Linux IO多路复用 select

linux select函数详解
参考URL: https://www.cnblogs.com/alantu2018/p/8612722.html

select可同时监听的文件描述符数量是通过FS_SETSIZE来限制的，在Linux系统中，该值为1024，当然我们可以增大这个值，但随着监听的文件描述符数量增加，select的效率会降低。

在Linux中，我们可以使用select函数实现I/O端口的复用，传递给 select函数的参数会告诉内核：

我们所关心的文件描述符
对每个描述符，我们所关心的状态。(我们是要想从一个文件描述符中读或者写，还是关注一个描述符中是否出现异常)
我们要等待多长时间。(我们可以等待无限长的时间，等待固定的一段时间，或者根本就不等待)

从 select函数返回后，内核告诉我们一下信息：

对我们的要求已经做好准备的描述符的个数
对于三种条件哪些描述符已经做好准备.(读，写，异常)
有了这些返回信息，我们可以调用合适的I/O函数(通常是 read 或 write)，并且这些函数不会再阻塞.

Select在Socket编程中还是比较重要的，可是对于初学Socket的人来说都不太爱用Select写程序，他们只是习惯写诸如connect、 accept、recv或recvfrom这样的阻塞程序（所谓阻塞方式block，顾名思义，就是进程或是线程执行到这些函数时必须等待某个事件的发生，如果事件没有发生，进程或线程就被阻塞，函数不能立即返回）。
可是使用Select就可以完成非阻塞（所谓非阻塞方式non-block，就是进程或线程执行此函数时不必非要等待事件的发生，一旦执行肯定返回，以返回值的不同来反映函数的执行情况，如果事件发生则与阻塞方式相同，若事件没有发生则返回一个代码来告知事件未发生，而进程或线程继续执行，所以效率较高）方式工作的程序，它能够监视我们需要监视的文件描述符的变化情况–读写或是异常。

缺点：

每次调用都需要将fd集合从用户空间拷贝到内核空间，完成后再从内核空间拷贝回用户空间，fd很多时开销很大。
实现过程是在内核中遍历所有fd，fd很多时开销很大。
支持同时可监控的文件描述符数少，1024或2048。
fd_set在select返回后会改变，所以再次调用select时需要再次设置fd_set
原型：int select(int maxfdp, fd_set *readfds, fd_set *writefds, fd_set errorfds, struct timeval timeout);
fd_set set;
FD_ZERO(&set); / 将set清零/
FD_SET(fd, &set); 将fd加入set
FD_CLR(fd, &set); 将fd从set中清除
FD_ISSET(fd, &set); 测试fd是否在set中，如果在则为true
maxfdp是描述符最大值加1，指定描述符的范围
timeout是NULL则无限等待，阻塞模式；timeout等于0则立即返回，非阻塞模式；timeout大于0则为超时时间，timeout内阻塞，到达超时时间不管怎样一定返回。
返回值：文件无变化返回0，有变化返回正值

五、Linux IO多路复用 epoll

1. epoll 介绍

通常来说，实现处理tcp请求，为一个连接一个线程，在高并发的场景，这种多线程模型与Epoll相比就显得相形见绌了。epoll是linux2.6内核的一个新的系统调用，epoll在设计之初，就是为了替代select, poll线性复杂度的模型，epoll的时间复杂度为O(1), 也就意味着，epoll在高并发场景，随着文件描述符的增长，有良好的可扩展性。

select 和 poll 监听文件描述符list，进行一个线性的查找 O(n)
epoll: 使用了内核文件级别的回调机制O(1)

epoll采用基于事件的就绪通知方式。 在select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而epoll事先通过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便得到通知。

/proc/sys/fs/epoll/max_user_watches
表示用户能注册到epoll实例中的最大文件描述符的数量限制。

epoll高效的本质在于：

减少了用户态和内核态的文件句柄拷贝
减少了对可读可写文件句柄的遍历
mmap 加速了内核与用户空间的信息传递，epoll是通过内核与用户mmap同一块内存，避免了无谓的内存拷贝
IO性能不会随着监听的文件描述的数量增长而下降
使用红黑树存储fd，以及对应的回调函数，其插入，查找，删除的性能不错，相比于hash，不必预先分配很多的空间

2. epoll只提供三个函数

linux网络编程 epoll具体用法介绍
参考URL: https://baijiahao.baidu.com/s?id=1609693081381106878&wfr=spider&for=pc

int epoll_create(int size); #创建一个epoll实例，文件描述符
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
#将监听的文件描述符添加到epoll实例中，实例代码为将标准输入文件描述符添加到epoll中

epoll_ctl向 epoll对象中添加、修改或者删除感兴趣的事件，返回0表示成功，否则返回–1，此时需要根据errno错误码判断错误类型。epoll_wait方法返回的事件必然是通过 epoll_ctl添加到 epoll中的。参数 epfd是 epoll_create返回的句柄，而op参数的意义见下表：
第3个参数 fd是待监测的连接套接字，第4个参数是在告诉 epoll对什么样的事件感兴趣，它使用了 epoll_event结构体，在上文介绍过的 epoll实现机制中会为每一个事件创建 epitem结构体，而在epitem中有一个 epoll_event类型的 event成员。下面看一下 epoll_event的定义：

struct epoll_event{

__uint32_t events;

epoll_data_t data;

};

epoll_wait: 等待epoll事件从epoll实例中发生，并返回事件以及对应文件描述符。如果没有epoll_ctl中监听的事件产生，就会阻塞在这里，一直等到监听事件产生，或者等到超时。

epoll保证了每个fd在整个过程中只会拷贝一次，从内核空间到用户空间。

epoll使用RB-Tree红黑树去监听并维护所有文件描述符。

当epoll_wait调用时，仅仅观察这个list链表里有没有数据即可。有数据就返回，没有数据就sleep，等到timeout时间到后即使链表没数据也返回。所以，epoll_wait非常高效。而且，通常情况下即使我们要监控百万计的句柄，大多一次也只返回很少量的准备就绪句柄而已，所以，epoll_wait仅需要从内核态copy少量的句柄到用户态而已。

ET模式与LT模式

epoll有两种工作模式：LT（水平触发）模式和ET（边缘触发）模式。

ET模式：
因为ET模式只有从unavailable到available才会触发，所以

1、读事件：需要使用while循环读取完，一般是读到EAGAIN，也可以读到返回值小于缓冲区大小；

如果应用层读缓冲区满：那就需要应用层自行标记，解决OS不再通知可读的问题

2、写事件：需要使用while循环写到EAGAIN，也可以写到返回值小于缓冲区大小

如果应用层写缓冲区空（无内容可写）：那就需要应用层自行标记，解决OS不再通知可写的问题。

LT模式：
因为LT模式只要available就会触发，所以：

1、读事件：因为一般应用层的逻辑是“来了就能读”，所以一般没有问题，无需while循环读取到EAGAIN；

如果应用层读缓冲区满：就会经常触发，解决方式如下；

2、写事件：如果没有内容要写，就会经常触发，解决方式如下。

LT经常触发读写事件的解决办法：修改fd的注册事件，或者把fd移出epollfd。

总结：

目前好像还是LT方式应用较多，包括redis、libuv等。（nginx使用ET）

LT模式的优点在于：事件循环处理比较简单，无需关注应用层是否有缓冲或缓冲区是否满，只管上报事件。缺点是：可能经常上报，可能影响性能。

3. demo验证

linux下socket采用epoll编程demo
参考URL: https://www.jianshu.com/p/b7ac9841eac0
linux epoll 简单demo
参考URL: https://www.cnblogs.com/tangxin-blog/p/5470791.html

首先，需要调用epoll_create创建epoll；
此后我们就可以进行socket/bind/listen；
然后调用epoll_ctl进行注册；
接下来，就可以通过一个while(1)循环调用epoll_wait来等待事件的发生；
然后循环查看接收到的事件并进行处理；
1）如果事件是sever的socketfd我们就要进行accept，并且把接收到client的socketfd加入到要监听的事件中；
2）如果在监听过程中，需要修改操作方式（读/写），可以调用epoll_ctl来重新修改；
3）如果监听到某一个客户端关闭，那么我就需要再次调用epoll_ctl把它从epoll监听事件中删除。

源码见参考URL原文。