一、epoll介绍
epoll是Linux内核为处理大批量文件描述符而作了改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。
以下是epoll的主要使用方法和优点：
- epoll的创建和使用主要涉及到三个函数：epoll_create、epoll_ctl和epoll_wait。首先，使用epoll_create创建一个新的epoll实例，并返回一个引用该实例的文件描述符。然后，通过epoll_ctl注册对感兴趣的文件描述符。最后，使用epoll_wait等待I/O事件。
- epoll的优点主要体现在：支持一个进程打开大数目的socket描述符(FD)；IO效率不随FD数目增加而线性下降；支持边缘触发模式；使用mmap加速内核与用户空间的消息传递。
- 水平触发和边沿触发是epoll的两种事件分发机制。二者的区别在于，水平触发模式下，只要文件描述符处于就绪状态，无论应用程序是否读取或者写入数据，每次调用epoll_wait都会返回该文件描述符；而在边缘触发模式下，只有当文件描述符状态发生变化时（比如从非就绪变为就绪），epoll_wait才会返回该文件描述符。
总的来说，epoll是Linux内核中处理大批量文件描述符的高效工具，特别适用于大量并发连接中只有少量活跃的情况，能显著提高系统CPU利用率。
二、示例
以下是一个使用C语言的示例，展示了如何在使用RDMACM和Verbs API时与epoll一起使用：
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/epoll.h>
#include <rdma/rdma_cma.h>
#define MAX_EVENTS 10
struct connection {
struct rdma_cm_id *id;
struct ibv_qp *qp;
// 其他连接相关的数据
};
void handle_cm_event(struct rdma_cm_event *event) {
// 处理RDMACM事件的逻辑
}
void handle_cq_event(struct ibv_wc *wc) {
// 处理完成队列事件的逻辑
}
int main() {
struct rdma_event_channel *cm_channel;
struct rdma_cm_event *event;
struct epoll_event epoll_events[MAX_EVENTS];
struct connection *conn;
struct ibv_cq *cq;
struct ibv_wc wc;
int cm_fd, cq_fd, epoll_fd, i, n;
// 创建RDMACM事件通知文件描述符
cm_channel = rdma_create_event_channel();
if (!cm_channel) {
perror("Failed to create RDMACM event channel");
return 1;
}
// 创建完成队列（CQ）
cq = ibv_create_cq(NULL, 10, NULL, NULL, 0);
if (!cq) {
perror("Failed to create completion queue");
return 1;
}
// 获取RDMACM事件通知文件描述符和完成队列的文件描述符
cm_fd = rdma_event_channel_fd(cm_channel);
cq_fd = cq->channel->fd;
// 创建epoll实例
epoll_fd = epoll_create1(0);
if (epoll_fd == -1) {
perror("Failed to create epoll instance");
return 1;
}
// 将RDMACM事件通知文件描述符添加到epoll的事件集合中
struct epoll_event cm_event;
cm_event.events = EPOLLIN | EPOLLET;
cm_event.data.fd = cm_fd;
if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, cm_fd, &cm_event) == -1) {
perror("Failed to add RDMACM event channel to epoll");
return 1;
}
// 将完成队列的文件描述符添加到epoll的事件集合中
struct epoll_event cq_event;
cq_event.events = EPOLLIN | EPOLLET;
cq_event.data.fd = cq_fd;
if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, cq_fd, &cq_event) == -1) {
perror("Failed to add completion queue to epoll");
return 1;
}
// 进入事件循环
while (1) {
// 等待事件发生
n = epoll_wait(epoll_fd, epoll_events, MAX_EVENTS, -1);
if (n == -1) {
perror("Failed to wait for events");
return 1;
}
// 处理所有事件
for (i = 0; i < n; i++) {
if (epoll_events[i].data.fd == cm_fd) {
// 有RDMACM事件发生
event = rdma_get_cm_event(cm_channel);
handle_cm_event(event);
rdma_ack_cm_event(event);
} else if (epoll_events[i].data.fd == cq_fd) {
// 有完成队列事件发生
while (ibv_poll_cq(cq, 1, &wc) > 0) {
handle_cq_event(&wc);
}
}
}
}
// 清理资源
close(epoll_fd);
ibv_destroy_cq(cq);
rdma_destroy_event_channel(cm_channel);
return 0;
}在这个示例中，我们使用了rdma/rdma_cma.h头文件中提供的RDMACM和Verbs API。首先，我们
创建了一个RDMACM事件通知文件描述符和一个完成队列（CQ），然后将它们的文件描述符添加到epoll的事件集合中。接下来，我们进入一个事件循环，等待事件发生。如果有RDMACM事件发生，我们调用handle_cm_event函数来处理该事件；如果有完成队列事件发生，我们调用handle_cq_event函数来处理该事件。
请注意，这只是一个简单的示例，实际使用时可能需要根据具体需求进行更多的处理和错误检查。
