I/O多路复用技术最佳学习实践及总结(含完整实现源码)

文章目录

    • - 摘要 -
    • 一、select
      • 1.select的基本原理
      • 2.函数原型
      • 3.优点
      • 4.局限性
      • 5.最佳实践
      • 6.代码
    • 二、poll
      • 1.poll 的基本原理
      • 2.函数原型
        • 3.pollfd 结构体
      • 4.poll 的优点
      • 5.poll 的局限性
      • 6.最佳实践
      • 7.代码
    • 三、epoll
      • 1.基本原理和特点
      • 2.接口原型
          • ① epoll_ctl 接口
          • ②epoll_wait 接口
      • 3.epoll_event 结构体
      • 4.epoll 的优点
      • 5.epoll 的局限性
      • 6.最佳实践
      • 7.代码
    • 四、kqueue [待后续更新]
    • 五、io_ring [待后续更新]
    • 六、iocp  [待后续更新]
    • 七、总结
      • 1.横评
          • ① select
          • ② poll
          • ③ epoll
          • ④ kqueue
          • ⑤ io_uring
          • ⑥ IOCP (I/O Completion Ports)
      • 2.后论

- 摘要 -

  • 本人测试系统为 CentOS Stream 9 。
  • 文章包含了每种IO多路复用方式的基本原理、函数原型、结构体、优点、局限性、最佳实践建议以及完整代码实现。
  • 文末有对I/O多路复用方案的横向对比。
  • 点赞、收藏、关注,期待更多好文。

一、select

在Linux系统编程中,多路复用是一种允许单个进程监视多个文件描述符以等待一个或多个I/O条件成立的技术。这种技术对于开发高性能的网络服务尤其重要,因为它可以帮助管理多个并发网络连接,而不需要为每个连接分别使用线程或进程。常见的多路复用技术包括selectpollepoll

1.select的基本原理

select函数能够监视一组文件描述符,等待其中一个或多个描述符就绪(即,数据可读、可写或出现异常)。在Linux中,select的基本用法涉及设置三种类型的文件描述符集合:可读集、可写集和异常集,以及一个超时值。

2.函数原型

#include <sys/select.h>

int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

-参数说明

  • nfds:被监视的文件描述符的最大值加1。
  • readfds:一个文件描述符集合,select将检查这些描述符是否准备好读取。
  • writefds:一个文件描述符集合,select将检查这些描述符是否准备好写入。
  • exceptfds:一个文件描述符集合,select将检查这些描述符是否有异常条件发生。
  • timeout:指定等待文件描述符就绪的时间限制。如果设置为NULL,select将无限期等待。

3.优点

  • 简单易用select的API相对简单,容易理解和使用。
  • 广泛支持:几乎所有的操作系统都支持select

4.局限性

  • 文件描述符数量限制selectFD_SETSIZE的限制,这通常是1024,意味着它无法处理超过此数量的连接。
  • 效率问题select在每次调用时需要重新指定所有的文件描述符和超时信息,这在文件描述符数量较多时会导致性能问题。
  • 可扩展性差:随着监视的文件描述符数量的增加,select的性能通常会线性下降。

5.最佳实践

  • 适用场景:在文件描述符数量较少,且不要求极高性能的情况下使用select
  • 替代方案:在需要处理大量连接或高性能服务器时,考虑使用epoll(在Linux上)或kqueue(在BSD系统上),这些新的机制提供了更好的性能和可扩展性。
  • 维护代码可读性:即便select的使用比较直观,仍推荐将复用逻辑封装在清晰定义的函数中,保持代码的可维护性。

6.代码

一个TCP方式监听8888端口的echo服务端,可使用nc命令进行发送消息测试。

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <netinet/in.h>

#define PORT 8888
#define BUF_SIZE 1024
#define MAX_CLIENTS 30

void error(const char *msg) {
    perror(msg);
    exit(1);
}

int main() {
    int opt = 1;
    int master_socket, addrlen, new_socket, client_socket[MAX_CLIENTS];
    int max_sd, sd, activity, i, valread;
    struct sockaddr_in address;
    char buffer[BUF_SIZE];  // 数据缓冲区
    fd_set readfds;  // 描述符集合

    // 初始化所有 client_socket[] 为 0,表示可用位置
    for (i = 0; i < MAX_CLIENTS; i++) {
        client_socket[i] = 0;
    }

    // 创建主套接字
    if ((master_socket = socket(AF_INET, SOCK_STREAM, 0)) == 0) {
        error("socket failed");
    }

    // 设置套接字选项,允许多次绑定同一个地址。对于 TCP,必须在 bind 前设置
    if (setsockopt(master_socket, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt))) {
        error("setsockopt");
    }

    // 类型为 IPv4 ,端口为 PORT
    address.sin_family = AF_INET;
    address.sin_addr.s_addr = INADDR_ANY;  // 自动选择一个有效的 IP 地址
    address.sin_port = htons(PORT);

    // 绑定套接字到端口
    if (bind(master_socket, (struct sockaddr *)&address, sizeof(address)) < 0) {
        error("bind failed");
    }
    printf("Listener on port %d \n", PORT);

    // 最多同时处理 5 个连接请求
    if (listen(master_socket, 5) < 0) {
        error("listen");
    }

    // 接受即将到来的连接
    addrlen = sizeof(address);
    puts("Waiting for connections ...");

    while(1) {
        // 清空套接字集合
        FD_ZERO(&readfds);

        // 添加主套接字到集合中
        FD_SET(master_socket, &readfds);
        max_sd = master_socket;

        // 添加子套接字到集合
        for (i = 0; i < MAX_CLIENTS; i++) {
            sd = client_socket[i];
            if (sd > 0) {
                FD_SET(sd, &readfds);
            }
            if (sd > max_sd) {
                max_sd = sd;
            }
        }

        // 等待某个套接字活动,没有时间限制
        activity = select(max_sd + 1, &readfds, NULL, NULL, NULL);

        if (activity < 0) {
            error("select error");
        }

        // 如果是主套接字活动,处理新的连接
        if (FD_ISSET(master_socket, &readfds)) {
            if ((new_socket = accept(master_socket, (struct sockaddr *)&address, (socklen_t*)&addrlen)) < 0) {
                error("accept");
            }

            printf("New connection, socket fd is %d, ip is : %s, port : %d\n", new_socket, inet_ntoa(address.sin_addr), ntohs(address.sin_port));

            // 将新套接字添加到数组中
            for (i = 0; i < MAX_CLIENTS; i++) {
                if (client_socket[i] == 0) {
                    client_socket[i] = new_socket;
                    printf("Adding to list of sockets as %d\n", i);
                    break;
                }
            }
        }

        // 否则是其他套接字的活动
        for (i = 0; i < MAX_CLIENTS; i++) {
            sd = client_socket[i];
            if (FD_ISSET(sd, &readfds)) {
                // 检查是否是断开连接,是则关闭套接字
                if ((valread = read(sd, buffer, 1024)) == 0) {
                    getpeername(sd, (struct sockaddr*)&address, (socklen_t*)&addrlen);
                    printf("Host disconnected, ip %s, port %d \n", inet_ntoa(address.sin_addr), ntohs(address.sin_port));
                    close(sd);
                    client_socket[i] = 0;
                } else {
                    // 回显收到的消息
                    buffer[valread] = '\0';
                    send(sd, buffer, strlen(buffer), 0);
                }
            }
        }
    }

    return 0;
}

二、poll

poll解决了 select 中存在的一些限制,比如文件描述符数量的限制,并提供了一种更可扩展的方式来处理大量的并发连接。也可以用来监控多个文件描述符上的事件。

1.poll 的基本原理

poll 函数的主要作用是等待一个或多个文件描述符变为就绪状态,或者直到超时。这使得程序可以在一个线程内同时处理多个I/O通道。

2.函数原型

#include <poll.h>

int poll(struct pollfd *fds, nfds_t nfds, int timeout);

-参数说明

  • fds: 指向 pollfd 结构数组的指针,这个结构用来指定一组要监视的文件描述符及其关注的事件。
  • nfds: 指定数组 fds 中元素的数量。
  • timeout: 等待直到某个文件描述符就绪的毫秒数。如果设置为 -1,则永久等待直到有事件发生。
3.pollfd 结构体
struct pollfd {
    int   fd;         /* file descriptor */
    short events;     /* requested events */
    short revents;    /* returned events */
};

每个 pollfd 结构包括以下字段:

  • fd: 文件描述符。
  • events: 应用程序感兴趣的事件集合。
  • revents: 实际发生的事件集合,由内核填充。

4.poll 的优点

  • 无描述符限制:与 select 不同,poll 不受 FD_SETSIZE 的限制,因此可以处理超过1024个并发连接。
  • 简单的接口poll 提供了一个相对简单的接口,可以直观地指定感兴趣的事件并检查事件发生情况。
  • 更好的可扩展性:因为 poll 可以处理更多的连接,它在面对高负载情况下通常比 select 表现得更好。
  • 支持更长的时间间隔polltimeout 参数是以毫秒为单位,提供了比 select(以秒和微秒为单位)更精细的控制。
  • 简化的状态管理:在 poll 调用中,返回的结果直接反映在各个 pollfd 结构的 revents 字段中,这简化了状态的管理。

5.poll 的局限性

  • 性能问题:对于非常大量的文件描述符集合,尽管 poll 不受 FD_SETSIZE 的限制,但是其性能仍可能因为需要线性遍历所有描述符而受到影响。
  • 缺乏特定优化poll 在某些系统上没有针对性的优化,如 epoll 在 Linux 上的优化。
  • 频繁的系统调用:在高负载情况下,poll 可能需要频繁地调用和处理,尤其是在很多文件描述符都非常活跃的情况下。

6.最佳实践

  • 适当选择技术:对于小到中等规模的应用,或者是跨平台的项目,使用 poll 是合适的。对于需要处理大量并发连接的高性能 Linux 服务器,考虑使用 epoll
  • 合理管理文件描述符:即使 poll 可以处理大量的文件描述符,也应该通过适当的系统设计来管理这些描述符,避免不必要的资源消耗。
  • 使用适当的超时值:根据应用的需求合理设置 poll 的超时参数。对于需要即时响应的系统,可以设置较短的超时时间,或使用非阻塞模式。
  • 资源清理:确保在文件描述符关闭前从监视列表中移除,避免 poll 在无效的描述符上浪费时间。
  • 错误处理:妥善处理 poll 返回的错误,特别是在网络编程中,要注意处理如网络断开、超时等常见问题。

7.代码

一个TCP方式监听8888端口的echo服务端,可使用nc命令进行发送消息测试。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <poll.h>
#include <errno.h>

#define PORT 8888
#define MAX_CLIENTS 30
#define BUF_SIZE 1024

void error(const char *msg) {
    perror(msg);
    exit(1);
}

int main() {
    int opt = 1;
    int master_socket, addrlen, new_socket, activity, i, valread, sd;
    struct sockaddr_in address;
    struct pollfd fdset[MAX_CLIENTS + 1];  // +1 是为了主套接字
    char buffer[BUF_SIZE];  // 数据缓冲区

    // 将所有client_socket[]初始化为0,以便不被检查
    for (i = 0; i < MAX_CLIENTS; i++) {
        fdset[i].fd = 0;
        fdset[i].events = POLLIN;
    }

    // 创建主套接字
    if ((master_socket = socket(AF_INET, SOCK_STREAM, 0)) == 0) {
        error("socket failed");
    }

    // 设置主套接字以允许多个连接
    if (setsockopt(master_socket, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt))) {
        error("setsockopt");
    }

    // 创建套接字类型
    address.sin_family = AF_INET;
    address.sin_addr.s_addr = INADDR_ANY;
    address.sin_port = htons(PORT);

    // 将套接字绑定到本地主机的8888端口
    if (bind(master_socket, (struct sockaddr *)&address, sizeof(address)) < 0) {
        error("bind failed");
    }
    printf("Listener on port %d \n", PORT);

    // 尝试为主套接字指定最多5个挂起连接
    if (listen(master_socket, 5) < 0) {
        error("listen");
    }

    // 接受传入连接
    addrlen = sizeof(address);
    puts("Waiting for connections ...");

    // 将主套接字添加到集合中
    fdset[0].fd = master_socket;
    fdset[0].events = POLLIN;

    while(1) {
        // 等待其中一个套接字上的活动
        activity = poll(fdset, MAX_CLIENTS + 1, -1);

        if ((activity < 0) && (errno != EINTR)) {
            printf("poll error");
        }

        // 如果主套接字上发生了某些事情,则是传入连接
        if (fdset[0].revents & POLLIN) {
            if ((new_socket = accept(master_socket, (struct sockaddr *)&address, (socklen_t*)&addrlen)) < 0) {
                error("accept");
            }

            printf("New connection, socket fd is %d, ip is : %s, port : %d\n", new_socket, inet_ntoa(address.sin_addr), ntohs(address.sin_port));

            // 将新套接字添加到套接字数组中
            for (i = 1; i <= MAX_CLIENTS; i++) {
                if (fdset[i].fd == 0) {
                    fdset[i].fd = new_socket;
                    fdset[i].events = POLLIN;
                    printf("Adding to list of sockets as %d\n", i);
                    break;
                }
            }
        }

        // 否则,它是一些其他套接字上的IO操作
        for (i = 1; i <= MAX_CLIENTS; i++) {
            sd = fdset[i].fd;
            if ((fdset[i].revents & POLLIN) && sd > 0) {
                // 检查是否为关闭,并读取传入消息
                if ((valread = read(sd, buffer, BUF_SIZE)) == 0) {
                    // 有人断开连接,获取其详细信息并打印
                    getpeername(sd, (struct sockaddr*)&address, (socklen_t*)&addrlen);
                    printf("Host disconnected, ip %s, port %d \n", inet_ntoa(address.sin_addr), ntohs(address.sin_port));

                    // 关闭套接字并在列表中标记为0以重用
                    close(sd);
                    fdset[i].fd = 0;
                } else {
                    // 回显收到的消息
                    buffer[valread] = '\0';
                    send(sd, buffer, strlen(buffer), 0);
                }
            }
        }
    }

    return 0;
}

三、epoll

epoll 是 Linux 下的一种高效的 I/O 事件通知机制,尤其适合处理大量并发连接的场景。与传统的 selectpoll 不同,epoll 在处理大规模文件描述符上的效率更高,主要是因为它的工作方式减少了频繁的文件描述符扫描,并且使用了更加复杂的数据结构(如红黑树和链表)来跟踪活跃的文件描述符。

1.基本原理和特点

epoll 主要提供两种模式:EPOLL_LT(水平触发)和 EPOLL_ET(边缘触发)。水平触发模式下,只要文件描述符还有数据可读,epoll_wait 就会返回它;而边缘触发模式只在状态发生变化时(例如从无数据到有数据)才通知应用程序,这可以减少应用程序被唤醒的次数,提高效率。

epoll 的核心函数包括:

  • epoll_create:创建一个 epoll 的实例。
  • epoll_ctl:向 epoll 实例中添加、修改或删除文件描述符。
  • epoll_wait:等待事件的发生。

2.接口原型

① epoll_ctl 接口

epoll_ctl 函数用于向 epoll 实例添加、修改或删除文件描述符的事件。

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

-参数说明

  • epfd: epoll 实例的文件描述符,由 epoll_createepoll_create1 创建。
  • op: 操作类型,指定是添加(EPOLL_CTL_ADD)、修改(EPOLL_CTL_MOD)还是删除(EPOLL_CTL_DEL)。
  • fd: 需要操作的目标文件描述符。
  • event: 指向 epoll_event 结构的指针,该结构指定了对应文件描述符上感兴趣的事件以及其他相关选项。
②epoll_wait 接口

epoll_wait 函数等待在 epoll 文件描述符上注册的事件的发生。

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

-参数说明

  • epfd: epoll 实例的文件描述符。
  • events: 指向 epoll_event 结构数组的指针,该数组用来从内核得到事件的集合。
  • maxevents: 告诉内核这个事件数组可以接受多少个事件,这个值最大不能超过创建 epoll_create() 时的 size
  • timeout: 等待I/O事件发生的超时值(单位:毫秒)。特殊值有:
    • -1:永远等待。
    • 0:立即返回,不阻塞。

-返回值

  • 返回发生的事件数目,可能为零(在指定的时间间隔内没有任何事件发生)。
  • -1 表示发生错误,具体错误原因存储在 errno 中。

3.epoll_event 结构体

struct epoll_event {
    uint32_t events;   /* Epoll events */
    epoll_data_t data; /* User data variable */
};
  • events: 表示关心的事件类型,可能的值包括:
    • EPOLLIN:表示对应的文件描述符可以读取(不会阻塞)。
    • EPOLLOUT:表示对应的文件描述符可以写入(不会阻塞)。
    • EPOLLPRI:表示对应的文件描述符有紧急的数据可读(如 TCP 的带外数据)。
    • EPOLLERR:表示对应的文件描述符发生错误。
    • EPOLLHUP:表示对应的文件描述符被挂断。
    • EPOLLET:将 epoll 行为设置为边缘触发,这是对 EPOLLINEPOLLOUTEPOLLPRI 的一种补充。
    • EPOLLONESHOT:监听一次事件后,如果还需要继续监听这个文件描述符,需要再次把它加入到 epoll 队列。
  • data: 是一个联合体,可以用来存储用户定义的数据,常用来标识事件相关的文件描述符。

4.epoll 的优点

  • 高效的事件处理epoll 只处理活跃的连接,而不像 selectpoll 那样处理整个文件描述符集,因此它在面对大量并发连接时更为高效。
  • 更大的可扩展性epoll 可以支持成千上万的并发连接,而不受 FD_SETSIZE 的限制,这使得它在高性能服务器环境中表现出色。
  • 支持两种触发模式
    • 水平触发(LT):默认模式,只要数据可读写,事件就会持续被报告。
    • 边缘触发(ET):只报告状态改变(如从不可读变为可读),这种模式可以减少事件的触发次数,提高效率,但编程模型更复杂。
  • 减少复制开销: 在 epoll 的使用过程中,内核与用户空间之间不需要频繁复制大量的文件描述符数据,这减少了系统的调用开销。

5.epoll 的局限性

  1. 平台依赖性epoll 是 Linux 特有的,不可在其他操作系统如 Windows 或 macOS 上使用,这限制了其跨平台的应用。
  2. 编程复杂性: 尤其是在边缘触发模式下,epoll 需要更精细的错误处理和状态管理,增加了编程的复杂度。
  3. 对旧系统的支持问题: 较旧的 Linux 内核可能不支持 epoll,或其实现存在限制,这需要在部署前进行充分的测试和验证。

6.最佳实践

  • 正确选择触发模式
    • 对于简单的应用或新手,建议使用水平触发模式,因为它的行为更符合直觉,易于管理。
    • 对于需要极高性能和有经验的开发者,可以选择边缘触发模式,但必须小心处理所有可能的状态,以防止数据丢失或重复处理。
  • 合理配置非阻塞模式
    在使用 epoll,尤其是在边缘触发模式下时,确保所有的 socket 均设置为非阻塞模式。这样可以避免单个慢连接影响到整个服务器的性能。
  • 维护适当的错误处理
    epoll 的事件循环中,应该有适当的错误处理逻辑,例如重新连接、资源回收等,以确保应用的稳定运行。确保不会在 epoll 实例中留下无效的文件描述符,避免资源泄露。
  • 使用 epoll_create1 替代 epoll_create
    使用 epoll_create1(0) 可以在创建 epoll 文件描述符时提供更多的功能(如非阻塞),而 epoll_create 已被认为是过时的。
  • 避免死锁和竞态条件
    在设计使用 epoll 的多线程程序时,应该特别注意同步和锁的问题,避免引入死锁或竞态条件。
  • 大规模并发处理epoll 特别适用于处理大量并发连接的服务器,例如在Web服务器和数据库服务器中。

7.代码

一个TCP方式监听8888端口的echo服务端,可使用nc命令进行发送消息测试。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
#include <unistd.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <fcntl.h>

#define MAX_EVENTS 1024
#define BUF_SIZE 4096
#define PORT 8888

// 设置 socket 为非阻塞模式
int make_socket_non_blocking(int sockfd) {
    int flags = fcntl(sockfd, F_GETFL, 0);
    if (flags == -1) {
        perror("fcntl F_GETFL");
        return -1;
    }
    flags |= O_NONBLOCK;
    if (fcntl(sockfd, F_SETFL, flags) == -1) {
        perror("fcntl F_SETFL");
        return -1;
    }
    return 0;
}

// 创建、设置和绑定监听 socket
int create_and_bind() {
    int server_fd = socket(AF_INET, SOCK_STREAM, 0);
    if (server_fd == -1) {
        perror("socket");
        return -1;
    }

    int opt = 1;
    if (setsockopt(server_fd, SOL_SOCKET, SO_REUSEADDR | SO_REUSEPORT, &opt, sizeof(opt))) {
        perror("setsockopt");
        close(server_fd);
        return -1;
    }

    struct sockaddr_in address;
    address.sin_family = AF_INET;
    address.sin_addr.s_addr = INADDR_ANY;
    address.sin_port = htons(PORT);

    if (bind(server_fd, (struct sockaddr *)&address, sizeof(address)) < 0) {
        perror("bind");
        close(server_fd);
        return -1;
    }

    return server_fd;
}

int main() {
    int server_fd = create_and_bind();
    if (server_fd < 0) {
        exit(EXIT_FAILURE);
    }

    make_socket_non_blocking(server_fd);

    if (listen(server_fd, SOMAXCONN) < 0) {
        perror("listen");
        close(server_fd);
        exit(EXIT_FAILURE);
    }
	printf("Listener on port %d, fd:%d.\n", PORT, server_fd);

    int efd = epoll_create1(0); // 创建epoll实例,一般是4,所以epoll客户端fd从5开始
    if (efd == -1) {
        perror("epoll_create");
        close(server_fd);
        exit(EXIT_FAILURE);
    }
	
	printf("epoll_create1 on fd:%d.\n", efd);

    struct epoll_event event;
    event.data.fd = server_fd;
    event.events = EPOLLIN | EPOLLET;  // 使用边缘触发模式
    if (epoll_ctl(efd, EPOLL_CTL_ADD, server_fd, &event) < 0) {
        perror("epoll_ctl");
        close(server_fd);
        exit(EXIT_FAILURE);
    }

    struct epoll_event *events = (struct epoll_event *)calloc(MAX_EVENTS, sizeof(event));

    while (1) {
        int n = epoll_wait(efd, events, MAX_EVENTS, -1);
        for (int i = 0; i < n; i++) {
            if ((events[i].events & EPOLLERR) || (events[i].events & EPOLLHUP) || (!(events[i].events & EPOLLIN))) {
                fprintf(stderr, "epoll error\n");
                close(events[i].data.fd);
                continue;
            } else if (server_fd == events[i].data.fd) {
                // 接受所有传入的连接
                while (1) {
                    struct sockaddr_in client_addr;
                    socklen_t in_len = sizeof(client_addr);
                    int client_fd = accept(server_fd, (struct sockaddr *)&client_addr, &in_len);
                    if (client_fd == -1) {
                        if ((errno == EAGAIN) || (errno == EWOULDBLOCK)) {
                            break;  // 处理完所有传入的连接
                        } else {
                            perror("accept");
                            break;
                        }
                    }
					
					printf("New connection, socket fd is %d, ip is : %s, port : %d\n", client_fd, inet_ntoa(client_addr.sin_addr), ntohs(client_addr.sin_port));

                    make_socket_non_blocking(client_fd);

                    event.data.fd = client_fd;
                    event.events = EPOLLIN | EPOLLET;
                    if (epoll_ctl(efd, EPOLL_CTL_ADD, client_fd, &event) < 0) {
                        perror("epoll_ctl");
                        close(client_fd);
                        continue;
                    }
					printf("Adding to list of sockets as %d\n", client_fd);
                }
            } else {
                // 处理客户端数据
                int done = 0;
                while (1) {
                    char buf[BUF_SIZE];
                    ssize_t count = read(events[i].data.fd, buf, sizeof(buf));
                    if (count == -1) {
                        if (errno != EAGAIN) {
                            perror("read");
                            done = 1;
                        }
                        break;
                    } else if (count == 0) {
                        done = 1;
                        break;
                    }

                    ssize_t write_ret = write(events[i].data.fd, buf, count);
                    if (write_ret == -1) {
                        perror("write");
                        done = 1;
                        break;
                    }
                }

                if (done) {
                    printf("Closed connection on descriptor %d\n", events[i].data.fd);
                    close(events[i].data.fd);
                }
            }
        }
    }

    free(events);
    close(server_fd);
    return EXIT_SUCCESS;
}

四、kqueue [待后续更新]


五、io_ring [待后续更新]


六、iocp  [待后续更新]


七、总结

1.横评

I/O多路复用技术是现代操作系统中处理高并发网络请求的关键技术之一,它允许单个进程同时监视多个文件描述符(I/O通道),以便在任何一个文件描述符准备好进行I/O操作时立即通知应用程序。下面是对select、poll、epoll、kqueue、io_uring、iocp这几种I/O多路复用技术的总结分析:

① select
  • 基本原理support [BSD,Linux ,macOS,Windows,Unix],select使用位图来跟踪文件描述符的状态,当某个文件描述符准备好进行I/O操作时,select会返回。
  • 限制:select的最大限制是文件描述符的数量,通常为1024。这意味着它不适合处理大量并发连接。
  • 性能:由于每次调用select都需要重新检查所有文件描述符,它的性能随着文件描述符数量的增加而下降。
② poll
  • 基本原理support [BSD,Linux ,macOS,Windows,Unix],poll与select类似,但它使用链表来跟踪文件描述符,因此它没有文件描述符数量的限制。
  • 性能:poll的性能比select略好,因为它不需要重新检查所有文件描述符。
③ epoll
  • 基本原理support [Linux],epoll是Linux内核中的一个特性,epoll使用红黑树和双向链表来跟踪文件描述符,它能够高效地处理大量并发连接。
  • 特性:epoll支持水平触发(LT)和边缘触发(ET),这使得它能够更精确地控制何时通知应用程序文件描述符的状态变化。
  • 性能:epoll的性能非常高,它能够处理数万个并发连接,并且在文件描述符数量增加时,性能不会显著下降。
④ kqueue
  • 基本原理support [BSD],kqueue是BSD系列操作系统中的I/O多路复用技术,它使用事件队列来跟踪文件描述符的状态。
  • 特性:kqueue支持水平触发和边缘触发,并且它能够处理大量并发连接。
  • 性能:kqueue的性能与epoll相当,它也能够处理数万个并发连接。
⑤ io_uring
  • 基本原理support [Linux],io_uring是Linux内核中的一个新特性,它提供了一种高效的异步I/O接口。与传统的 epoll 和 kqueue 不同,io_uring 主要用于实现异步 I/O 操作,能够在用户空间中进行零拷贝的数据传输,从而提高了 I/O 操作的效率和性能。
  • 特性:io_uring支持异步I/O操作,它使用一个环形缓冲区来存储I/O请求,这使得它能够高效地处理大量并发I/O操作。是Linux 中用于替代 epoll 和其他 I/O 多路复用机制的新特性。
  • 性能:io_uring的性能非常高,它能够显著提高应用程序的I/O性能。
⑥ IOCP (I/O Completion Ports)
  • 基本原理support [Windows],IOCP是Windows操作系统中的I/O多路复用技术,它使用一个端口来跟踪文件描述符的状态。
  • 特性:IOCP支持异步I/O操作,它使用一个线程池来处理I/O完成事件,这使得它能够高效地处理大量并发I/O操作。
  • 性能:IOCP的性能非常高,它能够处理数万个并发连接,并且在文件描述符数量增加时,性能不会显著下降。

2.后论

对于需要处理大量并发连接的应用程序,epoll和io_uring是非常好的选择。
对于Windows应用程序,IOCP是最佳选择。
对于需要跨平台支持的应用程序,可以考虑使用第三方库,如libevent或libuv,它们提供了一个抽象层,使得应用程序可以在不同的操作系统上使用相同的API。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/579430.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

BIO、NIO与AIO

一 BIO 同步并阻塞(传统阻塞型)&#xff0c;服务器实现模式为一个连接一个线程&#xff0c;即客户端有连接请求时服务器端就需要启动一个线程进行处理. BIO&#xff08;Blocking I/O&#xff0c;阻塞I/O&#xff09;模式是一种网络编程中的I/O处理模式。在BIO模式中&#xf…

鸿蒙内核源码分析(任务调度篇) | 任务是内核调度的单元

任务即线程 在鸿蒙内核中&#xff0c;广义上可理解为一个任务就是一个线程 官方是怎么描述线程的 基本概念 从系统的角度看&#xff0c;线程是竞争系统资源的最小运行单元。线程可以使用或等待CPU、使用内存空间等系统资源&#xff0c;并独立于其它线程运行。 鸿蒙内核每个…

[蓝桥杯2024]-PWN:fd解析(命令符转义,标准输出重定向)

查看保护 查看ida 这里有一次栈溢出&#xff0c;并且题目给了我们system函数。 这里的知识点没有那么复杂 完整exp&#xff1a; from pwn import* pprocess(./pwn) pop_rdi0x400933 info0x601090 system0x400778payloadb"ca\\t flag 1>&2" print(len(paylo…

SAP PP学习笔记07 - 作业手顺(工艺路线Routing)

上一章讲了BOM的相关知识。 SAP PP学习笔记07 - 简单BOM&#xff0c;派生BOM&#xff0c;多重BOM&#xff0c;批量修改工具 CEWB_sap半成品有多个bom-CSDN博客 本章来讲作业手顺&#xff08;工艺路线Routing&#xff09;的相关知识。 1&#xff0c;作业手顺(工艺路线 Routing…

四、线段、矩形、圆、椭圆、自定义多边形、边缘轮廓和文本绘制(OpenCvSharp)

功能实现&#xff1a; 对指定图片上进行绘制线段、矩形、圆、椭圆、自定义多边形、边缘轮廓以及自定义文本 一、布局 用到了一个pictureBox和八个button 二、引入命名空间 using System; using System.Collections.Generic; using System.Drawing; using System.Windows.F…

Dockerfile镜像构建实战

一、构建Apache镜像 cd /opt/ #建立工作目录 mkdir /opt/apache cd apache/vim Dockerfile #基于的基础镜像 FROM centos:7 #维护镜像的用户信息 MAINTAINER this is apache image <cyj> #镜像操作指令安装Apache软件 RUN yum install -y httpd #开启80端口 EXPOSE 80 #…

远程桌面连接不上个别服务器的问题分析与解决方案

在日常的IT运维工作中&#xff0c;远程桌面连接&#xff08;RDP&#xff0c;Remote Desktop Protocol&#xff09;是我们经常使用的工具之一&#xff0c;用于管理和维护远程服务器。然而&#xff0c;有时我们可能会遇到无法连接到个别服务器的情况。针对这一问题&#xff0c;我…

《Kafka 3.x.x 入门到精通》

Kafka 3.x.x 入门到精通 Kafka是一个由Scala和Java语言开发的&#xff0c;经典高吞吐量的分布式消息发布和订阅系统&#xff0c;也是大数据技术领域中用作数据交换的核心组件之一。以高吞吐&#xff0c;低延迟&#xff0c;高伸缩&#xff0c;高可靠性&#xff0c;高并发&#x…

【论文浅尝】Porting Large Language Models to Mobile Devices for Question Answering

Introduction 移动设备上的大型语言模型(LLM)增强了自然语言处理&#xff0c;并支持更直观的交互。这些模型支持高级虚拟助理、语言翻译、文本摘要或文本中关键术语的提取(命名实体提取)等应用。 LLMs的一个重要用例也是问答&#xff0c;它可以为大量的用户查询提供准确的和上…

LeetCode 热题 100 题解:二叉树部分(1 ~ 5)

题目一&#xff1a;二叉树的中序遍历&#xff08;No. 948&#xff09; 94. 二叉树的中序遍历 - 力扣&#xff08;LeetCode&#xff09; 题目难度&#xff1a;简单 给定一个二叉树的根节点 root &#xff0c;返回 它的 中序 遍历 。 示例 1&#xff1a; 输入&#xff1a;roo…

【Django】初识Django快速上手

Django简介 Django是一个高级的、开源的Python Web框架&#xff0c;旨在快速、高效地开发高质量的Web应用程序 https://developer.mozilla.org/zh-CN/docs/Learn/Server-side/Django/Introduction 安装Django pip install Django如果要知道安装的Django的版本&#xff0c;可…

关于两步到位Chrome永久停止更新

全程就两个步骤&#xff01;&#xff01;敲重点&#xff01;&#xff01;&#xff01; 好使记得点赞关注我&#xff01; 1.找到Chrome包下的hosts文件 默认路径大概是 C:\Windows\System32\drivers\etc\hosts &#xff0c;不记得了可以通过Everything查找 在hosts 文件中 …

移动端日志采集与分析最佳实践

前言 做为一名移动端开发者&#xff0c;深刻体会日志采集对工程师来说具有重要意义&#xff0c;遇到问题除了 debug 调试就是看日志了&#xff0c;通过看日志可以帮助我们了解应用程序运行状况、优化用户体验、保障数据安全依据&#xff0c;本文将介绍日志采集的重要性、移动端…

开源博客项目Blog .NET Core源码学习(19:App.Hosting项目结构分析-7)

本文学习并分析App.Hosting项目中后台管理页面的主页面。如下图所示&#xff0c;开源博客项目的后台主页面采用layui预设类layui-icon-shrink-right设置样式&#xff0c;点击主页面中的菜单&#xff0c;其它页面采用弹框或者子页面形式显示在主页面的内容区域。   后台主页面…

JavaScript算法描述【排序与搜索】六大经典排序|合并两个有序数组|第一个错误的版本

&#x1f427;主页详情&#xff1a;Choice~的个人主页 &#x1f4e2;作者简介&#xff1a;&#x1f3c5;物联网领域创作者&#x1f3c5; and &#x1f3c5;阿里专家博主&#x1f3c5; and &#x1f3c5;华为云享专家&#x1f3c5; ✍️人生格言&#xff1a;最慢的步伐不是跬步&…

C++ 笔试练习笔记【1】:字符串中找出连续最长的数字串 OR59

文章目录 OR59 字符串中找出连续最长的数字串题目思路分析实现代码 注&#xff1a;本次练习题目出自牛客网 OR59 字符串中找出连续最长的数字串 题目思路分析 首先想到的是用双指针模拟&#xff0c;进行检索比较输出 以示例1为例&#xff1a; 1.首先i遍历str直到遍历到数字&a…

unity 专项一 localPosition与anchoredPosition(3D)的区别

一 、RectTransform 概念 1、RectTransform继承自Transform&#xff0c;用于描述矩形的坐标(Position)&#xff0c;尺寸(Size)&#xff0c;锚点(anchor)和中心点(pivot)等信息&#xff0c;每个2D布局下的元素都会自动生成该组件。 2、当我们在处理UI组件时&#xff0c;往往容易…

【微信小程序调用百度API实现图像识别实战】-前后端加强版

前言&#xff1a;基于前面两篇图像识别项目实战文章进行了改造升级。 第一篇 入门【微信小程序调用百度API实现图像识别功能】----项目实战 第二篇 前后端结合 【微信小程序调用百度API实现图像识别实战】----前后端分离 这一篇主要讲述的是在第二篇的基础上新增意见反馈功能&a…

ZooKeeper 搭建详细步骤之一(单机模式)

搭建模式简述 ZooKeeper 的搭建模式包括单机模式、集群模式和伪集群模式&#xff0c;分别适用于不同的场景和需求&#xff0c;从简单的单节点测试环境到复杂的多节点高可用生产环境。在实际部署时&#xff0c;应根据系统的可用性要求、数据量、并发负载等因素选择合适的部署模式…

mysql UNION 联合查询

mysql UNION 联合查询 业务需要拉数据&#xff0c;这里需要对查询不同格式的数据进行组装&#xff0c;此处采用联合查询 注意1&#xff1a;null as 设备关爱 &#xff0c;结果为null&#xff0c;表头为设备关爱 注意2&#xff1a; UNION 或者 UNION ALL 联合查询自行选用 注意3…