使用多进程和多线程实现服务器并发【C语言实现】

在TCP通信过程中，服务器端启动之后可以同时和多个客户端建立连接，并进行网络通信，但是在一个单进程的服务器的时候，提供的服务器代码却不能完成这样的需求，先简单的看一下之前的服务器代码的处理思路，再来分析代码中的弊端：

// server.c
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string.h>
#include <arpa/inet.h>

int main()
{
    // 1. 创建监听的套接字
    int lfd = socket(AF_INET, SOCK_STREAM, 0);
    // 2. 将socket()返回值和本地的IP端口绑定到一起
    struct sockaddr_in addr;
    addr.sin_family = AF_INET;
    addr.sin_port = htons(10000);   // 大端端口
    // INADDR_ANY代表本机的所有IP, 假设有三个网卡就有三个IP地址
    // 这个宏可以代表任意一个IP地址
    addr.sin_addr.s_addr = INADDR_ANY;  // 这个宏的值为0 == 0.0.0.0
    int ret = bind(lfd, (struct sockaddr*)&addr, sizeof(addr));
    // 3. 设置监听
    ret = listen(lfd, 128);
    // 4. 阻塞等待并接受客户端连接
    struct sockaddr_in cliaddr;
    int clilen = sizeof(cliaddr);
    int cfd = accept(lfd, (struct sockaddr*)&cliaddr, &clilen);
    // 5. 和客户端通信
    while(1)
    {
        // 接收数据
        char buf[1024];
        memset(buf, 0, sizeof(buf));
        int len = read(cfd, buf, sizeof(buf));
        if(len > 0)
        {
            printf("客户端say: %s\n", buf);
            write(cfd, buf, len);
        }
        else if(len  == 0)
        {
            printf("客户端断开了连接...\n");
            break;
        }
        else
        {
            perror("read");
            break;
        }
    }
    close(cfd);
    close(lfd);
    return 0;
}

在上面的代码中用到了三个会引起程序阻塞的函数，分别是：

accept()：如果服务器端没有新客户端连接，阻塞当前进程/线程，如果检测到新连接解除阻塞，建立连接
read()：如果通信的套接字对应的读缓冲区没有数据，阻塞当前进程/线程，检测到数据解除阻塞，接收数据
write()：如果通信的套接字写缓冲区被写满了，阻塞当前进程/线程（这种情况比较少见）

如果需要和发起新的连接请求的客户端建立连接，那么就必须在服务器端通过一个循环调accept()函数，另外已经和服务器建立连接的客户端需要和服务器通信，发送数据时的阻塞可以忽略，当接收不到数据时程序也会被阻塞，这时候就会非常矛盾，被accept()阻塞就无法通信，被read()阻塞就无法和客户端建立新连接。因此得出一个结论，基于上述处理方式，在单线程/单进程场景下，服务器是无法处理多连接的，解决方案也有很多，常用的有三种：

使用多线程实现
使用多进程实现
使用IO多路转接（复用）实现
使用IO多路转接 + 多线程实现

1.使用多进程实现并发服务器

如果要编写多进程版的并发服务器程序，首先要考虑，创建出的多个进程都是什么角色，这样就可以在程序中对号入座了。在Tcp服务器端一共有两个角色，分别是：监听和通信，监听是一个持续的动作，如果有新连接就建立连接，如果没有新连接就阻塞。关于通信是需要和多个客户端同时进行的，因此需要多个进程，这样才能达到互不影响的效果。进程也有两大类：父进程和子进程，通过分析我们可以这样分配进程：

父进程：
负责监听，处理客户端的连接请求，也就是在父进程中循环调用accept()函数
创建子进程：建立一个新的连接，就创建一个新的子进程，让这个子进程和对应的客户端通信
回收子进程资源：子进程退出回收其内核PCB资源，防止出现僵尸进程
子进程：负责通信，基于父进程建立新连接之后得到的文件描述符，和对应的客户端完成数据的接收和发送。
发送数据：send() / write()
接收数据：recv() / read()

在多进程版的服务器端程序中，多个进程是有血缘关系，对应有血缘关系的进程来说，还需要想明白他们有哪些资源是可以被继承的，哪些资源是独占的，以及一些其他细节：

子进程是父进程的拷贝，在子进程的内核区PCB中，文件描述符也是可以被拷贝的，因此在父进程可以使用的文件描述符在子进程中也有一份，并且可以使用它们做和父进程一样的事情。
父子进程有用各自的独立的虚拟地址空间，因此所有的资源都是独占的
为了节省系统资源，对于只有在父进程才能用到的资源，可以在子进程中将其释放掉，父进程亦如此。
由于需要在父进程中做accept()操作，并且要释放子进程资源，如果想要更高效一下可以使用信号的方式处理

具体实现

下面是一个使用多进程实现的并发 TCP 服务器的示例代码，包含详细注释。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/wait.h>
#include <signal.h>
#include <ctype.h>

// 处理SIGCHLD信号，避免僵尸进程
void sigchld_handler(int signo) {
    while (waitpid(-1, NULL, WNOHANG) > 0); //表示非阻塞地等待任意子进程终止。-1 表示等待任何子进程，NULL 表示不需要子进程的退出状态，WNOHANG 表示非阻塞。
}

// 处理客户端通信
void handle_client(int cfd) {
    char buf[1024];
    int n;
    while ((n = read(cfd, buf, sizeof(buf))) > 0) {
        for (int i = 0; i < n; i++) {
            buf[i] = toupper(buf[i]);
        }
        write(cfd, buf, n);
    }
    close(cfd);
}

int main() {
    // 创建监听套接字
    int lfd = socket(AF_INET, SOCK_STREAM, 0);
    if (lfd < 0) {
        perror("socket error");
        return -1;
    }

    // 绑定套接字
    struct sockaddr_in serv;
    bzero(&serv, sizeof(serv));
    serv.sin_family = AF_INET;
    serv.sin_port = htons(8888);
    serv.sin_addr.s_addr = htonl(INADDR_ANY);
    if (bind(lfd, (struct sockaddr *)&serv, sizeof(serv)) < 0) {
        perror("bind error");
        return -1;
    }

    // 监听连接请求
    listen(lfd, 3); //backlog 参数限制的是等待被 accept 的已完成连接的队列长度，而不是服务器可以处理的总客户端连接数。

    // 设置SIGCHLD信号处理
    struct sigaction sa;
    sa.sa_handler = sigchld_handler;
    sigemptyset(&sa.sa_mask);           // 初始化信号屏蔽字为空。
    sa.sa_flags = SA_RESTART;           //设置信号处理之后自动重新启动被信号打断的系统调用。
    if (sigaction(SIGCHLD, &sa, NULL) < 0) {
        perror("sigaction error");
        return -1;
    }

    while (1) {
        struct sockaddr_in client;
        socklen_t len = sizeof(client);
        int cfd = accept(lfd, (struct sockaddr *)&client, &len);
        if (cfd < 0) {
            perror("accept error");
            continue;
        }

        // 打印客户端连接信息
        char sIP[16];
        memset(sIP, 0x00, sizeof(sIP));
        printf("Client connected: IP [%s], PORT [%d]\n", inet_ntop(AF_INET, &client.sin_addr.s_addr, sIP, sizeof(sIP)), ntohs(client.sin_port));

        pid_t pid = fork();
        if (pid == 0) { // 子进程
            close(lfd); // 子进程关闭监听套接字
            handle_client(cfd); // 处理客户端通信
            printf("Client disconnected: IP [%s], PORT [%d]\n", inet_ntop(AF_INET, &client.sin_addr.s_addr, sIP, sizeof(sIP)), ntohs(client.sin_port));
            exit(0); // 子进程处理完成后退出
        } else if (pid > 0) { // 父进程
            close(cfd); // 父进程关闭与客户端通信的套接字
        } else {
            perror("fork error");
            close(cfd);
        }
    }

    close(lfd);
    return 0;
}

在上面的示例代码中，父子进程中分别关掉了用不到的文件描述符（父进程不需要通信，子进程也不需要监听）。如果客户端主动断开连接，那么服务器端负责和客户端通信的子进程也就退出了，子进程退出之后会给父进程发送一个叫做SIGCHLD的信号，在父进程中通过sigaction()函数捕捉了该信号，通过回调函数callback()中的waitpid()对退出的子进程进行了资源回收。

如果父进程调用accept() 函数没有检测到新的客户端连接，父进程就阻塞在这儿了，这时候有子进程退出了，发送信号给父进程，父进程就捕捉到了这个信号SIGCHLD，由于信号的优先级很高，会打断代码正常的执行流程，因此父进程的阻塞被中断，转而去处理这个信号对应的函数callback()，处理完毕，再次回到accept()位置，但是这是已经无法阻塞了，函数直接返回-1，此时函数调用失败，错误描述为accept: Interrupted system call，对应的错误号为EINTR，由于代码是被信号中断导致的错误，所以可以在程序中对这个错误号进行判断，让父进程重新调用accept()，继续阻塞或者接受客户端的新连接。

2.使用多线程实现并发服务器

编写多线程版的并发服务器程序和多进程思路差不多，考虑明白了对号入座即可。多线程中的线程有两大类：主线程（父线程）和子线程，他们分别要在服务器端处理监听和通信流程。根据多进程的处理思路，就可以这样设计了：

主线程：
负责监听，处理客户端的连接请求，也就是在父进程中循环调用accept()函数
创建子线程：建立一个新的连接，就创建一个新的子进程，让这个子进程和对应的客户端通信
回收子线程资源：由于回收需要调用阻塞函数，这样就会影响accept()，直接做线程分离即可。
子线程：负责通信，基于主线程建立新连接之后得到的文件描述符，和对应的客户端完成数据的接收和发送。
发送数据：send() / write()
接收数据：recv() / read()

在多线程版的服务器端程序中，多个线程共用同一个地址空间，有些数据是共享的，有些数据的独占的，下面来分析一些其中的一些细节：

同一地址空间中的多个线程的栈空间是独占的
多个线程共享全局数据区，堆区，以及内核区的文件描述符等资源，因此需要注意数据覆盖问题，并且在多个线程访问共享资源的时候，还需要进行线程同步。

示例代码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <pthread.h>
#include <ctype.h>

// 处理客户端通信的函数
void *handle_client(void *arg) {
    int cfd = *(int *)arg;
    free(arg);

    struct sockaddr_in client_addr;
    socklen_t client_addr_len = sizeof(client_addr);
    //getpeername 函数获取与套接字 cfd 关联的远程（客户端）地址信息，并将其存储在 client_addr 结构体中。
    getpeername(cfd, (struct sockaddr *)&client_addr, &client_addr_len);    

    char client_ip[INET_ADDRSTRLEN];
    inet_ntop(AF_INET, &client_addr.sin_addr, client_ip, sizeof(client_ip));
    int client_port = ntohs(client_addr.sin_port);

    printf("Client connected: IP [%s], PORT [%d], FD [%d]\n", client_ip, client_port, cfd);

    char buf[1024];
    int n;

    while ((n = read(cfd, buf, sizeof(buf))) > 0) {
        for (int i = 0; i < n; i++) {
            buf[i] = toupper(buf[i]);
        }
        write(cfd, buf, n);
    }

    printf("Client disconnected: IP [%s], PORT [%d], FD [%d]\n", client_ip, client_port, cfd);
    close(cfd);
    return NULL;
}

int main() {
    // 创建监听套接字
    int lfd = socket(AF_INET, SOCK_STREAM, 0);
    if (lfd < 0) {
        perror("socket error");
        return -1;
    }

    // 绑定套接字
    struct sockaddr_in serv_addr;
    bzero(&serv_addr, sizeof(serv_addr));
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(8888);
    serv_addr.sin_addr.s_addr = htonl(INADDR_ANY);

    if (bind(lfd, (struct sockaddr *)&serv_addr, sizeof(serv_addr)) < 0) {
        perror("bind error");
        close(lfd);
        return -1;
    }

    // 监听连接请求
    if (listen(lfd, 5) < 0) {
        perror("listen error");
        close(lfd);
        return -1;
    }

    while (1) {
        struct sockaddr_in client_addr;
        socklen_t client_addr_len = sizeof(client_addr);
        int *cfd = malloc(sizeof(int));     //每次新建一个int类型的变量，保存不同的通信套接字
        *cfd = accept(lfd, (struct sockaddr *)&client_addr, &client_addr_len);
        if (*cfd < 0) {
            perror("accept error");
            free(cfd);
            continue;
        }

        // 创建线程处理客户端请求
        pthread_t tid;
        pthread_attr_t attr;
        pthread_attr_init(&attr);
        pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_DETACHED); // 设置线程分离属性

        if (pthread_create(&tid, &attr, handle_client, cfd) != 0) {
            perror("pthread_create error");
            close(*cfd);
            free(cfd);
        }

        pthread_attr_destroy(&attr);
    }

    close(lfd);
    return 0;
}

客户端：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/socket.h>

#define PORT 8888
#define BUFFER_SIZE 1024
#define SERVER_IP "127.0.0.1"

int main() {
    int sock = 0, valread;
    struct sockaddr_in serv_addr;
    char buffer[BUFFER_SIZE] = {0};
    char input_buffer[BUFFER_SIZE] = {0};
    char *hello = "Hello from client";
    int opt = 1;

    // 创建 TCP 套接字
    if ((sock = socket(AF_INET, SOCK_STREAM, 0)) < 0) {
        perror("socket creation failed");
        return -1;
    }

    // 设置服务器地址结构
    serv_addr.sin_family = AF_INET;
    serv_addr.sin_port = htons(PORT);

    // 将 IPv4 地址从文本转换为二进制形式
    if (inet_pton(AF_INET, SERVER_IP, &serv_addr.sin_addr) <= 0) {
        perror("Invalid address/ Address not supported");
        return -1;
    }

    // 连接服务器
    if (connect(sock, (struct sockaddr *)&serv_addr, sizeof(serv_addr)) < 0) {
        perror("Connection Failed");
        return -1;
    }

    printf("Connected to server\n");

    // 循环发送消息并接收响应
    while (1) {
        printf("Enter message to send (or 'exit' to quit): ");
        fgets(input_buffer, BUFFER_SIZE, stdin);

        // 去掉输入的换行符
        input_buffer[strcspn(input_buffer, "\n")] = 0;

        // 如果输入是 'exit'，则退出循环
        if (strcmp(input_buffer, "exit") == 0) {
            break;
        }

        // 发送消息给服务器
        send(sock, input_buffer, strlen(input_buffer), 0);
        printf("Message sent to server: %s\n", input_buffer);

        // 接收服务器的响应
        valread = read(sock, buffer, BUFFER_SIZE);
        printf("Server response: %s\n", buffer);
        memset(buffer, 0, sizeof(buffer));
    }

    close(sock);
    return 0;
}