TinyWebServer项目笔记——02 半同步半反应堆线程池

news2025/3/10 21:51:52

目录

1.基础知识

(1)服务器编程基本框架

(2)五种I/O模型

(3)事件处理模式

(4)并发编程模式

(5)半同步/半反应堆

(6)线程池

(7)静态成员变量与静态成员函数

(8)pthread_create与this指针陷阱

2.线程池分析

(1)线程池类定义

(2)线程池创建与回收

(3)向请求队列中添加任务

(4)线程处理函数

(5)run执行任务


1.基础知识

(1)服务器编程基本框架

        主要由I/O单元、逻辑单元和网络存储单元组成。其中每个单元之间通过请求队列进行通信,从而协同完成任务。

        I/O单元用于处理客户端连接、读写网络数据;逻辑单元用于处理业务逻辑的线程;网络存储单元指本地数据库和文件等。

(2)五种I/O模型

        1.阻塞I/O:调用某个函数,会一直等待,直到函数返回。

                优点:简单易用,编程模型直观。

                缺点:效率低,尤其在高并发情况下,浪费CPU资源。

                适合场景:低并发、简单的应用。

        2.非阻塞I/O:非阻塞等待,每隔一段时间会检查是否就绪。没有则立即返回一个错误,然后去执行其他部分。

                优点:能同时处理多个I/O操作,提高利用率。

                缺点:轮询会消耗大量CPU资源,编程复杂度较高。

                适合场景:同时处理多个I/O操作,但对性能不高的场景。

        3.I/O多路复用:使用系统调用(如select、poll)同时监控多个文件描述符。当某个文件描述符就绪时,系统调用返回,程序处理对应的I/O操作。

                优点:高效处理大量并发连接,减少资源消耗。

                缺点:编程复杂度高,需要处理多个文件描述符的状态。

                适合场景:高并发服务器。

        4.信号驱动I/O:程序通过系统调用注册一个信号处理函数。当I/O操作就绪时,内核会发送一个信号通知程序。

                优点:不需要轮询,减少CPU消耗。

                缺点:信号处理函数中可执行的操作有限,编程复杂度较高。

                适合场景:对实时性要求高的场景,如实时数据采集。

        5.异步I/O:程序发起I/O操作后,立即返回,内核负责完成I/O操作。当操作完成后,内核通过回调函数或信号通知程序。

                优点:完全非阻塞,程序可以执行其他任务,效率最高。

                缺点:编程复杂度最高,需要操作系统支持。

                适合场景:高性能服务器。

        前四种都属于同步I/O。即内核向应用程序通知的是就绪事件,比如只通知有客户端连接,要求用户代码自行执行I/O操作,异步I/O是指内核向应用程序通知的是完成事件,比如读取客户端的数据后才通知应用程序,由内核完成I/O操作。

(3)事件处理模式

        1.Reactor模式

        Reactor模式是基于同步I/O的事件处理模式。它通过一个事件循环监听多个事件源(如文件描述符),当事件发生时,将事件分发给对应的处理程序。

        工作流程:1.向Reactor注册事件源和对应的事件处理器。2.Reactor调用事件多路分发器监听事件。3.当事件发生时,Readtor将事件分发给对应的事件处理器。4.事件处理器处理事件。

        优点:适合高并发场景,资源利用率高。

        缺点:事件处理逻辑与I/O操作耦合,可能影响性能。

        2.Proactor模式

        Proactor模式是基于异步I/O的事件处理模式。它将I/O操作交给操作系统完成,当操作完成后,通过回调函数通知应用程序。

        工作流程:1.应用程序向Procator注册事件源和对应的完成时间处理器。2.Proactor发起异步I/O操作。3.当异步操作完成时,操作系统通知Proactor。4.Proactor调用对应的完成事件处理器处理结果。

        优点:完全非阻塞,性能极高。适合处理大量I/O密集型任务。

        缺点:编程复杂度高,需要操作系统支持异步I/O。

(4)并发编程模式

        并发编程方法的实现有多进程和多线程两种。但这里涉及的并发模式指I/O处理单元与逻辑单元的协同完成任务的方法。

        半同步/半异步模式是一种结合了同步和异步优点的并发编程模式,常用于高性能服务器设计中。它通过将任务分为同步和异步两部分,既保证了响应速度,又简化了编程复杂度。

        其核心思想是将系统分为两层:

        1.异步层:负责处理I/O事件,使用非阻塞I/O和事件驱动机制。

        2.同步层:负责处理业务逻辑,使用多线程或多进程。

        优点:异步层高效处理I/O事件,保证响应速度。同步层简化业务逻辑开发,避免回调地狱。

        缺点:需要额外的队列或消息传递机制,可能引入延迟。异步层和同步层的划分需要合理设计。

  • 同步指的是程序完全按照代码序列的顺序执行

  • 异步指的是程序的执行需要由系统事件驱动

(5)半同步/半反应堆

        半同步/半反应堆并发模式是半同步/半异步的变体,将半异步具体化为某种事件处理模式。

其工作流程为:

  • 主线程充当异步线程,负责监听所有socket上的事件

  • 若有新请求到来,主线程接收之以得到新的连接socket,然后往epoll内核事件表中注册该socket上的读写事件

  • 如果连接socket上有读写事件发生,主线程从socket上接收数据,并将数据封装成请求对象插入到请求队列中

  • 所有工作线程睡眠在请求队列上,当有任务到来时,通过竞争(如互斥锁)获得任务的接管权

(6)线程池

       可以参考这篇文章——  C++之线程池(Thread Pool)-CSDN博客

(7)静态成员变量与静态成员函数

        参考这篇文章——C++关键字之static-CSDN博客

(8)pthread_create与this指针陷阱

        函数原型

#include <pthread.h>
2int pthread_create (pthread_t *thread_tid,                 //返回新生成的线程的id
3                    const pthread_attr_t *attr,         //指向线程属性的指针,通常设置为NULL
4                    void * (*start_routine) (void *),   //处理线程函数的地址
5                    void *arg);                         //start_routine()中的参数

        函数原型中的第三个参数,为函数指针,指向处理线程函数的地址。该函数,要求为静态函数。如果处理线程函数为类成员函数时,需要将其设置为静态成员函数

        若线程函数为类成员函数,则this指针会作为默认的参数被传进函数中,从而和线程函数参数(void*)不能匹配,不能通过编译。静态成员函数就没有这个问题,里面没有this指针。

2.线程池分析

        线程池的设计模式为半同步/半反应堆,其中反应堆具体为Procator事件处理模式。

        具体的,主线程为异步线程,负责监听文件描述符,接收socket新连接,若当前监听的socket发生了读写事件,然后将任务插入到请求队列。工作线程从请求队列中取出任务,完成读写数据的处理。

(1)线程池类定义
1template<typename T>
 2class threadpool{
 3    public:
 4        //thread_number是线程池中线程的数量
 5        //max_requests是请求队列中最多允许的、等待处理的请求的数量
 6        //connPool是数据库连接池指针
 7        threadpool(connection_pool *connPool, int thread_number = 8, int max_request = 10000);
 8        ~threadpool();
 9
10        //像请求队列中插入任务请求
11        bool append(T* request);
12
13    private:
14        //工作线程运行的函数
15        //它不断从工作队列中取出任务并执行之
16        static void *worker(void *arg);
17
18        void run();
19
20    private:
21        //线程池中的线程数
22        int m_thread_number;
23
24        //请求队列中允许的最大请求数
25        int m_max_requests;
26
27        //描述线程池的数组,其大小为m_thread_number
28        pthread_t *m_threads;
29
30        //请求队列
31        std::list<T *>m_workqueue;    
32
33        //保护请求队列的互斥锁    
34        locker m_queuelocker;
35
36        //是否有任务需要处理
37        sem m_queuestat;
38
39        //是否结束线程
40        bool m_stop;
41
42        //数据库连接池
43        connection_pool *m_connPool;  
44};
(2)线程池创建与回收

        构造函数中创建线程池,pthread_create函数中将类的对象作为参数传递给静态函数(worker),在静态函数中引用这个对象,并调用其动态方法(run)。

        具体的,类对象传递时用this指针,传递给静态函数后,将其转换为线程池类,并调用私有成员函数run。

 1   template<typename T>
 2   threadpool<T>::threadpool( connection_pool *connPool, int thread_number, int 
     max_requests) : m_thread_number(thread_number), m_max_requests(max_requests), 
     m_stop(false), m_threads(NULL),m_connPool(connPool){
 3
 4    if(thread_number<=0||max_requests<=0)
 5        throw std::exception();
 6
 7    //线程id初始化
 8    m_threads=new pthread_t[m_thread_number];
 9    if(!m_threads)
10        throw std::exception();
11    for(int i=0;i<thread_number;++i)
12    {
13        //循环创建线程,并将工作线程按要求进行运行
14        if(pthread_create(m_threads+i,NULL,worker,this)!=0){
15            delete [] m_threads;
16            throw std::exception();
17        }
18
19        //将线程进行分离后,不用单独对工作线程进行回收
20        if(pthread_detach(m_threads[i])){
21            delete[] m_threads;
22            throw std::exception();
23        }
24    }
25}
(3)向请求队列中添加任务

        通过list容器创建请求队列,向队列中添加时,通过互斥锁保证线程安全,添加完成后通过信号量提醒有任务要处理,最后注意线程同步。

 1template<typename T>
 2bool threadpool<T>::append(T* request)
 3{
 4    m_queuelocker.lock();
 5
 6    //根据硬件,预先设置请求队列的最大值
 7    if(m_workqueue.size()>m_max_requests)
 8    {
 9        m_queuelocker.unlock();
10        return false;
11    }
12
13    //添加任务
14    m_workqueue.push_back(request);
15    m_queuelocker.unlock();
16
17    //信号量提醒有任务要处理
18    m_queuestat.post();
19    return true;
20}
(4)线程处理函数

        内部访问私有成员函数run,完成线程处理要求。

1template<typename T>
2void* threadpool<T>::worker(void* arg){
3
4    //将参数强转为线程池类,调用成员方法
5    threadpool* pool=(threadpool*)arg;
6    pool->run();
7    return pool;
8}
(5)run执行任务

        主要实现,工作线程从请求队列中取出某个任务进行处理,注意线程同步。

 1template<typename T>
 2void threadpool<T>::run()
 3{
 4    while(!m_stop)
 5    {    
 6        //信号量等待
 7        m_queuestat.wait();
 8
 9        //被唤醒后先加互斥锁
10        m_queuelocker.lock();
11        if(m_workqueue.empty())
12        {
13            m_queuelocker.unlock();
14            continue;
15        }
16
17        //从请求队列中取出第一个任务
18        //将任务从请求队列删除
19        T* request=m_workqueue.front();
20        m_workqueue.pop_front();
21        m_queuelocker.unlock();
22        if(!request)
23            continue;
24
25        //从连接池中取出一个数据库连接
26        request->mysql = m_connPool->GetConnection();
27
28        //process(模板类中的方法,这里是http类)进行处理
29        request->process();
30
31        //将数据库连接放回连接池
32        m_connPool->ReleaseConnection(request->mysql);
33    }
34}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2312896.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

用Deepseek写一个五子棋微信小程序

在当今快节奏的生活中&#xff0c;休闲小游戏成为了许多人放松心情的好选择。五子棋作为一款经典的策略游戏&#xff0c;不仅规则简单&#xff0c;还能锻炼思维。最近&#xff0c;我借助 DeepSeek 的帮助&#xff0c;开发了一款五子棋微信小程序。在这篇文章中&#xff0c;我将…

MWC 2025 | 紫光展锐与中国联通联合发布5G eSIM 平板

2025 年 3 月 3 日至 6 日&#xff0c;在全球移动通信行业的年度盛会 —— 世界移动通信大会&#xff08;MWC 2025&#xff09;上&#xff0c;紫光展锐联合中国联通重磅发布了支持eSIM的5G平板VN300E。 该产品采用紫光展锐T9100高性能5G SoC芯片平台&#xff0c;内置8 TOPS算力…

操作系统控制台-健康守护我们的系统

引言基本准备体验功能健康守护系统诊断 收获提升结语 引言 阿里云操作系统控制平台作为新一代云端服务器中枢平台&#xff0c;通过创新交互模式重构主机管理体验。操作系统控制台提供了一系列管理功能&#xff0c;包括运维监控、智能助手、扩展插件管理以及订阅服务等。用户可以…

FreeRTOS任务状态查询

一.任务相关API vTaskList&#xff08;&#xff09;&#xff0c;创建一个表格描述每个任务的详细信息 char biaoge[1000]; //定义一个缓存 vTaskList(biaoge); //将表格存到这缓存中 printf("%s /r/n",biaoge); 1.uxTaskPriorityGet&#xff08;&#xf…

blender学习25.3.6

【02-基础篇】Blender小凳子之凳面及凳脚的创作_哔哩哔哩_bilibili 【03-基础篇】Blender小凳子之其他细节调整优化_哔哩哔哩_bilibili 这篇文章写的全&#xff0c;不用自己写了 Blender 学习笔记&#xff08;一&#xff09;快捷键记录_blender4.1快捷键-CSDN博客 shifta&a…

RabbitMQ 2025/3/5

高性能异步通信组件。 同步调用 以支付为例&#xff1a; 可见容易发生雪崩。 异步调用 以支付为例&#xff1a; 支付服务当甩手掌柜了&#xff0c;不管后面的几个服务的结果。只管库库发&#xff0c;后面那几个服务想取的时候就取&#xff0c;因为消息代理里可以一直装&#x…

JSP+Servlet实现对数据库增删改查功能

前提概要 需要理解的重要概念 ​MVC模式&#xff1a; Model&#xff08;person类&#xff09;&#xff1a;数据模型View&#xff08;JSP&#xff09;&#xff1a;显示界面Controller&#xff08;Servlet&#xff09;&#xff1a;处理业务逻辑 ​请求流程&#xff1a; 浏览器 …

C++【类和对象】

类和对象 1.this 指针2.类的默认成员函数3.构造函数4.析构函数5.拷贝构造函数 1.this 指针 接上文 this指针存在内存的栈区域。 2.类的默认成员函数 定义&#xff1a;编译器自动生成的成员函数。一个类&#xff0c;我们不写的情况下会默认生成六个成员函数。 3.构造函数 函…

GStreamer —— 2.13、Windows下Qt加载GStreamer库后运行 - “教程13:播放控制“(附:完整源码)

运行效果(音频) 简介 上一个教程演示了GStreamer工具。本教程介绍视频播放控制。快进、反向播放和慢动作都是技术 统称为 Trick Modes&#xff0c;它们都有一个共同点 修改 Normal playback rate。本教程介绍如何实现 这些效果并在交易中添加了帧步进。特别是&#xff0c;它 显…

MongoDB winx64 msi包安装详细教程

首先我们可以从官网上选择对应版本和对应的包类型进行安装&#xff1a; 下载地址&#xff1a;Download MongoDB Community Server | MongoDB 这里可以根据自己的需求&#xff0c; 这里我选择的是8.0.5 msi的版本&#xff0c;采用的传统装软件的方式安装。无需配置命令。 下载…

WinUI 3 支持的三种窗口 及 受限的窗口透明

我的目标 希望能够熟悉 WinUI 3 窗口的基本使用方式&#xff0c;了解可能出现的问题 。 WinUI 3 支持三种窗口模式&#xff0c;分别为&#xff1a;常规窗口模式、画中画模式、全屏模式。 窗口模式&#xff1a;常规 即我们最常见的普通窗口。 支持&#xff1a;显示最大化按钮…

如何借助 ArcGIS Pro 高效统计基站 10km 范围内的村庄数量?

在当今数字化时代&#xff0c;地理信息系统&#xff08;GIS&#xff09;技术在各个领域都发挥着重要作用。 特别是在通信行业&#xff0c;对于基站周边覆盖范围内的地理信息分析&#xff0c;能够帮助我们更好地进行网络规划、资源分配以及市场分析等工作。 今天&#xff0c;就…

Linux网络之数据链路层协议

目录 数据链路层 MAC地址与IP地址 数据帧 ARP协议 NAT技术 代理服务器 正向代理 反向代理 上期我们学习了网络层中的相关协议&#xff0c;为IP协议。IP协议通过报头中的目的IP地址告知了数据最终要传送的目的主机的IP地址&#xff0c;从而指引了数据在网络中的一步…

如何使用 PyInstaller 打包 Python 脚本?一看就懂的完整教程!

PyInstaller 打包指令教程 1. 写在前面 通常&#xff0c;在用 Python 编写完一个脚本后&#xff0c;需要将它部署并集成到一个更大的项目中。常见的集成方式有以下几种&#xff1a; 使用 PyInstaller 打包。使用 Docker 打包。将 Python 嵌入到 C 代码中&#xff0c;并封装成…

解锁DeepSpeek-R1大模型微调:从训练到部署,打造定制化AI会话系统

目录 1. 前言 2.大模型微调概念简述 2.1. 按学习范式分类 2.2. 按参数更新范围分类 2.3. 大模型微调框架简介 3. DeepSpeek R1大模型微调实战 3.1.LLaMA-Factory基础环境安装 3.1大模型下载 3.2. 大模型训练 3.3. 大模型部署 3.4. 微调大模型融合基于SpirngBootVue2…

Hadoop、Hive、Spark的关系

Part1&#xff1a;Hadoop、Hive、Spark关系概览 1、MapReduce on Hadoop 和spark都是数据计算框架&#xff0c;一般认为spark的速度比MR快2-3倍。 2、mapreduce是数据计算的过程&#xff0c;map将一个任务分成多个小任务&#xff0c;reduce的部分将结果汇总之后返回。 3、HIv…

基于VMware虚拟机的Ubuntu22.04系统安装和配置(新手保姆级教程)

文章目录 一、前期准备1. 硬件要求2. 软件下载2-1. 下载虚拟机运行软件 二、安装虚拟机三、创建 Ubuntu 系统虚拟机四、Ubuntu 系统安装过程的配置五、更换国内镜像源六、设置静态 IP七、安装常用软件1. 编译工具2. 代码管理工具3. 安装代码编辑软件&#xff08;VIM&#xff09…

基于SpringBoot的历史馆藏系统设计与实现(源码+SQL脚本+LW+部署讲解等)

专注于大学生项目实战开发,讲解,毕业答疑辅导&#xff0c;欢迎高校老师/同行前辈交流合作✌。 技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;…

蓝桥杯[每日两题] 真题:好数 神奇闹钟 (java版)

题目一&#xff1a;好数 题目描述 一个整数如果按从低位到高位的顺序&#xff0c;奇数位&#xff08;个位、百位、万位 &#xff09;上的数字是奇数&#xff0c;偶数位&#xff08;十位、千位、十万位 &#xff09;上的数字是偶数&#xff0c;我们就称之为“好数”。给定…

基于BMO磁性细菌优化的WSN网络最优节点部署算法matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 无线传感器网络&#xff08;Wireless Sensor Network, WSN&#xff09;由大量分布式传感器节点组成&#xff0c;用于监测物理或环境状况。节点部署是 WSN 的关键问…