Nginx底层基础数据结构

news2024/11/18 20:01:32

基础数据结构

ngx_int_t

32位操作系统4字节,64位操作系统8字节

解决跨平台以及,普通int类型在x86和x64操作系统上面是4字节,在类型转换时造成内存浪费(如在x64下面转换long类型)

typedef intptr_t        ngx_int_t;

#ifdef _WIN64
typedef __int64 intptr_t;
#else
typedef __int32 intptr_t;
#endif

ngx_str_t

在Nginx的领域中,ngx_str_t结构就是字符串。ngx_str_t的定义如下:

ngx_str_t只有两个成员,其中data指针指向字符串起始地址,len表示字符串的有效长度。注意,ngx_str_t的data成员指向的并不是普通的字符串,
因为这段字符串未必会以’\0’作为结尾,所以使用时必须根据长度len来使用data成员。

typedef struct {
    size_t      len;
    u_char     *data;
} ngx_str_t;

ngx_list_t

ngx_list_t描述整个链表,而ngx_list_part_t只描述链表的一个元素。这里要注意的是,ngx_list_t不是一个单纯的链表,为了便于理解,我们姑且称它为存储数组的链表,什么意思呢?抽象地说,就是每个链表元素ngx_list_part_t又是一个数组,拥有连续的内存,它既依赖于ngx_list_t里的size和nalloc来表示数组的容量,同时又依靠每个ngx_list_part_t成员中的nelts来表示数组当前已使用了多少容量。因此,ngx_list_t是一个链表容器,而链表中的元素又是一个数组。事实上,ngx_list_part_t数组中的元素才是用户想要存储的东西,ngx_list_t链表能够容纳的元素数量由ngx_list_part_t数组元素的个数与每个数组所能容纳的元素相乘得到。

这样设计有什么好处呢?
  • 链表中存储的元素是灵活的,它可以是任何一种数据结构。
  • 链表元素需要占用的内存由ngx_list_t管理,它已经通过数组分配好了。
  • 小块的内存使用链表访问效率是低下的,使用数组通过偏移量来直接访问内存则要高效得多。

image-20240122214654294

成员以及成员意义
  • ngx_list_part_s:链表的每一个节点
    • elts:指向数组的起始地址。
    • nelts:已经使用的容量
    • next:下一个节点
  • ngx_list_t:链表类
    • part:首节点,注意:首节点存储的是一个结构体,而不是指针
    • last:指向最后一个节点
    • size:节点的elts数组中存储的数据类型的最大大小
    • nalloc:链表的数组元素一旦分配后是不可更改的。nalloc表示每个ngx_list_part_t数组的容量,即最多可存储多少个数据。
    • pool:所属内存池,链表中管理内存分配的内存池对象。用户要存放的数据占用的内存都是由pool分配的
typedef struct ngx_list_part_s  ngx_list_part_t;

struct ngx_list_part_s { 
    void             *elts;
    ngx_uint_t        nelts;
    ngx_list_part_t  *next; 
};

typedef struct {
    ngx_list_part_t  *last; 
    ngx_list_part_t   part;
    size_t size;
    ngx_uint_t nalloc; 
    ngx_pool_t *pool; 
} ngx_list_t;

//创建链表
//n size分别对应ngx_list_t中的size和nalloc
ngx_list_t *ngx_list_create(ngx_pool_t *pool, ngx_uint_t n, size_t size);

//链表初始化,在ngx_list_create会调用,无需自己调用
static ngx_inline ngx_int_t
ngx_list_init(ngx_list_t *list, ngx_pool_t *pool, ngx_uint_t n, size_t size);

//添加元素
void *ngx_list_push(ngx_list_t *list);

ngx_table_elt_t

  • ngx_table_elt_t就是一个key/value对,ngx_str_t 类型的key、value成员分别存储的是名字、值字符串。

  • 显而易见,ngx_table_elt_t是为HTTP头部“量身订制”的,其中key存储头部名称(如Content-Length),value存储对应的值(如“1024”),

  • lowcase_key是为了忽略HTTP头部名称的大小写(例如,有些客户端发来的HTTP请求头部是content-length,Nginx希望它与大小写敏感的

  • Content-Length做相同处理,有了全小写的lowcase_key成员后就可以快速达成目的了),hash用于快速检索头部

typedef struct {
    ngx_uint_t        hash;//通过key value字符串计算出的hash值
    ngx_str_t         key;
    ngx_str_t         value;
    u_char           *lowcase_key;//存放的是本结构体中key的小写字母字符串
} ngx_table_elt_t;

ngx_buf_t

缓冲区ngx_buf_t是Nginx处理大数据的关键数据结构,它既应用于内存数据也应用于磁盘数据

ngx_buf_t是一种基本数据结构,本质上它提供的仅仅是一些指针成员和标志位。对于HTTP模块来说,需要注意HTTP框架、事件框架是如何设置和使用pos、last等指针以及如何处理这些标志位的,上述说明只是最常见的用法。(如果我们自定义一个ngx_buf_t结构体,不应当受限于上述用法,而应该根据业务需求自行定义。例如用一个ngx_buf_t缓冲区转发上下游TCP流时,pos会指向将要发送到下游的TCP流起始地址,而last会指向预备接收上游TCP流的缓冲区起始地址。)

成员以及成员意义
  • pos:指向从内存池里分配的内存。 pos为已扫描的内存端中,还未解析的内存的尾部,
  • last:last通常表示有效的内容到此为止
  • file_pos:将要处理的文件位置
  • file_last:截止的文件位置
  • start:指向ngx_buf_t的起始地址
  • end:与start成员对应,指向缓冲区内存的末尾
  • tag:表示当前缓冲区的类型,例如由哪个模块使用就指向这个模块ngx_module_t变量的地址
  • file:引用的文件 用于存储接收到所有包体后,把包体内容写入到file文件中,
  • shadow:当前缓冲区的影子缓冲区,该成员很少用到
  • temporary:临时内存标志位,为1时表示数据在内存中且这段内存可以修改
  • memory:标志位,为1时表示数据在内存中且这段内存不可以被修改
  • mmap:标志位,为1时表示这段内存是用mmap系统调用映射过来的,不可以被修改
  • recycled:标志位,为1时表示可回收利用,当该buf被新的buf指针指向的时候,就置1,
  • in_file:标志位,为1时表示这段缓冲区处理的是文件而不是内存,说明包体全部存入文件中,
  • flush:标志位,为1时表示需要执行flush操作 标示需要立即发送缓冲的所有数据;
  • sync:标志位,0同步,1异步
  • last_buf:标志位,表示是否是最后一块缓冲区,因为ngx_buf_t可以由ngx_chain_t链表串联起来,因此,当last_buf为1时,表示当前是最后一块待处理的缓冲区
  • last_in_chain:标志位,表示是否是ngx_chain_t中的最后一块缓冲区
  • last_shadow:标志位,表示是否是最后一个影子缓冲区,与shadow域配合使用。通常不建议使用它
  • temp_file:标志位,表示当前缓冲区是否属于临时文件
  • num:读取后端服务器包体分配的第几个buf
typedef void *            ngx_buf_tag_t;
typedef struct ngx_buf_s  ngx_buf_t;

struct ngx_buf_s {
    //它的pos成员和last成员指向的地址之间的内存就是接收到的还未解析的字符流
    u_char          *pos;
    u_char          *last;
    //处理文件时,file_pos与file_last的含义与处理内存时的pos与last相同,
    off_t            file_pos;
    off_t            file_last;
    //如果ngx_buf_t缓冲区用于内存,那么start指向这段内存的起始地址
    u_char          *start;
    u_char          *end;
    ngx_buf_tag_t    tag;
    ngx_file_t      *file;
    ngx_buf_t       *shadow;
    unsigned         temporary:1; 
    unsigned         memory:1;
    unsigned         mmap:1;
    unsigned         recycled:1; 
    unsigned         in_file:1;
    unsigned         flush:1;
    unsigned         sync:1;
    unsigned         last_buf:1; 
    unsigned         last_in_chain:1;
    unsigned         last_shadow:1; 
    unsigned         temp_file:1;
   	/* STUB */ int   num;
};

ngx_chain_t

ngx_chain_t是与ngx_buf_t配合使用的链表数据结构

buf指向当前的ngx_buf_t缓冲区,next则用来指向下一个ngx_chain_t。如果这是最后一个ngx_chain_t,则需要把next置为NULL。

struct ngx_chain_s {
    ngx_buf_t    *buf;
    ngx_chain_t  *next;
};

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1525774.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

leetcode 3080

leetcode 3080 题目 例子 思路 创建数组&#xff0c;记录nums 的值 对应的id, 按照大小排序。 代码实现 class Solution { public:vector<long long> unmarkedSumArray(vector<int>& nums, vector<vector<int>>& queries) {vector<long…

基于Spring Boot的社区垃圾分类管理平台的设计与实现

摘 要 近些年来&#xff0c;随着科技的飞速发展&#xff0c;互联网的普及逐渐延伸到各行各业中&#xff0c;给人们生活带来了十分的便利&#xff0c;社区垃圾分类管理平台利用计算机网络实现信息化管理&#xff0c;使整个社区垃圾分类管理的发展和服务水平有显著提升。 本文拟…

训练数据集(一):真实场景下采集的煤矸石目标检测数据集,可直接用于YOLOv5/v6/v7/v8训练

文章目录 数据集介绍数据集训练精度展示数据集获取方式 数据集介绍 煤矸石训练数据集&#xff1a;891张&#xff1b;验证数据数据集&#xff1a;404张 数据集类别&#xff1a;0代表煤炭&#xff08;coal&#xff09;&#xff0c;1代表矸石&#xff08;gangue&#xff09;&…

BUU [FBCTF2019]RCEService

BUU [FBCTF2019]RCEService 开题&#xff0c;要求以json格式输入命令。 无任何信息泄露&#xff0c;源码如下&#xff1a; <?phpputenv(PATH/home/rceservice/jail);if (isset($_REQUEST[cmd])) {$json $_REQUEST[cmd];if (!is_string($json)) {echo Hacking attempt de…

机器硬件命令

一、查看机器核数 有以下几种方法 1、lscpu命令 lscpu命令可以显示关于CPU的信息&#xff0c;包括核数、线程数等。在终端中输入以下命令即可查看CPU核数&#xff1a;该命令会输出CPU每个物理插槽的核数。 lscpu | grep "Core(s) per socket" | awk {print $NF} …

腾讯云优惠券领取攻略:快速获取方法大揭秘

随着云计算技术的日益成熟&#xff0c;越来越多的企业和个人选择使用云服务来降低运营成本、提高运营效率。腾讯云作为国内领先的云计算服务提供商&#xff0c;凭借其稳定、安全、高效的云服务&#xff0c;赢得了广大用户的青睐。而领取腾讯云优惠券&#xff0c;无疑是降低云服…

Python接口自动化之接口依赖

一、场景说明 在面试接口自动化时&#xff0c;经常会问&#xff0c;其他接口调用的前提条件是当前用户必须是登录状态&#xff0c;如何处理接口依赖&#xff1f; 在此之前我们介绍过session管理器保存会话状态。如果接口请求需要携带token&#xff0c;那么又如果处理呢&#…

Greetings

Problem - 1915F - Codeforces 题意 给一些(l,r)找到所有能够包含(l,r)的数目 引入 也就是找逆序对个数 要用到归并排序中的思想&#xff1a; //https://www.luogu.com.cn/problem/P1216 #include<iostream> #include<cstdio> #include<stack> #include…

Midjourney绘图欣赏系列(十三)

Midjourney介绍 Midjourney 是生成式人工智能的一个很好的例子&#xff0c;它根据文本提示创建图像。它与 Dall-E 和 Stable Diffusion 一起成为最流行的 AI 艺术创作工具之一。与竞争对手不同&#xff0c;Midjourney 是自筹资金且闭源的&#xff0c;因此确切了解其幕后内容尚不…

毕设学习进展周报

文章目录 3.11-3.18 3.11-3.18 1.阅读ACL文献并记录 2.查找相关资料学习在阿里云部署ChatGLM3-6B 参考&#xff1a;https://blog.csdn.net/H66778899/article/details/135630030 # 运行 streamlit run /mnt/workspace/ChatGLM3/conposite_demo/main.py可以得到&#xff1a;…

Induction or tail-recursion

选择排序 遍历整个待排序的数组&#xff0c;从第一个元素开始。在未排序的部分中&#xff0c;找到最小&#xff08;或最大&#xff09;的元素&#xff0c;并将其与第一个元素交换位置。接着从第二个元素开始&#xff0c;重复步骤2&#xff0c;直到所有元素都被排序 迭代版 递…

漏洞复现-宏景HJSOFT系列

漏洞复现-宏景 宏景人力系统任意文件读取漏洞宏景eHR FrCodeAddTreeServlet SQL注入宏景HCM 宏景人力系统 downlawbase接口存在SQL注入[1day]宏景某接口存在任意文件读取漏洞-附py增加宏景eHR人力资源信息管理系统sql注入检测宏景HCM人力资源信息管理系统任意文件上传漏洞宏景e…

Docker进阶:离线安装docker社区版(docker-18.06.3-ce)

Docker进阶&#xff1a;离线安装docker社区版&#xff08;docker-18.06.3-ce&#xff09; 1、准备离线安装所需的文件2、传输文件至目标Linux系统3、卸载旧版Docker4、离线安装Docker1、解压上传的Docker安装包2、拷贝文件到/usr/bin目录3、将 Docker 注册为系统服务4、重新加载…

AI助手 - Fitten Code

前言 上一篇介绍了商汤AI编程小助手小浣熊 Raccoon&#xff0c;过程中又发现了另外一款国产AI编程助手&#xff0c;那就是本篇要介绍的非十科技出品的Fitten Code。 ​ Fitten Code 主打一个快&#xff1a;超高准确率、超快的响应速度。号称代码生成比GitHub Copilot 快两倍&am…

逻辑运算函数

true默认为1 false默认为0 可以用于多条件筛选 if语句 多层嵌套

【JVM】(内存区域划分 为什么要划分 具体如何分 类加载机制 类加载基本流程 双亲委派模型 类加载器 垃圾回收机制(GC))

文章目录 内存区域划分为什么要划分具体如何分 类加载机制类加载基本流程双亲委派模型类加载器 垃圾回收机制&#xff08;GC&#xff09; 内存区域划分 为什么要划分 JVM启动的时候会申请到一整个很大的内存区域,JVM是一个应用程序,要从操作系统这里申请内存,JVM就需要根据,把…

jscpd对项目进行查重(支持150+类语言)

jscpd jscpd 查重时能够跳过标记为忽略的块和新行以及空符号和注释&#xff08;不支持尖括号注释<!-- --&#xff01;>&#xff09;&#xff0c;重复率判定依据为一定长度标识符的MD5值是否相同。 安装 npm install -g jscpd配置参数(查看更多) OptionTypeDefaultDes…

【C语言基础】:字符函数和字符串函数

文章目录 一、字符函数1. 字符分类函数2. 字符转化函数 二、字符串函数1. strlen函数的使用和模拟实现strlen函数的使用strlen函数的模拟实现 2. strcpy函数的使用和模拟实现strcpy函数的使用strcpy函数的模拟实现 3. strcat函数的使用和模拟实现strcat函数的使用strcat函数的模…

5 个最佳 Mock 工具

在持续发展的前端开发领域&#xff0c;一套高效的自动化工具是关键。这篇文章将带你了解五个出色的模拟工具&#xff0c;它们能极大提升你的生产力、简化数据仿真&#xff0c;并提升接口测试效率。对于寻求提高工作流的前端开发者来说&#xff0c;它们是必不可少的。让我们开始…

牛客题霸-SQL入门篇(刷题记录二)

本文基于前段时间学习总结的 MySQL 相关的查询语法&#xff0c;在牛客网找了相应的 MySQL 题目进行练习&#xff0c;以便加强对于 MySQL 查询语法的理解和应用。 以下内容是牛客题霸-SQL入门篇剩余的第 21-39 道题目的 SQL 代码答案。 由于涉及到的数据库表较多&#xff0c;因…