Nginx模块开发之http handler实现流量统计（1）

news2024/9/23 23:22:02

文章目录

  • 一、handler简介
  • 二、Nginx handler模块开发
    • 2.1、示例代码
    • 2.2、编写config文件
    • 2.3、编译模块到Nginx源码中
    • 2.4、修改conf文件
    • 2.5、执行效果
  • 三、Nginx的热更新
  • 总结

一、handler简介

Handler模块就是接受来自客户端的请求并产生输出的模块。
配置文件中使用location指令可以配置content handler模块，当Nginx系统启动的时候，每个handler模块都有一次机会把自己关联到对应的location上。
如果有多个handler模块都关联了同一个location，那么实际上只有一个handler模块真正会起作用。
所以在开发阶段应该避免多个handler模块关联同一个location的情况发生。

handler模块处理的结果通常有三种情况：

  1. 处理成功。
  2. 处理失败：处理的时候发生了错误。
  3. 拒绝处理：这个location的处理就会由默认的handler模块来进行处理。
    例如，当请求一个静态文件的时候，如果关联到这个location上的一个handler模块拒绝处理，就会由默认的ngx_http_static_module模块进行处理，该模块是一个典型的handler模块。

二、Nginx handler模块开发

2.1、示例代码


#include <ngx_config.h>
#include <ngx_http.h>
#include <ngx_core.h>

#include <arpa/inet.h>
#include <netinet/in.h>

/*
* ip的访问次数存放在一个key-value数据结构里面，ip是key，value是统计的次数
* 可用的数据结构：
* hash
* rbtree
* 最简单的是数组
*/
typedef struct {
	int count;
	struct in_addr addr;
}ngx_pv_table;

ngx_pv_table pv_table[256] = { 0 }; //这只适合局域网内存储，正在的数据结构最好用rbtree

// 重新组织网页 (网页组包)
void ngx_encode_http_page(char *html)
{
	sprintf(html, "<h1>Hello, NGX handler! I am FLY.</h1>");

	strcat(html, "<h2>");

	int i = 0;
	for (i = 0; i < 256; i++) {

		if (pv_table[i].count != 0) {

			char str[INET_ADDRSTRLEN] = { 0 };
			char buffer[128] = { 0 };
			sprintf(buffer, "req from : %s, count: %d <br/>",
				inet_ntop(AF_INET, &pv_table[i].addr, str, sizeof(str)),
				pv_table[i].count);

			strcat(html, buffer);
		}

	}

	strcat(html, "</h2>");
}



ngx_int_t ngx_http_count_handler(ngx_http_request_t *r)
{
	// 这里做统计功能

	// 获取ip地址
	struct sockaddr_in *cliaddr = (struct sockaddr_in *)r->connection->sockaddr;
	
	// 地址和我们看到的是反着的，通过右移得到ip地址的末尾.符号后面那个位数
	int idx = cliaddr->sin_addr.s_addr >> 24;

	pv_table[idx].count++;
	memcpy(&pv_table[idx].addr, &cliaddr->sin_addr, sizeof(cliaddr->sin_addr));


	// 重新组织网页
	u_char html[1024] = { 0 };
	int len = sizeof(html);
	ngx_encode_http_page((char*)html);

	/*
	* 发送http响应
	*/

	r->headers_out.status = 200;
	ngx_str_set(&r->headers_out.content_type, "text/html");

	// 发送http 头
	ngx_http_send_header(r);

	// 内存池拿出一个buffer的内存空间
	ngx_buf_t *b = ngx_palloc(r->pool, sizeof(ngx_buf_t));

	b->pos = html;
	b->last = html + len;
	b->memory = 1;//内存里操作
	b->last_buf = 1;//最后内存块

					// 缓冲链
	ngx_chain_t out;
	out.buf = b;
	out.next = NULL;

	return ngx_http_output_filter(r, &out);

	
}



char *ngx_http_handler_count_set(ngx_conf_t *cf,ngx_command_t *cmd,void *conf)
{
	ngx_http_core_loc_conf_t *ccf = ngx_http_conf_get_module_loc_conf(cf, ngx_http_core_module);
	
	// 设置handler的入口函数
	ccf->handler = ngx_http_count_handler;
	
	memset(pv_table, 0, sizeof(pv_table));

	return NGX_OK;
}


// conf文件中的每一行都是一个指令指令
ngx_command_t ngx_http_handler_module_cmd[] = {
	{
		//命令名称，比如listen，定义了就可以在conf文件中使用，注意不能和其他的起冲突
		ngx_string("count"),
		// 指示name命令放的位置在哪里以及可以带多少个参数,NGX_CONF_FLAGE表示开关标志
		// predix on/off
		NGX_HTTP_LOC_CONF | NGX_CONF_NOARGS,
		// 命令解析,可以使用nginx内部的也可以自己实现
		ngx_http_handler_count_set,//ngx_http_handler_set_slot,

		NGX_HTTP_LOC_CONF_OFFSET,

		0,
		NULL,
	},
	ngx_null_command
};


// 用来解析对应的conf文件
static ngx_http_module_t ngx_http_handler_module_ctx = {
	NULL,
	NULL,

	NULL,
	NULL,

	NULL,
	NULL,

	NULL,
	NULL
};

// 模块定义
ngx_module_t ngx_http_handler_module = {
	NGX_MODULE_V1,

	&ngx_http_handler_module_ctx,
	ngx_http_handler_module_cmd,

	// http的ascii值,指示是什么模块
	NGX_HTTP_MODULE,

	NULL,
	NULL,
	NULL,
	NULL,
	NULL,
	NULL,
	NULL,

	NGX_MODULE_V1_PADDING	// 填充

};

说明：
1、handler模块必须提供一个真正的处理函数（即上文中的ngx_http_count_handler），这个函数负责对来自客户端请求的真正处理。这个函数的处理，既可以选择自己直接生成内容，也可以选择拒绝处理，由后续的handler去进行处理，或者是选择丢给后续的filter进行处理。
这个处理函数的原型如下：

// r是http的请求，里面包含请求所有的信息
// 该函数处理成功返回NGX_OK，处理发生错误返回NGX_ERROR，拒绝处理（留给后续的handler进行处理）返回NGX_DECLINE。
// 返回NGX_OK也就代表给客户端的响应已经生成好了，否则返回NGX_ERROR就发生错误了。
typedef ngx_int_t (*ngx_http_handler_pt)(ngx_http_request_t *r);

2.2、编写config文件

创建：

touch config

内容：

ngx_addon_name=ngx_http_handler_module
HTTP_FILTER_MODULES="$HTTP_FILTER_MODULES ngx_http_handler_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_handler_module.c"

注意，config文件要和模块的代码在相同目录。

2.3、编译模块到Nginx源码中

（1）配置中添加模块：

./configure --prefix=/usr/local/nginx --with-http_realip_module --with-http_addition_module 
--with-http_gzip_static_module --with-http_secure_link_module 
--with-http_stub_status_module --with-stream --with-pcre=/home/fly/workspace/pcre-8.41 
--with-zlib=/home/fly/workspace/zlib-1.2.11 --with-openssl=/home/fly/workspace/openssl-1.1.0g 
--add-module=/mnt/hgfs/sourcecode_learning/ngx_http_handler_module

注意模块路径要正确。出现如下表示成功：

configuring additional modules
adding module in /mnt/hgfs/sourcecode_learning/ngx_http_handler_module
 + ngx_http_handler_module was configured
creating objs/Makefile

（2）查看是否添加模块到动态代码中：

cat objs/ngx_modules.c

（3）编译安装：

make
sudo make install

2.4、修改conf文件

conf文件添加count；


worker_processes 4;

events {
	worker_connections 1024;
}

http {

	upstream backend {
		server 192.168.7.146:8889;
		server 192.168.7.146:8890;
	}

	server {
		listen 8888;
		location / {
			proxy_pass http://backend;
		}
	}
	server {
                listen 8889;
		location / {
			count;
		}
       }
	server {
                listen 8890;
        }
	server {
                listen 8891;
        }



}

2.5、执行效果

sudo /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/fly.conf

在网页输入IP和端口，执行效果如下：
在这里插入图片描述
可以看到，返回的网页中多出了访问次数统计。

三、Nginx的热更新

（1）conf文件热更新：通过reload指令进行重新加成conf文件。reload过程中是重新开启新的进程来加载新的conf文件；比如原来有4个进程在运行，加载新的conf文件时就重新开启4个进程来加载新的配置文件。
（2）可执行程序的热更新：编译安装新的nginx，会把原来的nginx重命名为nginx.old，然后调用nginx reload就会更新。

总结

  1. 上述代码虽然实现了IP访问服务器的流量统计；但是，Nginx是多进程的，上述示例代码没有实现统计数在进程间的共享，这回造成其他进程是重新计数的问题。解决这个问题可以使用共享内存的方式在进程间通信。
  2. 上述代码使用了最简单的数据结构：数组。这不是好的决策，可以将其改为红黑树。
  3. nginx的handler模块开发也可以用在黑白名单的处理（比如当判断到同一个ip发送多个无效请求，可以将其加入到黑名单中）。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1244254.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

UML建模图文详解教程06——顺序图

UML建模图文详解教程06——顺序图

版权声明 本文原创作者&#xff1a;谷哥的小弟作者博客地址&#xff1a;http://blog.csdn.net/lfdfhl本文参考资料&#xff1a;《UML面向对象分析、建模与设计&#xff08;第2版&#xff09;》吕云翔&#xff0c;赵天宇 著 顺序图概述 顺序图(sequence diagram&#xff0c;也…
阅读更多...
docker安装以及idea访问docker

docker安装以及idea访问docker

其他目录&#xff1a; docker 安装环境&#xff08;有空更新&#xff09; url “” docker 打包java包&#xff0c;并运行&#xff08;有空更新&#xff09; url “” docker 打包vue &#xff08;有空更新&#xff09; url “” docker 多服务 &#xff08;有空更新&#xff…
阅读更多...
扩展外部eMMC存储

扩展外部eMMC存储

By Toradex胡珊逢 简介 存储器的嵌入式设备中扮演着重要角色&#xff0c;上面不仅安装有操作系统&#xff0c;同时也保存着应用程序和运行日志等。对于存储器如 eMMC&#xff0c;写入的数据量决定其使用寿命&#xff0c;对于有大量日志记录的应用&#xff0c;通常可以选用一个…
阅读更多...
【Unity】接入MAX聚合广告SDK Applovin + GoogleAdmob

【Unity】接入MAX聚合广告SDK Applovin + GoogleAdmob

版本&#xff1a; Unity&#xff1a;2019.4.35f1gradle plugin: 4.2.0 &#xff08;实际要7.0 对应build_tools:34.0.0) gradle: 6.7.1 &#xff08;实际要7.0 对应build_tools:34.0.0) jdk: 1.8.0_241build_tools: 34.0.0 ndk: android-ndk-r19 文档&#xff1a; 6.0.1(Andro…
阅读更多...
windows根据已有的安卓签名文件获取MD5签名

windows根据已有的安卓签名文件获取MD5签名

windows根据已有的安卓签名文件获取MD5签名 0 现状 uniapp 本机号码一键登录需要MD5的&#xff0c;现有的签名文件但是只有SHA1和SHA256 查看SHA1和SHA256 keytool -list -v -keystore [你的.keystore文件]1 前提 已有生成签名文件的环境 搭建Openssl环境&#xff0c;设置…
阅读更多...
基于Springboot+Vue选课系统

基于Springboot+Vue选课系统

选课系统要求 (1)数据库表&#xff1a;教师信息表、学生信息表、课程表、选课表 其中&#xff0c;教师信息表、学生信息表和选课表的数据需要提前设置&#xff0c;本题主要操作课程表 (2) 技术架构&#xff1a; 后台使用springboot 前端使用vue-admin-template (3) 考试时间&…
阅读更多...
西米支付：如何设计和构建游戏支付系统？

西米支付：如何设计和构建游戏支付系统？

如何设计和构建游戏支付系统&#xff1f; 目前&#xff0c;游戏开发中最常见的支付方式包括微信支付、支付宝支付和苹果支付等。今天&#xff0c;我将与大家分享游戏支付系统的架构和设计。 游戏支付的主要业务流程是指游戏玩家在游戏中购买虚拟物品或服务所进行的支付过程。一…
阅读更多...
鸿蒙 ark ui 轮播图实现教程

鸿蒙 ark ui 轮播图实现教程

前言&#xff1a; 各位同学有段时间没有见面 因为一直很忙所以就没有去更新博客。最近有在学习这个鸿蒙的ark ui开发 因为鸿蒙不是发布了一个鸿蒙next的测试版本 明年会启动纯血鸿蒙应用 所以我就想提前给大家写一些博客文章 效果图 具体实现 我们在鸿蒙的ark ui 里面列表使…
阅读更多...
【jvm】虚拟机之堆

【jvm】虚拟机之堆

目录 一、堆的核心概述二、堆的内存细分&#xff08;按分代收集理论设计&#xff09;2.1 java7及以前2.2 java8及以后 三、堆内存大小3.1 说明3.2 参数设置3.3 默认大小3.4 手动设置3.5 jps3.6 jstat3.7 OutOfMemory举例 四、年轻代与老年代4.1 说明 五、对象分配过程5.1 说明5…
阅读更多...
开源Flutter on Desktop项目-极扩安卓开发者工具

开源Flutter on Desktop项目-极扩安卓开发者工具

极扩-安卓开发者工具 他能干嘛 这个Flutter on Desktop桌面项目可以辅助你开发APP&#xff0c;支持分析一些运行数据以及操作APK安装等功能&#xff0c;甚至我还加入了Window安卓子系统的功能。 在它的帮助下&#xff0c;你可以快速查看当前正在运行的Activity&#xff0c;给你…
阅读更多...
OpenCV实现图像噪声、去噪基本方法

OpenCV实现图像噪声、去噪基本方法

一、噪声分类 1、高斯噪声 指服从高斯分布&#xff08;正态分布&#xff09;的一类噪声&#xff0c;其产生的主要原因是由于相机在拍摄时视场较暗且亮度不均匀造成的&#xff0c;同时相机长时间工作使得温度过高也会引起高斯噪声&#xff0c;另外电路元器件白身噪声和互相影响…
阅读更多...
简单聊聊加密和加签的关系与区别

简单聊聊加密和加签的关系与区别

大家好&#xff0c;我是G探险者。 平时我们在项目上一定都听过加密和加签&#xff0c;加密可能都好理解&#xff0c;知道它是保障的数据的机密性&#xff0c;那加签是为了保障啥勒&#xff1f;它和加密有啥区别&#xff1f; 带着这个疑问&#xff0c;我们就来聊聊二者的区别。…
阅读更多...
【Python】Fastapi swagger-ui.css 、swagger-ui-bundle.js 无法加载，docs无法加载，redocs无法使用

【Python】Fastapi swagger-ui.css 、swagger-ui-bundle.js 无法加载，docs无法加载，redocs无法使用

使用fastapi的时候&#xff0c;swagger-ui.css 、swagger-ui-bundle.js、redoc.standalone.js 有时候无法加载&#xff08;国内环境原因或者是局域网屏蔽&#xff09;&#xff0c;此时就需要自己用魔法下载好对应文件&#xff0c;然后替换到fastapi里面去。 fastapi里面依靠这…
阅读更多...
redis运维(十九)redis 的扩展应用 lua(一)

redis运维(十九)redis 的扩展应用 lua(一)

一 redis 的扩展应用 lua redis如何保证原子操作 说明&#xff1a;引入lua脚本,核心解决原子性问题 ① redis为什么引入lua? lua脚本本身体积小,启动速度快 ② redis引入lua的优势 小结&#xff1a; 类似自定义redis命令 ③ redis中如何使用lua ④ EVAL 说明&#…
阅读更多...
《算法通关村——数论问题解析》

《算法通关村——数论问题解析》

《算法通关村——数论问题解析》 辗转相除法 辗转相除法又叫做欧几里得算法,是公元前 300 年左右的希腊数学家欧几里得在他的著作《几何原本》提出的。最大公约数(greatest common divisor&#xff0c;简写为gcd&#xff09;&#xff0c;是指几个数的共有的因数之中最大的一个…
阅读更多...
csv文件添加文件内容和读取

csv文件添加文件内容和读取

append content to file import numpy as np acc_listnp.array([0.97,0.92,0.93,0.89]) # 注意这个地方添加文件不需要特别声明是什么文件 file open("result.csv", "a") print("{:.2f}, {:.2f}".format(acc_list.mean(), acc_list.std()), f…
阅读更多...
leetcode刷题日志-167.两数之和II-输入有序数组

leetcode刷题日志-167.两数之和II-输入有序数组

给你一个下标从 1 开始的整数数组 numbers &#xff0c;该数组已按 非递减顺序排列 &#xff0c;请你从数组中找出满足相加之和等于目标数 target 的两个数。如果设这两个数分别是 numbers[index1] 和 numbers[index2] &#xff0c;则 1 < index1 < index2 < numbers.…
阅读更多...
浏览器没收到返回，后端也没报错，php的json_encode问题bug

浏览器没收到返回，后端也没报错，php的json_encode问题bug

今天网站遇到个问题&#xff0c;后端返回异常&#xff0c;但是浏览器状态码200&#xff0c;但是看不到结果。经过排查发现&#xff0c;我们在返回结果的时候使用了json_encode返回给前端&#xff0c;结果里面的字符编码异常&#xff0c;导致json_encode异常&#xff0c;但是php…
阅读更多...
ComfyUI搭建使用教程

ComfyUI搭建使用教程

ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI&#xff0c; 你可以把它想象成集成了stable diffusion功能的substance designer&#xff0c; 通过将stable diffusion的流程拆分成节点&#xff0c;实现了更加精准的工作流定制和完善的可复现性。但节点式的工…
阅读更多...
系列二、Spring整合单元测试

系列二、Spring整合单元测试

一、概述 Spring中获取bean最常见的方式是通过ClassPathXmlApplicationContext 或者 AnnotationConfigApplicationContext的getBean()方式获取bean&#xff0c;那么在Spring中如何像在SpringBoot中直接一个类上添加个SpringBootTest注解&#xff0c;即可在类中注入自己想要测试…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023