Openresty+Lua+Redis实现高性能缓存

news2024/11/28 10:35:35

一、背景

当我们的程序需要提供较高的并发访问时,往往需要在程序中引入缓存技术,通常都是使用Redis作为缓存,但是要再更进一步提升性能的话,就需要尽可能的减少请求的链路长度,比如可以将访问Redis缓存从Tomcat服务器提前Nginx

原本访问缓存逻辑

User---> Nginx -> Tomcat -> Redis 

User---> Nginx -> Redis 

二、介绍

1 OpenResty 介绍

OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

官网: OpenResty® - 开源官方站

2 Lua 介绍

Lua 是一个小巧的脚本语言。它是巴西里约热内卢天主教大学(Pontifical Catholic University of Rio de Janeiro)里的一个由Roberto Ierusalimschy、Waldemar Celes 和 Luiz Henrique de Figueiredo三人所组成的研究小组于1993年开发的。 其设计目的是为了通过灵活嵌入应用程序中从而为应用程序提供灵活的扩展和定制功能。Lua由标准C编写而成,几乎在所有操作系统和平台上都可以编译,运行。Lua并没有提供强大的库,这是由它的定位决定的。所以Lua不适合作为开发独立应用程序的语言。Lua 有一个同时进行的JIT项目,提供在特定平台上的即时编译功能。

推荐教程: Lua 教程 | 菜鸟教程

三、软件安装

1 OpenResty 安装

下载最新版本

上传到虚拟机的/usr/local 目录下,之后解压

这里前提是需要安装c语言编译器和Nginx依赖包(如已经安装过了跳过下面3个命令),否则下面的安装会报错的

yum install -y gcc

yum install -y pcre pcre-devel

yum install -y zlib zlib-devel

yum install -y openssl openssl-devel

进入到解压后的文件夹  openresty-1.25.3.1 中执行

./configure --prefix=/usr/local/openresty

正常的话,出现下面的画面说明执行成功了

然后执行make && make install 

make 

make install 

执行完成后,可以看到在/usr/local 目录下多了一个openresty 目录

2 目录介绍

  1. bin目录:执行文件目录。
  2. lualib目录:这个目录存放的是OpenResty中使用的Lua库,主要分为ngx和resty两个子目录。
  3. nginx目录:这个目录存放的是OpenResty的nginx配置和可执行文件。
  4. luajit目录:luajit目录是LuaJIT的安装根目录,用于提供LuaJIT的运行环境和相关资源。

3 启动Nginx

 nginx/sbin/nginx -c /usr/local/openresty/nginx/conf/nginx.conf

4 访问Nginx

在浏览器中输入虚拟机的地址http://192.168.31.115/

四、Openresty中初试Lua

1 编辑nginx.conf

在server{}中插入下面代码

location /lua {

                default_type text/html;
                content_by_lua '
                        ngx.say("<p>hello,world</p>")
                ';
        }

2 重启一下Nginx

nginx/sbin/nginx -s stop

nginx/sbin/nginx -c /usr/local/openresty/nginx/conf/nginx.conf

3 访问浏览器

在浏览器中输入虚拟机的IP地址+lua

http://192.168.31.115/lua

正常的话应该可以看到下面的画面

 4 通过lua文件的方式

进入到Nginx目录,创建lua文件夹,并新建一个hello.lua文件

cd nginx

mkdir lua

vim lua/hello.lua

ngx.say("<p>hello,hello,hello</p>")

修改nginx.conf 文件

location /lua {

                default_type text/html;
                content_by_lua_file lua/hello.lua;
        }

重启Nginx,再次刷新网站

5 Openresty连接Redis

参考官网文档:GitHub - openresty/lua-resty-redis: Lua redis client driver for the ngx_lua based on the cosocket API

在/usr/local/openresty/nginx/lua目录下,编辑一个redis.lua 文件,内容如下:

local redis = require "resty.redis"
local red = redis:new()

red:set_timeouts(1000, 1000, 1000) -- 1 sec

local ok, err = red:connect("192.168.31.114", 6579)
if not ok then
   ngx.say("failed to connect: ", err)
   return
end

local res, err = red:auth("123456")
if not res then
   ngx.say("failed to authenticate: ", err)
   return
end

ok, err = red:set("dog", "an animal")
if not ok then
    ngx.say("failed to set dog: ", err)
    return
end

ngx.say("set result: ", ok)

local res, err = red:get("dog")
if not res then
    ngx.say("failed to get dog: ", err)
    return
end

if res == ngx.null then
    ngx.say("dog not found.")
    return
end

ngx.say("dog: ", res)

再修改nginx.conf 

location /lua {

                default_type text/html;
                content_by_lua_file lua/redis.lua;
        }

访问浏览器

到这里,我们已经成功使用Nginx通过lua脚本访问到了Redis,但是这种写法仍然有一个巨大的问题,就是每次请求都会重新连接Redis,性能非常低下,我们测试一下这样写的接口性能

6 解决Redis重复连接问题

再修改nginx.conf 

require("my/cache").go()

五、真实案例

1 案例背景

应用程序中有一个接口/goods-center/getGoodsDetails 希望通过nginx先查询Redis缓存,缓存中没有就去应用服务中查询,然后把查询到结果缓存到Redis中

2 Nginx获取请求的参数

编辑conf/nginx.conf 中的server,添加下面配置

        location /goods-center/getGoodsDetails {
                default_type application/json;
                content_by_lua_file lua/item.lua;
        }

然后在/usr/local/openresty/nginx/lua 目录中创建item.lua,添加下面lua代码

local args = ngx.req.get_uri_args()

ngx.say(args["goodsId"])

重新加载nginx配置

sbin/nginx -s reload

浏览器演示

3 转发请求到后端服务

定义一些工具类,方便后续写代码时调用,在/usr/local/openresty/lualib/mylua/common.lua

在common.lua中添加http get工具方法

local function http_get(path,params)
	local resp = ngx.location.capture(path,{
		method = ngx.HTTP_GET,
		args = params
	})
	if not resp then
		ngx.log(ngx.ERR)
		ngx.exit(404)
	end
	return resp.body
end

local _M = {
	http_get = http_get
}

return _M

编辑/usr/local/openresty/nginx/lua/item.lua 文件

-- 导入common包
local common = require('mylua.common')
local http_get = common.http_get

local args = ngx.req.get_uri_args()

-- 查询商品信息
local itemJson = http_get("/goods-center/getGoodsDetails",args)

ngx.say(itemJson)

修改/usr/local/openresty/nginx/conf/nginx.conf 添加下面代码

    	location /nginx-cache/goods-center/getGoodsDetails {
    		default_type application/json;
    		content_by_lua_file lua/item.lua;
    	}

        location ~ ^/goods-center/ {
            proxy_pass http://192.168.31.112:9527;
        }

解释一下上面代码,将/nginx-cache/goods-center/getGoodsDetails 请求通过lua脚本处理,转发到/goods-center/getGoodsDetails ,再通过~ ^/goods-center/  反向代理到应用服务器上http://192.168.31.112:9527;

演示:

4 优先查询Redis (官方并发会报错)

官网文档:GitHub - openresty/lua-resty-redis: Lua redis client driver for the ngx_lua based on the cosocket API

这应该是我到目前为止最想吐槽的开源软件了,按照官网的文档操作简直就是个玩具,无法商用

只要超过1个线程去压测就会报bad request 错误,这个在官网的局限性一栏中有提到,但是不明白为什么不解决,这个问题不解决,就无法商用,而且每次请求都会创建连接,性能巨差,关键这个问题在网上都很少有人提出过这个问题,包括一些教学视频,都是点到为止,根本没有测试过并发场景能不能用,我只要一并发测试就GG,怎么改都不行,翻了很多文档,都没有解决方案,如果有人有方案可以在评论区分享一下,互相学习

GitHub - openresty/lua-resty-redis: Lua redis client driver for the ngx_lua based on the cosocket API

先看代码

/usr/local/openresty/lualib/mylua/common.lua

local redis = require('resty.redis')
local red = redis:new()
red:set_timeouts(1000,1000,1000)

local function get_from_redis(key)
	ngx.log(ngx.INFO,"redis init start .............")

	local ok,err = red:connect("192.168.31.114",6579)
	-- 连接失败
	if not ok then
		ngx.log(ngx.ERR,"connect redis error",err)
		return nil
	end
	
	-- 认证失败
	local res, err = red:auth("123456")
	if not res then
	   ngx.say(ngx.ERR,"failed to authenticate: ", err)
	   return nil
	end

	local resp,err = red:get(key)
	if not resp then
		ngx.log(ngx.ERR,"get from redis error ",err," key: ",key)
		return nil
	end
	-- 数据为空
	if resp == ngx.null then
		ngx.log(ngx.ERR,"this key is nil, key: ",key)
		return nil
	end
	 -- 设置连接超时时间和连接池大小
    red:set_keepalive(600000, 100)
	return resp

end

local function http_get(path,params)
	local resp = ngx.location.capture(path,{
		method = ngx.HTTP_GET,
		args = params
	})
	if not resp then
		ngx.log(ngx.ERR)
		ngx.exit(404)
	end
	return resp.body
end

local _M = {
	http_get = http_get,
	get_from_redis = get_from_redis
}

return _M

/usr/local/openresty/nginx/lua/item.lua

-- 导入common包
local _M = {}

common = require('mylua.common')
http_get = common.http_get
get_from_redis = common.get_from_redis

function _M.get_data()
	local args = ngx.req.get_uri_args()

	-- 先查询Redis
	local itemJson = get_from_redis("goods-center:goodsInfo:" .. args["goodsId"])
	ngx.log(ngx.INFO,"get from redis itemJson,  ",itemJson)
	if itemJson == nil then
		-- redis 没有,则查询服务器信息
		itemJson = http_get("/goods-center/getGoodsDetails",args)
	end

	ngx.say(itemJson)
end

return _M

修改/usr/local/openresty/nginx/conf/nginx.conf 添加下面代码

    server {
    	location /nginx-cache/goods-center/getGoodsDetails {
    		default_type application/json;
    		content_by_lua_block {
                require("lua/item").get_data()
            }
    	}

        location ~ ^/goods-center/ {
            proxy_pass http://192.168.31.112:9527;
        }

单线程测试(没有报错,且有500多的吞吐量)

2个线程测试,有40%+ 的错误率,报错详情截图给了,线程越多报错越多

2024/02/04 21:56:06 [error] 21662#0: *390686 lua entry thread aborted: runtime error: /usr/local/openresty/lualib/resty/redis.lua:166: bad request
stack traceback:
coroutine 0:
	[C]: in function 'connect'
	/usr/local/openresty/lualib/resty/redis.lua:166: in function 'connect'
	/usr/local/openresty/lualib/mylua/common.lua:9: in function 'get_from_redis'
	./lua/item.lua:12: in function 'get_data'
	content_by_lua(nginx.conf:49):2: in main chunk, client: 192.168.31.32, server: localhost, request: "GET /nginx-cache/goods-center/getGoodsDetails?goodsId=10000 HTTP/1.1", host: "192.168.31.115"

5 使用ngx.shared.redis_pool连接池(并发不会报错)

/usr/local/openresty/lualib/mylua/common.lua

-- 引入 lua-resty-redis 模块
local redis = require "resty.redis"

-- 获取 OpenResty 全局字典对象(连接池)
local redis_pool = ngx.shared.redis_pool

-- Redis 连接池的最大连接数
local max_connections = 100

-- Redis 服务器地址和端口
local redis_host = "192.168.31.114"
local redis_port = 6579

-- 获取 Redis 连接
local function get_redis_connection()
    local red = redis_pool:get(redis_host)
    
    if not red then
    	ngx.log(ngx.ERR, "create new : ", err)
        -- 创建一个新的 Redis 连接
        red = redis:new()

        -- 设置连接超时时间
        red:set_timeout(1000,1000,1000)
    
        -- 连接 Redis 服务器
        local ok, err = red:connect(redis_host, redis_port)
        if not ok then
            ngx.log(ngx.ERR, "Failed to connect to Redis: ", err)
            return nil, err
        end

        local res, err = red:auth("123456")
		if not res then
		   ngx.say(ngx.ERR,"failed to authenticate: ", err)
		   return nil
		end

        -- 将连接放入连接池
        redis_pool:set(redis_host, red, 600)
    end

    return red
end

local function get_from_redis(key)
	local redis_conn, err = get_redis_connection()
	if not redis_conn then
	    ngx.log(ngx.ERR, "Failed to get Redis connection: ", err)
	    ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
	end
	-- 获取失败
	local resp,err = redis_conn:get(key)
	if not resp then
		ngx.log(ngx.ERR,"get from redis error ",err," key: ",key)
		return nil
	end
	-- 数据为空
	if resp == ngx.null then
		ngx.log(ngx.ERR,"this key is nil, key: ",key)
		return nil
	end
	 -- 设置连接超时时间
    redis_conn:set_keepalive(600000, max_connections)
	return resp
end

local function http_get(path,params)
	local resp = ngx.location.capture(path,{
		method = ngx.HTTP_GET,
		args = params
	})
	if not resp then
		ngx.log(ngx.ERR)
		ngx.exit(404)
	end
	return resp.body
end

local _M = {
	http_get = http_get,
	get_from_redis = get_from_redis
}

return _M

/usr/local/openresty/nginx/lua/item.lua

-- 导入common包
local _M = {}

common = require('mylua.common')
http_get = common.http_get
get_from_redis = common.get_from_redis

function _M.get_data()
	local args = ngx.req.get_uri_args()

	-- 先查询Redis
	local itemJson = get_from_redis("goods-center:goodsInfo:" .. args["goodsId"])
	ngx.log(ngx.INFO,"get from redis itemJson,  ",itemJson)
	if itemJson == nil then
		-- redis 没有,则查询服务器信息
		itemJson = http_get("/goods-center/getGoodsDetails",args)
	end

	ngx.say(itemJson)
end

return _M

修改/usr/local/openresty/nginx/conf/nginx.conf 添加下面代码

    lua_shared_dict redis_pool 100m;

    server {
    	location /nginx-cache/goods-center/getGoodsDetails {
    		default_type application/json;
    		content_by_lua_block {
                require("lua/item").get_data()
            }
    	}

        location ~ ^/goods-center/ {
            proxy_pass http://192.168.31.112:9527;
        }

6 压测详情

1 命中缓存压测

命中缓存的情况吞吐量1400多,并且采用本章第5小结这种线程池的方式连接不会报错,基本上可以商用了,唯一缺点是并发量没有达到预期,通过排查原因发现,大量的连接池并未真正生效,仍然有大量的创建连接,可能这是影响性能的主要因素,如果有同学解决了这个问题可以在评论区分享一下

2 未命中缓存压测

未命中缓存,会请求后端Tomcat服务器,Tomcat服务器会查询MySQL,这边的吞吐量测试数据为313,也不怎么高,排查了一下原因,仍然是Redis一直在不停的创建连接,这个问题目前还没有找到解决方案

六、总结

通过Nginx+lua 的方式,在Nginx这层就去查询Redis缓存,看起来的确是个非常棒的方案,但是缺点是操作起来特别麻烦,需要开发人员了解Nginx + Lua  还要了解Openresty 如何集成Nginx + Lua  + Redis,还要掌握在这种方式下,能够使用好Redis的连接池。最关键的是目前这种技术的文档并不完善,代码在某些地方不是特别的成熟,网上能找到的资料都很少而且都比较皮毛,不够深入,然而开发人员却需要深入地了解他们,才能比较好的驾驭这种方式,这次探究仍然有一个遗留问题就是Openresty + Lua + Redis 连接池的方式,连接池看起来有时候会不生效,也不是每次都不生效,有一定的概率,从而导致性能并不高,这个需要后面再研究解决它

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1432725.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

计算机设计大赛 深度学习 植物识别算法系统

文章目录 0 前言2 相关技术2.1 VGG-Net模型2.2 VGG-Net在植物识别的优势(1) 卷积核&#xff0c;池化核大小固定(2) 特征提取更全面(3) 网络训练误差收敛速度较快 3 VGG-Net的搭建3.1 Tornado简介(1) 优势(2) 关键代码 4 Inception V3 神经网络4.1 网络结构 5 开始训练5.1 数据集…

Electron实战(二):将Node.js和UI能力(app/BrowserWindow/dialog)等注入html

文章目录 设置webPreferences参数安装electron/remotemain进程中初始化html中使用dialog踩坑参考文档 上一篇&#xff1a;Electron实战(一)&#xff1a;环境搭建/Hello World/打包exe 设置webPreferences参数 为了能够在html/js中访问Node.js提供fs等模块&#xff0c;需要在n…

生物发酵展同期论坛|2024节能环保绿色低碳发展论坛

“十四五”规划中提出&#xff0c;提高工业、能源领城智能化与信息 化融合&#xff0c;明确“低碳经济”新的战略目标&#xff0c;热能产业是能源产 业和民生保障的重要组成部分&#xff0c;也是二氧化碳排放量大的行业 之一&#xff0c;产业高效、清洁、低碳、灵活、智能化水平…

十大排序算法之归并排序

归并排序 归并排序是包含归并思想的排序方法&#xff0c;它是分治法&#xff08;Divide and Conquer&#xff09;的一个典型应用。所谓分治&#xff0c;即将问题“分”&#xff08;Divide&#xff09;为更小的问题进行递归求解&#xff0c;再将得到的各个递归结果合并在一起&a…

百面嵌入式专栏(面试题)网络编程面试题

沉淀、分享、成长,让自己和他人都能有所收获!😄 📢本篇我们将介绍网络编程面试题 。 1、什么是IO多路复用 I/O多路复用的本质是使用select,poll或者epoll函数,挂起进程,当一个或者多个I/O事件发生之后,将控制返回给用户进程。以服务器编程为例,传统的多进程(多线程…

C语言函数递归详解

递归是什么&#xff1f; 递归&#xff0c;顾名思义&#xff0c;就是递推和回归。 递归是一种解决问题的方法&#xff0c;在C语言中&#xff0c;递归就是函数自己调用自己。 #include <stdio.h> int main() {printf("hehe\n");main();//main函数中⼜调⽤了main…

【Web】CVE-2021-22448 Log4j RCE漏洞学习

目录 复现流程 漏洞原理 复现流程 启动HTTP->启动LDAP->执行Log4j vps起个http服务,放好Exploit.class这个恶意字节码 LDAPRefServer作为恶意LDAP服务器 import java.net.InetAddress; import java.net.MalformedURLException; import java.net.URL; import javax.ne…

NLP入门系列—词嵌入 Word embedding

NLP入门系列—词嵌入 Word embedding 2013年&#xff0c;Word2Vec横空出世&#xff0c;自然语言处理领域各项任务效果均得到极大提升。自从Word2Vec这个神奇的算法出世以后&#xff0c;导致了一波嵌入&#xff08;Embedding&#xff09;热&#xff0c;基于句子、文档表达的wor…

Qt程序设计-自定义QLineEdit控件添加鼠标单击事件

本文讲解Qt自定义QLineEdit控件添加鼠标单击事件。 QLineEdit控件默认没有单击事件,但是项目开发中有时需要单击事件,比如单击QLineEdit控件弹出软键盘。具体实现过程如下: 创建项目,在项目中添加一个类,命名为MyLineEdit 输入继承QLineEdit #ifndef MYLINEEDIT_H #defi…

云计算、Docker、K8S问题

1 云计算 云计算作为一种新兴技术&#xff0c;已经在现代社会中得到了广泛应用。它以其高效、灵活和可扩展特性&#xff0c;成为了许多企业和组织在数据处理和存储方面的首选方案。 1.1 什么是云计算&#xff1f;它有哪些特点&#xff1f; 云计算是一种通过网络提供计算资源…

深入理解TCP网络协议(3)

目录 1.前言 2.流量控制 2.阻塞控制 3.延时应答 4.捎带应答 5.面向字节流 6.缓冲区 7.粘包问题 8.TCP异常情况 9.小结 1.前言 在前面的博客中,我们重点介绍了TCP协议的一些属性,有连接属性的三次握手和四次挥手,还有保证数据安全的重传机制和确认应答,还有为了提高效率…

最短编辑距离问题与动态规划----LeetCode 72.编辑距离

动态规划&#xff08;Dynamic Programming, DP&#xff09;是解决复杂问题的一个强大工具&#xff0c;它将问题分解成更小的子问题&#xff0c;并使用这些子问题的解决方案来构建整体问题的解决方案。在深入探讨最短编辑距离问题之前&#xff0c;让我们先理解什么是动态规划&am…

爬取58二手房并用SVR模型拟合

目录 一、前言 二、爬虫与数据处理 三、模型 一、前言 爬取数据仅用于练习和学习。本文运用二手房规格sepc(如3室2厅1卫)和二手房面积area预测二手房价格price&#xff0c;只是练习和学习&#xff0c;不代表如何实际意义。 二、爬虫与数据处理 import requests import cha…

Debian系统显示中文

开发板上的debian默认不显示中文。 安装字体 sudo apt install fonts-wqy-zenhei 安装locals sudo apt install locales &#xff08;无必要&#xff09;设置/etc/locale.gen、设置/etc/locale.conf 运行dpkg-reconfigure locales dpkg-reconfigure locales 可以选择UT…

数字人客服技术预研

技术洞察 引言 在当今数字化时代&#xff0c;不断进步和创新的人工智能&#xff08;AI&#xff09;技术已经渗透到各行各业中。随着AI技术、大模型技术逐步发展&#xff0c;使得数字人的广泛应用成为可能&#xff0c;本文将跟大家一起探讨AI数字人客服的概念、优势、应用场景…

基于Springboot的校园失物招领网站(有报告)。Javaee项目,springboot项目。

演示视频&#xff1a; 基于Springboot的校园失物招领网站&#xff08;有报告&#xff09;。Javaee项目&#xff0c;springboot项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#xff09;三层体系结构…

修复wordpress安全漏洞

1. 问题描述&#xff1a; 用wordpress建了一个网站&#xff0c;但是学校反映说存在安全漏洞&#xff0c;通过接口https://xxx.xxx.edu.cn/?rest_route/wp/v2/users/可以访问到一些内容&#xff0c;希望可以关闭这个接口。 2. 解决办法 一共两步 &#xff08;1&#xff09;在fu…

基于深度学习的SSVEP分类算法简介

基于深度学习的SSVEP分类算法简介 1、目标与范畴2、深度学习的算法介绍3、参考文献 1、目标与范畴 稳态视觉诱发电位&#xff08;SSVEP&#xff09;是指当受试者持续注视固定频率的闪光或翻转刺激时&#xff0c;在大脑枕-额叶区域诱发的与刺激频率相关的电生理信号。与P300、运…

Flume多进程传输

1.Flume介绍 Flume 是一种分布式、可靠且可用的服务&#xff0c;用于高效收集、聚合和移动大量日志数据。它具有基于流数据流的简单而灵活的架构。它具有鲁棒性和容错性&#xff0c;具有可调的可靠性机制和许多故障转移和恢复机制。它使用简单的可扩展数据模型&#xff0c;允许…

【自然语言处理】P4 神经网络基础 - 激活函数

目录 激活函数SigmoidTanhReLUSoftmax 本节博文介绍四大激活函数&#xff0c;Sigmoid、Tanh、ReLU、Softmax。 激活函数 为什么深度学习需要激活函数&#xff1f; 博主认为&#xff0c;最重要的是 引入非线性。 神经网络是将众多神经元相互连接形成的网络。如果神经元没有激…