记一次nginx崩溃事件

news2024/9/22 21:35:55

一、事件描述

2023年春节复工第一天，项目组同事反馈说业务系统中图像处理代理Nginx服务于1月23日发生崩溃，完成了重启操作，检查nginx的日志有如下报错：

2023/01/23 11:07:07 [crit] 3237#3237: *2253009 pwritev() "/var/cache/nginx/client_temp/0000743846" 
failed (28: No space left on device), 
client: 10.14.32.3, server: localhost, 
request: "POST /Test HTTP/1.1", host: "10.14.32.2:5500"

二、检查分析

1）检查当前文件系统使用情况，未出现分区使用超限情况，应该是nginx重启后缓存释放了；
2）检查nginx配置文件，为对缓存进行额外配置，在编译时配置了缓存目录，如下：

nginx version: nginx/1.16.1
built by gcc 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC)
built with OpenSSL 1.1.1k 25 Mar 2021
TLS SNI support enabled
configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-openssl=/home/software/openssl-1.1.1k --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --with-cc-opt=‘-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic -fPIC’ --with-ld-opt=‘-Wl,-z,relro -Wl,-z,now -pie’

配置项说明：执行对应模块时nginx所保留的临时文件
–http-client-body-temp-path=/var/cache/nginx/client_temp
–http-proxy-temp-path=/var/cache/nginx/proxy_temp
–http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp
–http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp
–http-scgi-temp-path=/var/cache/nginx/scgi_temp

在这里插入图片描述
3) 配置Nginx静态文件缓存

##代理cache##

proxy_connect_timeout 500;

#跟后端服务器连接的超时时间_发起握手等候响应超时时间

proxy_read_timeout 600;

#连接成功后_等候后端服务器响应的时间_即已经进入后端的排队之中等候处理的过程时间

proxy_send_timeout 500;

#后端服务器数据回传时间_即在规定时间内后端服务器必须传完所有数据的时长

proxy_buffer_size 128k;

#代理请求缓存区_这个缓存区间会保存用户的头信息以供Nginx进行规则处理_一般只要能保存下头信息即可

proxy_buffers 4 128k;

#同上 告诉Nginx保存单个用户的几个Buffer最大用多大空间

proxy_busy_buffers_size 256k;

#如果系统很忙的时候可以申请更大的proxy_buffers 官方推荐*2

proxy_temp_file_write_size 128k;

#proxy缓存临时文件的大小

proxy_temp_path /usr/local/nginx/temp;

#用于指定本地目录用来缓冲较大的代理请求的目录，如果编译配置了--http-proxy-temp-path，也可以采取默认

proxy_cache_path /usr/local/nginx/cache levels=1:2 keys_zone=cache_proxy:200m inactive=1d max_size=30g;

#设置web缓存区名为cache_proxy,内存缓存空间大小为200M，自动清除超过1天没有被访问过的缓存数据，硬盘缓存空间大小30g;levels=1:2定义目录深度，并且第一层目录为1个字符，第二层目录为2个字符

#这里配置的需要缓存的静态资源后缀名

location ~* “\.(jpg|jpeg|png|gif|html|css|js|woff2|woff|map)?$” {

proxy_pass http://fdfs;

proxy_cache cache_proxy;

proxy_cache_valid 200 24h; #200状态缓存24小时

proxy_cache_valid 302 10m; #302状态缓存10分钟

proxy_set_header Host $host;

expires -1;

add_header X-Cache-Status $upstream_cache_status; #在http头部增加一个字>段显示是否命中缓存

}
#reload后，当出现cache manager process进程时表明缓存已经建立成功

在这里插入图片描述

三、处理

1）针对本次场景，最简单就是迁移目录到存储空间更大的存储上；

2）配置定期清理缓存，nginx缓存虽然可带来吞吐量和性能的提升，但有时候缓存过期后并不会释放，这时我们可借助nginx + ngx_cache_purge 模块，手动清理缓存；

wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz
tar -zxvf ngx_cache_purge-2.3.tar.gz
cp /sbin/nginx /sbin/nginx.back
nginx -V
./configure --prefix=/etc/nginx (略) --add-module=/root/app/ngx_cache_purge-2.3 
make -j2 #是 make 编译， 不是 make install ，make install 会覆盖原来已经安装好的内容。编译必须没有错误
objs/nginx -V  //验证编译完成后，复制到sbin目录下
/sbin/nginx -s reload
#清理缓存配置
location ~ /clear_cache(.*) {
     #proxy_cache_purge imooc_cache $host$1$is_args$args;
     #删除指定缓存区域cache_one的特定缓存文件$1$is_args$args
     proxy_cache_purge cache_one $1$is_args$args;
     #运行本机和10.0.16.0/24;网段的机器访问，拒绝其它所有
     allow           127.0.0.1;
     allow           10.0.16.0/24;
     deny          all;
}
#这样清理某个缓存文件的时候地址前面加上 /clear_cache 即可，比如浏览器访问：
http://10.0.16.12:5500/clear_cache//api/index.php

在这里插入图片描述
没有缓存返回结果如下：

在这里插入图片描述

#示例2：控制满足条件不缓存
server
{
    ……
    location /api/ {
       set $a 0; #设置初始值
       if ( $request_uri ~ /api/noapi/(.*) ){
           set $a 1; #如果满足不缓存 设置为1
       }

       proxy_no_cache $a;
     ……
    }
    location ~ /clear_cache(.*) {
         allow   all;
         proxy_cache_purge imooc_cache $host$1$is_args$args;
    }
}

#示例3：
add_header      Nginx-Cache     "$upstream_cache_status";
proxy_ignore_headers Expires;
proxy_ignore_headers Cache-Control;

set $nocache 0;
# 以 aaa,bbb,ccc 开头的不缓存
if ($request_uri ~ ^/(aaa|bbb|ccc)) {
    set $nocache 1;
}
proxy_cache_bypass $nocache;

# cookie 里面设置了nocache，或者 参数传值里有aaa，bbb 的不缓存，满足一个即可

proxy_no_cache $cookie_nocache $arg_aaa $arg_bbb;

#client_body模块配置, nginx对客户端请求缓冲区大小有个默认限制，如果超过了该值（比如在上传大文件时），会报500错误。
client_body_buffer_size SIZE // 指定客户端请求体缓冲区大小，如果请求大于该值，会报“500 Internal Server Error”错误。
client_body_temp_path	 /var/tmp/nginx DIR  [l1][lve2][lve3] //指定请求体临时文件的存放目录,可有多级。
client_max_body_size  SIZE //允许客户端请求的最大单文件字节数，如果请求体大于该值，会报“413 Request Entity Too Large”错误。

3）也可以借助 tmpwatch命令加入定时任务来清理，其实，系统/tmp目录，默认情况下每日会处理一次，原理就是使用了tmpwatch。该命令会在/etc/cron.daily/目录下生成一个tmpwatch文件

yum  install -y tmpwatch
cat /etc/cron.daily/tmpwatch
#! /bin/sh
flags=-umc
/usr/sbin/tmpwatch "$flags" -x /tmp/.X11-unix -x /tmp/.XIM-unix \
	-x /tmp/.font-unix -x /tmp/.ICE-unix -x /tmp/.Test-unix \
	-X '/tmp/hsperfdata_*' 10d /tmp   #tmp目录会删除240小时未访问过的文件，它可从指定的目录中递归地搜索并删除指定的目录中一段时间未访问的文件。
/usr/sbin/tmpwatch "$flags" 30d /var/tmp  #删除30天前的文件
for d in /var/{cache/man,catman}/{cat?,X11R6/cat?,local/cat?}; do
    if [ -d "$d" ]; then
	/usr/sbin/tmpwatch "$flags" -f 30d "$d"
    fi
done
#
/usr/sbin/tmpwatch -afv 3 /tmp //清除/tmp下三小时以内没有使用的文件,并将结果输出。

在这里插入图片描述

四、附录

参考1：https://cloud.tencent.com/developer/article/2048035
参考2：https://www.cnblogs.com/backups/p/nginx4.html
参考3：http://t.zoukankan.com/ecalf-p-4887382.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/181952.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

网络编程-----(Socket编程TCP)

网络编程-----(Socket编程TCP)

在咱们的TCP API中，也是主要是涉及到两个类: 1)ServerSocket:主要是给TCP服务器来进行使用的； 2)Socket:我们既需要给客户端来进行使用，也需要给服务器来进行使用； 这样就是说我们是不需要使用专门的类来进行表示传输的包&#x…
阅读更多...
Java学习之抽象模板模式

Java学习之抽象模板模式

目录 一、基本介绍 二、模板设计模式能解决的问题 三、最佳实践 一、AA类 二、BB类 三、main方法实现 四、提取相同语句 五、建立继承关系 父类-Template 子类-AA类 子类-BB类 六、运行中的动态绑定机制 一、基本介绍 抽象类体现的就是一种模板模式的设计&#xff…
阅读更多...
【Git】概述

【Git】概述

目录 1.1 是什么 介绍 历史时间轴 版本控制工具 1.2 能干嘛 作用 Git工作机制 代码托管中心 集中式版本控制系统 分布式版本控制系统 1.3 去哪下 命令行工具：Git for windows 操作系统中可视化工具：TortoiseGit(了解) GitHub网站 1.1 是什…
阅读更多...
带你走进Java8新特性Stream流的小世界

带你走进Java8新特性Stream流的小世界

目录 一. 什么是流（Stream） 1.1 流的定义 1.2 流的特点 1.3 操作流 1.4 创建流 二. 流的中间操作 2.1 流的筛选与切片 2.1.1 filter 2.1.2 limit 2.1.3 skip 2.1.4 distinct 2.2 流的映射 2.2.1 map 2.2.2 flatMap 2.3 流的排序 2.3.1 s…
阅读更多...
智公网：2023年教师编必背30考点

智公网：2023年教师编必背30考点

1、制度化教育阶段开始于：近代。 2、各国的学校教育系统基本形成于：19世纪末。 3、现在世界上大多数国家的义务教育年限在：9年或9年以上。 4、“不愤不启，不悱不发”启发教学法的最早倡导者是：孔子。 5、“建国君民…
阅读更多...
【Spring】Spring 6 新特性一一HTTP Interface

【Spring】Spring 6 新特性一一HTTP Interface

简介 Spring 6 的第一个 GA 版本发布了，其中带来了一个新的特性——HTTP Interface。 这个新特性，可以让开发者将 HTTP 服务，定义成一个包含特定注解标记的方法的 Java 接口，然后通过对接口方法的调用，完成 HTTP 请求…
阅读更多...
硬盘损坏数据恢复怎么操作？恢复数据的常用方法

硬盘损坏数据恢复怎么操作？恢复数据的常用方法

硬盘一般固定在电脑里面的存储装置，里面保存着我们大量的数据。随着电脑的使用越加广泛，有时不免出现一些问题，比如硬盘在使用过程中出现数据错误，或者是硬盘的内部零件出现故障。出现这些问题，硬盘损坏数据恢复怎么操…
阅读更多...
Redis实现UV统计 | 黑马点评

Redis实现UV统计 | 黑马点评

一、HyperLogLog 1、为什么用HyperLogLog 先介绍两个概念： UV：全称 Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人、1 天内同一个用户多次访问该网站，只记录 1 次。PV：全称 …
阅读更多...
车载以太网 - SomeIP测试专栏 - 总纲

车载以太网 - SomeIP测试专栏 - 总纲

关于车载以太网中的SomeIP在网上也逐渐有越来越多的资料，讲的也是非常好；但是个人认为讲的泛，很难让初学者或者初入门者真正了解SomeIP到底是一个什么东西，以及它究竟在车载上有什么作用，本专栏会由浅入深的讲解SomeIP整个协议内容规范，并且对Tc8中SomeIP相关的协议测试用…
阅读更多...
实习日记！

实习日记！

目录 http://localhost:5789实习第三天 接下来几天的target 实习第四天 Git的操作 实习第五天 12月5日-Mon 12月6日 12月9日 12月12日 12月15日 useState() hook 12月16日 useEffect() hook async 函数 异步编程 回调函数 12月17日 C#中的？&#x…
阅读更多...
postgresql源码学习（54）—— HotStandby从库必须设置大于等于主库的参数

postgresql源码学习（54）—— HotStandby从库必须设置大于等于主库的参数

新的一篇本来计划研究lazy_scan_heap函数，但过于复杂还没研究出来… 下午做题遇到一个这样的问题，之前没太关注过，打算学习学习，避免主从配置踩坑。 题干搜一搜，没搜出啥有用的玩意…渣翻成英文搜一搜，搜出…
阅读更多...
windows搭建go语言开发环境，IDEA安装go插件并运行Hello world代码

windows搭建go语言开发环境，IDEA安装go插件并运行Hello world代码

2023年1月27日1.Windows上安装Go语言开发包参考链接：http://c.biancheng.net/view/3992.html1.1.下载Go语言开发包可以在Go语言官网 （https://golang.google.cn/dl/） 下载Windows 系统下的Go语言开发包，如下图所示。这里我们下载的…
阅读更多...
学习Docker就应该掌握的dockerfile语法与指令

学习Docker就应该掌握的dockerfile语法与指令

在日常的工作中，常常需要制作自己的项目的镜像，一般通过以下两种方式制作镜像：Docker commit、Dockerfile。Docker commitDocker commit一般用做从一个运行状态的容器来创建一个新的镜像。定制镜像应该使用Dockerfile来完成。docker commit 容…
阅读更多...
Git场景分析

Git场景分析

当前的开发环境如下，我们每个人都对这个项目已经开发一段时间，接下来我们要切换成团队开发模式。 也就是我们由一个团队来完成这个项目实战的内容。团队有组长和若干组员组成(组长就是开发中的项目经理)。 练习场景如下： 1.由组长&#xff0…
阅读更多...
LeetCode[1202]交换字符串中的元素

LeetCode[1202]交换字符串中的元素

难度：中等题目：给你一个字符串 s，以及该字符串中的一些「索引对」数组 pairs，其中 pairs[i] [a, b]表示字符串中的两个索引（编号从 0 开始）。你可以 任意多次交换 在 pairs中任意一对索引处的字符。返回在…
阅读更多...
java递归问题——汉诺塔

java递归问题——汉诺塔

目录 🌲🌲什么是汉诺塔？ 🐰 当只有1个圆盘的时候： 🐰 当只有2个圆盘的时候： 🐰 当只有3个圆盘的时候： 🌲🌲汉诺塔代码 🐰思路 &am…
阅读更多...
电脑安全模式怎么进？3种方式教会你！

电脑安全模式怎么进？3种方式教会你！

安全模式经常是电脑死机的时候，我们会选择的一种方式。因为安全模式可以帮助我们修复电脑系统里面的一些错误，电脑安全模式怎么进？其实很简单，主要有以下3种方式，你可以根据你的需要来选择其中一种！ 操作环…
阅读更多...
剑指 Offer 第7天（中午睡起来都十二点了，今天摆了吧）

剑指 Offer 第7天（中午睡起来都十二点了，今天摆了吧）

目录 剑指 Offer 26. 树的子结构 剑指 Offer 27. 二叉树的镜像 剑指 Offer 28. 对称的二叉树 剑指 Offer 26. 树的子结构 输入两棵二叉树A和B，判断B是不是A的子结构。(约定空树不是任意一个树的子结构) B是A的子结构， 即 A中有出现和B相同的结构和节点…
阅读更多...
极光厂商通道集成指南

极光厂商通道集成指南

小米集成指南 1、使用JCenter自动化集成步骤 确认AndroidStudio的Project根目录的主gradle中配置了jcenter支持。(新建project默认配置就支持） buildscript { repositories { jcenter() } } allprojects {repositories { jcenter() } } 在应用module的gr…
阅读更多...
ffmpeg为mkv封装格式的音视频文件添加内挂字幕

ffmpeg为mkv封装格式的音视频文件添加内挂字幕

现在好莱坞的电影，都是全球看，一个地区的人看电影时，电影屏幕上应该展示对应的本地区语言字幕。故电影画面在不同的地区，需要配置不同的语言字幕。故视频画面里面的字幕应该可以拆出来，不能像老版三国演义，…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023