Nginx日志分割实战指南：让日志管理更轻松

news2024/11/28 14:50:01

Nginx默认没有提供对日志文件的分割功能，所以随着时间的增长，access.log和error.log文件会越来越大，尤其是access.log，其日志记录量比较大，更容易增长文件大小，影响日志写入性能。

分割Nginx日志的方法有很多，这里推荐利用Logrotate来完成。

一、Logrotate用法

1. 安装

logrotate是一个linux系统日志的管理工具。可以对单个日志文件或者某个目录下的文件按时间/大小进行切割，压缩操作；指定日志保存数量；还可以在切割之后运行自定义命令。

logrotate是基于crontab运行的，所以这个时间点是由crontab控制的，具体可以查询crontab的配置文件/etc/anacrontab。系统会按照计划的频率运行logrotate，通常是每天。在大多数的Linux发行版本上，计划每天运行的脚本位于/etc/cron.daily/logrotate。

主流Linux发行版上都默认安装有logrotate包，如果你的linux系统中找不到logrotate, 可以使用apt-get或yum命令来安装。

yum install -y logrotate

一般linux都已经自带logrotate，下列命令可以查看是否已安装

rpm -ql logrotate

图片

二、基本用法详解

2.1 入门

/etc/logrotate.conf这个文件是logrotate的主配置文件。

# see "man logrotate" for details
# rotate log files weekly
weekly

# keep 4 weeks worth of backlogs
rotate 4

# create new (empty) log files after rotating old ones
create

# use date as a suffix of the rotated file
dateext

# uncomment this if you want your log files compressed
#compress

# 包含自定义配置目录
include /etc/logrotate.d

# no packages own wtmp and btmp -- we'll rotate them here
/var/log/wtmp {
    monthly
    create 0664 root utmp
        minsize 1M
    rotate 1
}

/var/log/btmp {
    missingok
    monthly
    create 0600 root utmp
    rotate 1
}

# system-specific logs may be also be configured here.

这个主配置文件中定义了日志文件分割的通用参数。并且include /etc/logrotate.d表示其会加载/etc/logrotate.d的所有自定义配置文件，自定义配置文件中的配置可以覆盖掉通用配置。

我们来到自定义配置文件的目录/etc/logrotate.d

图片

尝试在该目录中创建一个日志分割配置test，对/opt/logtest目录中所有以.log结尾的文件进行分割。

vim test

# test配置文件的内容
/opt/logtest/*.log {
    daily
    rotate 2
    copytruncate
    missingok
}

test配置的第一行指定要对哪个路径的哪些文件进行分割，然后携带的4个参数解释如下：

  • daily：按天切割。触发切割时如果时间不到一天不会执行切割。除了daily，还可以选monthly，weekly，yearly

  • rotate：对于同一个日志文件切割后最多保留的文件个数

  • copytruncate：将源日志文件切割成新文件后，清空并保留源日志文件。默认如果不启用该配-置，分割后源日志文件将被删除。设置该值，以便分割后可以继续在源日志文件写入日志，等待下次分割

  • missingok：切割中遇到日志错误忽略

创建好配置以后，系统会在每天利用cron定时执行logrotate日志分割指令。这里我们为了看到效果，不等到系统自动执行，可以手动强制执行一次日志分割。强制执行会立即进行一次日志。

# -v:显示执行日志
# -f:强制执行分割
logrotate -vf /etc/logrotate.d/test

执行前，事先在日志所在目录中创建2个测试日志文件。

touch test1.log
touch test2.log

手动执行一次日志分割，观察执行日志可以发现，过程如下：

1. 先将源日志内容拷贝到分割后的文件

2. 清空源文件

图片

此时分割后的文件名为源文件名后面加上.序号，序号从1开始。

图片

然后我们再次手动执行一次分割，此时执行过程如下：

  1. 将第一次分割后的日志文件test1.log.1重命名为test1.log.2

  2. 将源日志文件拷贝到此次分割后的文件，命名序号重新从1开始，为test1.log.1

  3. 清空源日志文件

图片

图片

接着再次手动执行一次分割，此时执行过程如下：

  1. 将之前分割后的日志文件test1.log.2重命名为test1.log.3，test1.log.1重命名为test1.log.2

  2. 分割源日志文件，拷贝其内容到test1.log.1

  3. 由于设置了rotate为2，即最多保留2个日志文件，所以此时要删除最早分割出的那个日志文件，即test1.log.3

图片

图片

总结一下logrotate日志分割的步骤：

  1. 默认分割后日志的命名为源日志名称+.序号(从1开始)。分割之前将所有之前分割出的日志文件重命名，序号往后移一位。

  2. 执行分割，将源日志文件分割为源日志文件名.1。这样就保证了所有分割后的文件中，序号最小的是最新分割出的，序号最大的是最早分割出的。

  3. 根据rotate设置，如果此次分割后文件数量大于rotate设置，那么删除序号最大的那个分割文件，也就是最旧的分割日志。

实际开发中可以使用create代替copytruncate，它们的区别如下： 

  1. copytruncate先将源文件内容拷贝到分割后文件，再清空源文件，拷贝和清空之间有时间差，可能会丢失部分日志。另外拷贝操作在源文件比较大时消耗性能。

  2. create直接将源文件重命名为分割后文件，再创建一个与源文件名称相同的新文件，用于后续日志写入。

/opt/logtest/*.log {
    daily
    rotate 2
    create  # 创建与源文件名称相同的新文件，用于后续日志写入，新文件的归属用户、权限与源文件相同
    missingok
}

图片

但是要注意create即使创建新的文件后，如果没有主动通知应用程序，那么应用程序仍然会往旧的文件(即被重命名的那个分割后的文件)写入日志。所以此时在分割后要通知应用程序重新打开新的日志文件进行写入。以通知nginx为例，配置如下：

/var/log/nginx/*.log {
    daily                      
    rotate 30              
    create
    sharedscripts              # 所有的文件切割之后只执行一次下面脚本，通知nginx重新打开新的日志文件进行后续写入
    postrotate
        if [ -f /run/nginx.pid ]; then
            kill -USR1 `cat /run/nginx.pid`  # 通过USER1信号通知nginx重新打开日志文件
        fi
    endscript
}

综上，一般情况下如果应用程序提供了通知其打开新的日志文件的接口，那么推荐使用create续写日志；否则推荐使用copytruncate续写日志。

注意：

/etc/logrotate.d中的自定义配置中，如果不配置rotate、daily等参数在强制手动执行时并不会继承默认的主配置/etc/logrotate.conf。比如不配置rotate时，并不会继承保留4个分割文件，而是等价于0，即不保留任何分割文件。所以自定义配置中推荐显式指定这些参数。

在系统crontab定时任务自动执行logrotate时，自定义配置会继承主配置文件中的参数。

logrotate执行分割的时机要依赖于crontab定时任务，也就是说crontab定时任务每日触发时，logrotate才会读取相应配置，检查是否满足分割的条件决定是否执行分割。这意味着，在默认crontab每日触发logrotate的定时任务情况下，即便logrotate配置文件中配置的分割频率小于1天，也将按照1天的频率触发分割，除非修改crontab定时任务，将logrotate的任务触发频率修改为小于1天。

2.2 分割文件压缩

我们可以通过如下设置对分割后的日志文件开启压缩。

/opt/logtest/*.log {
    daily
    rotate 2
    copytruncate
    missingok
    compress           # 以gzip方式压缩
    nodelaycompress    # 所有分割后的文件都进行压缩
}

此时删除原有所有文件，重新创建测试日志文件test1.log和test2.log，然后手动执行分割，可以生成压缩后的.gz文件。

图片

一般可以将nodelaycompress改为delaycompress，这样分割后对最新的序号为1的文件不会进行压缩，对其他序号的文件进行压缩，这样可以方便我们查看最新的分割日志。

图片

2.3 按照时间分割

按照时间分割可以定时分割出一个日志，比如每天分割一次，配合其他参数可以完成保留最近n天日志的功能。以下配置可以实现每天分割一次日志，并且保留最近30天的分割日志。

/opt/logtest/*.log {
    daily      # 每天分割一次
    rotate 30  # 保留最近30个分割后的日志文件
    copytruncate
    missingok
    dateext  # 切割后的文件添加日期作为后缀
    dateyesterday # 配合dateext使用，添加前一天的日期作为分割后日志的后缀
}

还是先删除原来的所有文件，重新创建。

touch test{1,2}.log

再手动执行分割，此时生成的分割后的文件将不再以序号作为文件名结尾，而是以昨天的日期作为结尾。

图片

并且如果马上再手动执行一次分割，由于日期相同，不会像原来一样生成序号递增的新日志文件，此时相当于没有执行任何分割操作。即同一天只能分割一次，第二天再次执行才会分割出新的日期结尾的文件，所以此时设置rotate的值即为保留最近多少天日志的意思。

图片

此外，默认添加的日期后缀格式为yyyyMMdd，可以用dateformat自定义。

/opt/logtest/*.log {
    daily      # 每天分割一次
    rotate 30  # 保留最近30个分割后的日志文件
    copytruncate
    missingok
    dateext  # 切割后的文件添加日期作为后缀
    dateyesterday # 配合dateext使用，添加前一天的日期作为分割后日志的后缀
    dateformat -%Y-%m-%d  # 格式为2022-02-08
}

2.4 按照文件大小分割

我们可以利用size配置指定当日志文件达到多大体积时才进行分割。以下配置指定了每天执行分割，但是只有当日志文件大于5M时才真正执行分割操作。

/opt/logtest/*.log {
    daily      # 每天分割一次
    size 5M    # 源文件小于5M时不分割
    rotate 30  # 保留最近30个分割后的日志文件
    create
    missingok
    dateext  # 切割后的文件添加日期作为后缀
    dateyesterday # 配合dateext使用，添加前一天的日期作为分割后日志的后缀
}

注意：这个配置并不是说日志文件达到指定大小就自动执行分割，它还是要遵循定时任务。比如配置了daily只有到每天指定时间执行分割任务时，才会检查文件大小，对超过指定大小的文件进行分割。

2.5 自定义每小时分割

logrotate实现每日定时执行日志分割的原理是通过cron定时任务，默认在/etc/cron.daily中包含logrotate可执行命令，所以系统每天会定时启动logrotate，然后它会根据配置中具体分割频率(daily、weekly等)以及其他条件(比如size)决定是否要真正执行分割操作。

图片

如果我们想要实现每小时进行一次分割，需要如下步骤：

  1. logrotate配置文件中指定分割频率为hourly。

  2. 配置完以后，还需要在cron的每小时定时任务中加入logrotate，因为默认情况下只有/etc/cron.daily中包含logrotate可执行命令，我们要将它往/etc/cron.hourly中也拷贝一份，这样系统才会每小时调用一次logrotate去执行分割。

cp /etc/cron.daily/logrotate /etc/cron.hourly/

2.6 自定义分割执行时间

logrotate 是基于cron 运行的，所以这个时间是由 cron 控制的，具体可以查询 cron 的配置文件/etc/crontab 。旧版CentOS 的cron 的配置文件是 /etc/crontab ，新版CentOS 改为 /etc/anacrontab

图片

从上面的内容可以看出：

  • 如果机器 没有关机，默认 logrotate（配置文件里设置的是cron.daily）一般会在每天的3点05分到3点50分之间执行， 真实的延迟时间

    是RANDOM_DELAY + delay in minutes

  • 如果在3-22 这个时间段内服务器处于 关机状态，则 logrotate 会在机器开机5分钟后执行分割日志的操作

如果我们觉得每天凌晨3点多执行日志分割不合适，那么可以自定义分割执行时间。实现方式可以是：

  • 修改/etc/anacrontab中的定时执行时间，实际不推荐，可能会影响系统其他定时任务

  • 在/etc/logrotate.d以外的其他目录创建logrotate配置文件，然后利用crontab自定义cron表达式来执行logrotate对该配置进行分割操作

推荐采用crontab方式自定义执行时间，步骤如下：

1. 在非/etc/logrotate.d目录创建logrotate配置文件，这是为了避免被系统的定时任务扫描到该配置而导致重复执行分割

2. 添加 crontab 计划任务，在 root 用户下执行crontab -e进入 vim 模式，进行编辑

crontab -e
# 每天 23点59分进行日志切割
59 23 * * * /usr/sbin/logrotate -f /etc/logrotate_mytime/nginx

3. 重启crontab

# centos6: 
service crond restart

# centos7: 
systemctl restart crond 

三、Nginx日志分割步骤

在/etc/logrotate.d中创建文件nginx，作为nginx日志分割的配置文件。指定每天执行一次分割，并且当文件大于5M时才进行分割。同时指定notifempty，当日志文件为空时不分割。

/opt/docker-ws/nginx/logs/*.log {
    daily      # 每天分割一次
    size 5M    # 源文件小于5M时不分割
    rotate 30  # 保留最近30个分割后的日志文件
    copytruncate
    notifempty # 当日志文件为空时不分割
    missingok
    dateext  # 切割后的文件添加日期作为后缀
}

这样配置了以后系统会在凌晨3点多执行分割操作，执行结果会保存到/var/spool/mail/root中

图片

查看结果发现提示权限不够而分割失败，这是因为开启了selinux导致，解决方案有如下2种：

1. 关闭selinux

2. 利用semanage修改待分割的日志文件所在目录的权限

# 开放/opt/logtest目录的权限
semanage fcontext -a -t var_log_t "/opt/logtest(/.*)?"
restorecon -Rv /opt/logtest

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1530158.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

上位机图像处理和嵌入式模块部署（qmacvisual图像预处理）

上位机图像处理和嵌入式模块部署（qmacvisual图像预处理）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 不管大家是在读书的时候学习的图像处理，还是在后来的工作中，重新学习了图像处理，相信大家对图像预处理的概念并…
阅读更多...
2024年国内彩妆行业市场数据分析：增长机会在哪？

2024年国内彩妆行业市场数据分析：增长机会在哪？

从伊蒂之屋、菲诗小铺等平价韩妆的退出，到全球第一眉妆贝玲妃的落幕，曾经的“网红”-“全网断货选手”纷纷退出中国市场。 有人认为是国内彩妆市场不景气？事实上，国内彩妆市场线上市场规模仍在持续扩大。根据鲸参谋数据统计&…
阅读更多...
梅森增益与劳斯稳定判据

梅森增益与劳斯稳定判据

梅森增益： 注意前两行的系数，第一行是偶次项，从高幂走向低幂；第二行是奇次项，从高幂走向低幂。 第一中情况： 第二种情况： 讲的真的很好，受益颇多： https://www.bilibili…
阅读更多...
整蛊小教程｜让朋友手足无措的电脑自动关机

整蛊小教程｜让朋友手足无措的电脑自动关机

前言 这几天讲到shutdown关机命令，于是就出现了整蛊类的电脑教程。 这个故事我记得很清楚：在2012年的春天……当时的小白对电脑还不是很熟悉。某一天跟着朋友去网吧上网，这时候突然有个朋友发来一个.bat的文件，说双击打开有惊喜…
阅读更多...
FX-数组的使用

FX-数组的使用

1一维数组 1.1一维数组的创建和初始化 1.1.1数组的创建 //代码1 int arr1[10]; char arr2[10]; float arr3[1]; double arr4[20]; //代码2 //用宏定义的方式 #define X 3 int arr5[X]; //代码3 //错误使用 int count 10; int arr6[count];//数组时候可以正常创建&#xff1…
阅读更多...
供应链安全之被忽略的软件质量管理平台安全

供应链安全之被忽略的软件质量管理平台安全

背景 随着我国信息化进程加速，网络安全问题更加凸显。关键信息基础设施和企业单位在满足等保合规的基础上，如何提升网络安全防御能力，降低安全事件发生概率？默安玄甲实验室针对SonarQube供应链安全事件进行分析，强调供…
阅读更多...
系统资源耗尽对服务器的影响有什么？

系统资源耗尽对服务器的影响有什么？

在当今数字化时代，服务器作为核心计算设备，为企业和组织的业务连续性提供了重要保障。然而，随着业务的增长和复杂性的提升，服务器也面临着越来越多的挑战。其中，系统资源耗尽是服务器面临的一个重要问题。今天德迅云安…
阅读更多...
中间件-消息队列

中间件-消息队列

消息队列基础知识 什么是消息队列 本处提到的消息队列是指各个服务以及系统组件/模块之间的通信，属于一种中间件。参与消息传递的双方称为生产者和消费者，生产者负责发送消息，消费者负责处理消息。 消息队列作用 通过异步处理&#xff0…
阅读更多...
五、C#归并排序算法

五、C#归并排序算法

简介 归并排序是一种常见的排序算法，它采用分治法的思想，在排序过程中不断将待排序序列分割成更小的子序列，直到每个子序列中只剩下一个元素，然后将这些子序列两两合并排序，最终得到一个有序的序列。 归并排序实现原…
阅读更多...
JVM常用垃圾收集器

JVM常用垃圾收集器

JVM 4.1 哪些对象可以作为GC ROOT? 虚拟机栈（栈帧中的局部变量表）中引用的对象本地方法栈中引用的对象方法区静态变量引用的对象方法区常量引用的对象被同步锁持有的对象JNI（Java Native Interface）引用的对象 4.2 常用垃圾收集…
阅读更多...
2.28CACHE，虚拟存储器

2.28CACHE，虚拟存储器

主存储器,简称主存。CPU可以直接随机地对其进行访问，也可以和高速缓存器及辅助存储器交换数据。 2> 辅助存储器,简称辅存，不能与CPU直接相连，用来存放当前暂时不用的程序和数据 3> 高速缓冲存储器,位于主存和CPU之间，用来…
阅读更多...
Cesium：按行列绘制3DTiles的等分线

Cesium：按行列绘制3DTiles的等分线

作者：CSDN @ _乐多_ 本文将介绍如何使用 Cesium 引擎根据模型的中心坐标，半轴信息，绘制 3DTiles 对象的外包盒等分线。 外包盒是一个定向包围盒（Oriented Bounding Box），它由一个中心点（center）和一个包含半轴（halfAxes）组成。半轴由一个3x3的矩阵表示，这个矩阵是…
阅读更多...
基于Spring boot食品安全信息管理系统

基于Spring boot食品安全信息管理系统

摘 要 食品安全信息管理系统设计的目的是为用户提供食品信息、科普专栏、食品检测、检测结果、交流论坛等方面的平台。 与PC端应用程序相比，食品安全信息管理系统的设计主要面向于用户，旨在为管理员和用户提供一个食品安全信息管理系统。用户可以通过AP…
阅读更多...
openEuler 22.03（华为欧拉）一键安装 Oracle 19C（19.22） 数据库

openEuler 22.03（华为欧拉）一键安装 Oracle 19C（19.22） 数据库

前言 Oracle 一键安装脚本，演示 openEuler 22.03 一键安装 Oracle 19C 单机版过程（全程无需人工干预）：（脚本包括 ORALCE PSU/OJVM 等补丁自动安装） ⭐️ 脚本下载地址：Shell脚本安装Oracle数据…
阅读更多...
echarts多个折线图共用一个x轴和tooltip组件

echarts多个折线图共用一个x轴和tooltip组件

实现效果 根据接口传来的数据&#xff0c;使用echarts绘制出&#xff0c;共用一个x轴的图表 功能&#xff1a;后端将所有数据传送过来&#xff0c;前端通过监听选中值来展示对应的图表数据 数据格式&#xff1a; 代码&#xff1a; <template><div><div clas…
阅读更多...
基于SpringCloud的菜谱美食交流系统Eureka

基于SpringCloud的菜谱美食交流系统Eureka

本技术是java平台的开源应用框架&#xff0c;其目的是简化Sping的初始搭建和开发过程。默认配置了很多框架的使用方式&#xff0c;自动加载Jar包&#xff0c;为了让用户尽可能快的跑起来spring应用程序。 本选题致力于开发一个菜谱交流系统&#xff0c;旨在帮助越来越多的人可以…
阅读更多...
【计算机视觉】Gaussian Splatting源码解读补充

【计算机视觉】Gaussian Splatting源码解读补充

本文旨在补充gwpscut创作的博文学习笔记之——3D Gaussian Splatting源码解读。 Gaussian Splatting Github地址&#xff1a;https://github.com/graphdeco-inria/gaussian-splatting 论文地址&#xff1a;https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/3d_gauss…
阅读更多...
第六篇：视频广告格式上传指南（上） - IAB视频广告标准《数字视频和有线电视广告格式指南》

第六篇：视频广告格式上传指南（上） - IAB视频广告标准《数字视频和有线电视广告格式指南》

第六篇&#xff1a; 视频广告格式和上传指南&#xff08;上&#xff09; --- 我为什么要翻译介绍美国人工智能科技公司IAB系列技术标准&#xff08;2&#xff09; 流媒体数字视频的广告格式分为线性和非线性两大类。任何一个广告都可以与显示在视频播放器外部的伴随横幅一起提…
阅读更多...
电脑数据安全新利器：自动备份文件的重要性与实用方案

电脑数据安全新利器：自动备份文件的重要性与实用方案

一、数据安全的守护神&#xff1a;自动备份文件的重要性 在数字化时代&#xff0c;电脑中的文件承载着我们的工作成果、个人回忆以及众多重要信息。然而&#xff0c;数据丢失的风险无处不在&#xff0c;无论是硬件故障、软件崩溃&#xff0c;还是恶意软件的攻击&#xff0c;都…
阅读更多...
nodejs基于vue班级管理系统的设计与实现-flask-django-python-php

nodejs基于vue班级管理系统的设计与实现-flask-django-python-php

根据现实需要&#xff0c;此系统我们设计出一下功能&#xff0c;主要有以下功能模板。 1.学生功能&#xff1a;首页、个人中心、课程信息管理、学生成绩管理、班级事件管理、班费支出管理、班级相册管理、班级音乐角管理。 2.管理员功能&#xff1a;首页、个人中心、班级管理、…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023