elk生命周期删除日志

news2025/1/16 3:36:31

elk版本:7.14

一、简介

ELK日志我们一般都是按天存储,例如索引名为"prodlog-2023-05-08",因为日志量所占的存储是非常大的,我们不能一直保存,而是要定期清理旧的,这里就以保留7天日志为例。

自动清理7天以前的日志可以用定时任务的方式,这样就需要加入多一个定时任务,可能不同服务记录的索引名又不一样,这样用定时任务配还是没那么方便。

ES给我们提供了一个索引的生命周期策略(lifecycle),就可以对索引指定删除时间,能很好解决这个问题。

索引生命周期分为四个阶段:HOT(热)=>WARM(温)=》COLD(冷)=>DELETE(删除)

二、Kibana给索引设生命周期策略(ILM)

1.Kibana的开发工具配置生命周期策略(policy)

这里为ELK日志超过7天的自动删除,所以只需要用到DELETE(删除阶段)

 

PUT _ilm/policy/auto_delete_policy   
{
  "policy": {                       
    "phases": {
      "delete": {
        "min_age": "7d",           
        "actions": {
          "delete": {}              
        }
      }
    }
  }
}

 

创建一个自动删除策略(auto_delete_policy)

delete:删除阶段,7天执行删除索引动作

查看策略:GET _ilm/policy/

2.Kibana的管理下的索引生命周期策略已有的模板设置策略

生命周期策略默认10分钟检测一次,为了方便测试,这里设为30s。

PUT /_cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval":"30s" 
  }
}

查看日志索引的生命周期策略信息。

GET prod*/_ilm/explain          查看kafka开头索引的生命周期策略

  "indices" : {
    "prodlog-2023-05-08" : {
      "index" : "prodlog-2023-05-08",
      "managed" : true,
      "policy" : "auto_delete_policy",
      "lifecycle_date_millis" : 1683504008404,
      "age" : "4.51h",
      "phase" : "new",
      "phase_time_millis" : 1683517222815,
      "action" : "complete",
      "action_time_millis" : 1683517222815,
      "step" : "complete",
      "step_time_millis" : 1683517222815,
      "phase_execution" : {
        "policy" : "auto_delete_policy",
        "version" : 1,
        "modified_date_in_millis" : 1683515757802
      }
    },

过一会再点查询,索引已经没有了,说明已经生效。

或者 Kibana的管理下的索引管理查看是否删除了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/501360.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Android开发 LogDog (日志狗)V1.2.0

目录 一、简介 二、添加LogDog 1、添加仓库 2、添加依赖 三、V1.2.0 更新和新的使用方式 1、初始化和配置 2、配置的新使用 3、使用和打印更新说明 4、更新说明 一、简介 具体日志简介可以去看1.0.2版本的简介 LogDog 简介https://blog.csdn.net/Ym_quiet/article/d…

【多任务学习】Multi-task Learning 手把手编码带数据集, 一文吃透多任务学习

文章目录 前言1.多任务学习1.1 定义1.2 原理 2. 多任务学习code2.1 数据集初探2.2 预处理2.3 网络结构2.4 训练 3. 总结 前言 我们之前讲过的模型通常聚焦单个任务,比如预测图片的类别等,在训练的时候,我们会关注某一个特定指标的优化. 但是有时候,我们需要知道一个图片,从它身…

Windows远程执行进程工具psexec和wmiexec介绍

在自动化测试或者自动化工具开发中,通常需要向其它电脑或者服务器发送指令,比如Windows发送命令到Linux服务器开启某个服务进程,或者读取状态信息,我们可以使用ssh协议实现。 如果Windows主机需要发送命令到局域网内的其它Window…

第四十五章 Unity 滚动视图 (Scroll View) UI

我们介绍一下滚动条 (Scrollbar),它允许用户滚动由于太大而无法完全看到的图像或其他视图。这种效果在我们网页中经常看到,尤其是网页内容太长的时候,就会在垂直方向出现滚动条。当然,有时候也会在水平方向出现滚动条。我们拖动滚…

WebRTC引用计数和线程

1. 什么是引用计数: 引用计数是计算机编程语言中的一种内存管理技术,是指将资源(可以是对象、内存、或磁盘空间等等)的被引用次数保存起来,当被引用次数变为零时就将其释放的过程。 使用引用计数技术可以实现自动资源…

纯HTML+CSS网页设计期末作业(海贼王主题网站——图片可换,主题可换)

纯HTMLCSS网页设计期末作业(海贼王主题网站——图片可换,主题可换) 博主:命运之光 专栏:web网页制作大作业 网页最底下有视频可以观看网页效果,喜欢的可以在博主主页资源里免费下载(●’◡’●)让我们一起加…

[数据库系统] 一、添加常用约束(educoder)

1.任务:给表添加常用的约束。 2.相关知识 在数据库的使用过程中我们经常要限制属性的取值,比如有些属性不能为空,就需要添加非空约束,本关要求完成常用约束的添加和定义。 目录 (1)唯一约束 (2)添加非空约束 (3)使用默认约束…

大数据|Hive和数据仓库

前文回顾:HBase基本工作原理 目录 📚数据仓库和OLAP 🐇数据仓库 🥕面向主题 🥕集成的 🥕时变的 🥕非易失的 🐇OLTP(联机事务处理)vs OLAP(…

织梦城市分站怎么安装织梦二级域名站群织梦制作企业分站教程

1、安装说明 一、下载织梦多城市二级域名源码; 二、上传源码到服务器;(必须支持泛解析) 三、在浏览器输入http://你的域名/install进入安装页面; 可以参考http://www.hlzcb.com/zhimengxueyuan/zhimenganzhuangshiyong/25830.html 四、输入数据库用户名密码和数据库…

公司股权转让,变更股东要了解哪些?

什么是公司股权? 股权即股票持有者所具有的与其拥有的股票比例相应的权益及承担一定责任的权力。股权转让是一种物权变动行为,股权转让后,股东基于股东地位而对公司所发生的权利义务关系全部同时移转于受让人,受让人因此成为公司…

SpringBoot的yml多环境配置3种方法

目录 方式一:多个yml文件 步骤一、创建多个配置文件 步骤二、applicaiton.yml中指定配置 方式二: 单个yml文件 方式三:在pom.xml中指定环境配置 步骤一、创建多个配置文件 步骤二、在application.yml中添加多环境配置属性 步骤三、在po…

创客匠人直播怎么样?

快速发展的互联网时代,直播成为各个行业的引流利器。如今,众多教培机构转型线上,直播无疑是最好的线上教学方式,不仅可以让老师和学员异地教学还能最好的还原线下教学场景,利用科技提高学习质量。 做好一场直播不仅仅…

JColorChooser和JFileChooser

Swing提供了JColorChooser和JFileChooser这两种对话框,可以很方便的完成演示的选择和本地文件的选择。 1.JColorChooser JColorChooser用于创建颜色选择器对话框,该类的用法非常简单,只需要调用它的静态方法就可以快速生成一个颜色选择对话框…

蓝牙耳机什么牌子好?500内好用的蓝牙耳机推荐

随着蓝牙耳机的受欢迎程度越来越高,近几年来,无蓝牙耳机市场呈爆发式增长,蓝牙耳机品牌也越来越多。那么蓝牙耳机什么牌子好?接下来,我来给大家推荐几款500内好用的蓝牙耳机,一起来看看吧。 一、南卡小音舱…

GDD471A001 PLC / DCS维护日志

​ GDD471A001 PLC / DCS维护日志 PLC维护日志 PLC/DCS 维护日志将帮助您跟踪过去的故障、解决方案、零件更换。如果以后再次出现同样的问题,跟踪日志将帮助您立即解决。 您的控制系统的可靠性可以通过参考维护日志来确定。 使用 PLC/DCS 维护日志可以识别频繁出…

React的生命周期及Redux状态管理器等

生命周期 一个应用或页面从创建到消亡过程中某一时刻自动调用的回调函数称为生命周期钩子函数 挂载 constructor :来初始化函数内部 state,为 事件处理函数 绑定实例render:渲染 DOMcomponentDidMount:组件挂载、DOM 渲染完后&…

V8 JavaScript引擎

简介 V8 (v8.dev)是 Google 的开源高性能 JavaScript 和 WebAssembly 引擎,用 C 编写。它用于 Chrome 和 Node.js 等。它实现了 ECMAScript 和 WebAssembly,并运行在 Windows 7 或更高版本、macOS 10.12 以及使用 x64、IA-32、ARM 或 MIPS 处理器的 Lin…

FFmpeg HEVC 解码 YUV

1. 概要与流程图 1.1 FFmpeg 支持 h264,hevc 等解码,由于分离视频文件为 hevc 格式,为了方便起见,当前解码的格式为 hevc,代码支持各种视频格式解码,需要修改参数和适配 1.2 HEVC 解码 YUV 流程图如下: 2. 封装读写文件操作 2.1 读写头文件,FileTool.h #import <Fou…

MAC常用操作

1. 添加环境变量 vi ~/.bash_profile export PATHselfdefine_path:$PATH source ~/.bash_profile适用于安装Application之后将该Application的Contents/bin下的可执行程序添加到环境变量&#xff0c;使得在终端能够启用。 例如使用cmake-3.25.0-macos-universal.dmg安装好cmak…

基于微信小程序网上书城系统

开发工具&#xff1a;IDEA、微信小程序 服务器&#xff1a;Tomcat8.0&#xff0c; jdk1.8 项目构建&#xff1a;maven 数据库&#xff1a;mysql5.7 前端技术&#xff1a;vue、uniapp 服务端技术&#xff1a;springspringmvcmybatis(ssm框架) 本系统分微信小程序和管理后…