ES-7.12-官网阅读-ILM-自定义内置ILM策略

news2024/11/22 15:44:54

官网地址:Tutorial: Customize built-in ILM policies | Elasticsearch Guide [7.12] | Elastic

教程:自定义内置ILM策略(Customize built-in ILM policies)

Elasticsearch包含如下内建ILM 策略:

  • logs(日志)
  • metrics(指标)
  • syntheticc(合成材料?)

Elasctic Agent 用这些策略管理其数据流的支持索引(backing indices),这个教程告诉你如何使用kibana的Index Lifecycle Policies 来基于你应用的性能和弹性,以及保存需求来自定义这些策略;

场景(Scenario)

你想要发送日志文件到Elasticsearch集群目的是能够可视化和分析数据,这些数据有如下保留需求:

  • 当你的写入index 达到50GB或者保留了30天,滚动创建(rollover)一个新的索引
  • rollover 以后,将索引在热数据层(hot data tier)保留30天;
  • rollover 30天后
    • 移动index到热数据层(warm data tier)
    • 设置副本为1;
    • Force merge 多个索引段(segment)以释放已删除文档所使用的空间。
  • 滚动90天后删除索引;

先决条件(Prerequisites)

为完成这个教程,你将需要

  • 一个有hot和warm数据层的Elasticsearch 集群
    • Elasticsearch Service:Elasticsearch Service 上的 Elastic Stack 部署(deployment)默认包含热层,要添加warm层,请编辑您的部署(deployment)并单击添加warm层的容量
    • 自建集群(Self-managed cluster):将data_hot 和data_warm 角色分配给节点,如数据层中(Data tiers | Elasticsearch Guide [7.12] | Elastic)所述;

举例,在warm tier(warm 层)中每个节点的elasticsearch.yml文件中 包含 data_warm节点 角色

node.roles: [ data_warm ]

  • 安装了 Elastic Agent 并配置为将日志发送到 Elasticsearch 集群的主机

查看策略(View the policy)

Elastic Agent使用索引模式为logs-*-*的数据流来存储日志监控数据。内置logs  ILM 策略自动管理这些数据流的支持索引。

在kibana中访问 logs policy:

  1. 打开菜单,并去到Stack Management > Index Lifecycle Policies.;
  2. 选择logs policy;

log policy 使用建议的滚动默认值:当当前写入索引达到 50GB 或变为 30 天时开始写入新索引。

查看或更改rollover设置,点击Hot 阶段的Advanced settings,然后禁用使用推荐的默认值(Use recommended defaults);

修改策略(Modify the policy)

默认logs policy 旨在防止创建许多微小的每日索引。您可以修改策略以满足您的性能要求并管理资源使用情况。

  1. 激活热阶段并单击Advanced settings.
    1. 设置Move data into phase when  30 days old。这会将index完成rollover以后保留30天后移入到warm 层
    2. 启用Set replicas 并且改变Number of replicas 为1
    3. 启用Force merge data 并设置Number of segments为1
  2. 在warm 阶段,单击垃圾桶图标以启用删除阶段。

在delete 阶段,设置Move data into phase when to 90 days old. 这会在rollover 90天后删除index;

3.  单击 Save Policy.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1562359.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【项目技术介绍篇】若依项目代码文件结构介绍

作者介绍:本人笔名姑苏老陈,从事JAVA开发工作十多年了,带过大学刚毕业的实习生,也带过技术团队。最近有个朋友的表弟,马上要大学毕业了,想从事JAVA开发工作,但不知道从何处入手。于是&#xff0…

数据可视化高级技术(Echarts)

目录 (一)数据可视化概念及Echarts基础知识 数据可视化的好处: 数据可视化的目标 数据可视化的基本流程 (二)数据图表 类别比较图表: 数据关系图表: 数据分布图表: 时间序列…

增加网站搜索引擎排名的6个准则

怎样提高网站排名首页 在竞争激烈的网络世界中,网站的排名对于吸引流量和提升曝光至关重要。登上搜索引擎结果页面的首页,意味着更多的曝光和点击率。以下是一些方法,可以帮助您提高网站在搜索引擎中的排名,让其跻身首页&#xf…

基于STC12C5A60S2系列1T 8051单片机的数码管显示IIC总线器件AT24C02记录单片机上电次数应用

基于STC12C5A60S2系列1T 8051单片机的数码管显示IIC总线器件AT24C02记录单片机上电次数应用 STC12C5A60S2系列1T 8051单片机管脚图STC12C5A60S2系列1T 8051单片机I/O口各种不同工作模式及配置STC12C5A60S2系列1T 8051单片机I/O口各种不同工作模式介绍液晶显示器LCD1602简单介绍…

Vmware虚拟机远程SSH连接失效解决方法及分析过程

问题描述 系统为CentOS7 64位 一向能够正常连接 在某次使用FinalShell进行远程SSH连接时 突然无法连接 对问题原因猜测及尝试 1.dns解析失效 发现显示DNS无法解析,可以得知是使用了主机名登录,而主机名无法登录. 遂查看host文件.host文件因不知名原因被清空,重新恢复后该问…

每天五分钟计算机视觉:如何基于滑动窗口技术完成目标的检测?

汽车检测算法 现在我们想要构建一个汽车检测算法,我们希望输入到算法中一张图片,算法就可以帮助我们检测出这张图片中是否有汽车。 数据集 首先创建一个标签训练集,x是样本,y是标签。我们的训练集最好是被剪切过的图片,剪掉汽车以外的部分,使汽车居于中间位置,就是整张…

学习transformer模型-broadcast广播的简明介绍

broadcast的定义和目的: 广播发生在将较小的张量“拉伸”以具有与较大张量兼容的形状,以便执行操作时。 广播是一种有效执行张量操作而不创建重复数据的方式。 广播的处理过程: 1, 确定最右边的维度是否兼容 每…

视觉信息处理与FPGA实现第八次作业——verilog实现对比度调节

一、查看灰度图的数据格式 1.1 安装HxD HxD下载链接:https://download.csdn.net/download/weixin_44357071/89045331 解压直接打开exe就能使用。 将需要查看二进制数据的图片拖到软件框里就能读取 1.2 找到bmp图像的图片点阵数据起始地址,原理和例子…

【数据结构】非线性结构---二叉树

1、树 1.1 树的相关概念 节点的度:一个节点含有的子树的个数称为该节点的度; 如上图:A的为6 叶节点或终端节点:度为0的节点称为叶节点; 如上图:B、C、H、I...等节点为叶节点 非终端节点或分支节点&#…

中断服务程序模板

通常定时器初始化过程如下: ①对 TMOD赋值,以确定TO和T1的工作方式。 ②计算初值,并将初值写入THO、TLO或TH1、TL1。 ③中断方式时,则对IE赋值,开放中断。 ④使TRO或TR1置位,启动定时器/计数器定时或计数。 代码 利用定时器0工作方式1&…

数据结构(六)——图的应用

6.4 图的应用 6.4.1 最小生成树 对于⼀个带权连通⽆向图G (V, E),⽣成树不同,每棵树的权(即树中所有边上的权值之和)也可能不同。设R为G的所有⽣成树的集合,若T为R中边的权值之和最小的生成树,则T称为G的…

算法打卡day23

今日任务: 1)39. 组合总和 2)40.组合总和II 3)131.分割回文串 39. 组合总和 题目链接:39. 组合总和 - 力扣(LeetCode) 给定一个无重复元素的数组 candidates 和一个目标数 target ,…

人工智能之深度学习笔记——每天五分钟快速掌握深度学习理论

本专栏会对深度学习以及深度学习搭建技巧做一个详尽的介绍,相信大家阅读完本专栏之后,深度学习已经不是一个遥不可及的名词,我们会知道它究竟是什么,本专栏尽可能地简单详细地介绍每一个深度学习知识,帮助每天只用很少…

Day78:服务攻防-数据库安全RedisCouchDBH2database未授权访问CVE漏洞

目录 前置知识 数据库应用-Redis-未授权访问&CVE漏洞 未授权访问:CNVD-2015-07557 未授权访问-CNVD-2019-21763 未授权访问-沙箱绕过RCE-CVE-2022-0543 数据库应用-Couchdb-未授权越权&CVE漏洞 Couchdb 垂直权限绕过(CVE-2017-12635&…

数据结构-链表的基本操作

前言: 在dotcpp上碰到了一道题,链接放这了,这道题就是让你自己构建一遍链表的创建,插入节点,删除节点,获取节点,输出链表,题目给了几张代码图,不过不用管那些图&#xf…

k8s 经常操作指令

发现有个技巧:get、describe、edit ...操作指令后,都对应的相应的资源类型/资源 编辑deployment,查看其中部署的容器 kubectl edit deploy -n namespace pod名前缀(不带hash) 注: 带hash的具体pod&…

如何让光猫4个网口都有网络

一般情况光猫只有LAN1口有网络,LAN2、LAN3和LAN4口都是预留给电视用的,那么如何让这3个网口也有网络呢? 使用场景: 光猫在弱电箱内,弱电箱中有三根网线(网线1、网线2和网线3)分别接入到了三个房…

IP地址与子网掩码

1 IP地址 1.1 IPv4与IPv6 1.2 IPv4地址详解 IPv4地址分4段,每段8位,共32位二进制数组成。 1.2.1 地址分类 这32位又被分为网络号和主机号两部分,根据网络号占用位数的不同,又可分为以下几类: A类地址:…

蓝桥杯(更新中)

递归与递推 递归 1.指数型枚举 解析:从 1 ∼ n 这 n 个整数中随机选取任意多个,输出所有可能的选择方案。 思路:枚举每一位对应的数字选与不选,例如:第一位对应的数字为1,有一种方案是选1,另…

解决报错——使用sqlite的扩展Spatialite

正文 笔者想使用sqlite3的扩展Spatiate 代码如下。 import sqlite3 conn sqlite3.connect(database.db) conn.enable_load_extension(True) conn.load_extension("mod_spatialite") 结果如下。 找不到指定模块。 笔者在网上到处搜索,终于解决了。&a…