Elasticsearch 索引生命周期和翻滚 (rollover) 策略

news2024/11/24 18:59:08

Elasticsearch 是搜索引擎中的摇滚明星,它的蓬勃发展在于使你的数据井井有条且速度快如闪电。 但当你的数据成为一场摇滚音乐会时,管理其生命周期就变得至关重要。 正确使用索引生命周期管理 (ILM) 和 rollover 策略,你的后台工作人员可确保顺利执行。

第一阶段:索引的诞生

将你的数据视为大量旋转的文档。 为了组织它们,你需要创建一个 “索引 (index)”,一个特殊的容器,就像乐队的音乐会舞台一样。 这是热 (hot) 阶段,你的索引会收到最新更新并在搜索聚光灯下闪闪发光。

第二阶段:成长与改变

随着音乐的响起和数据的流动,你的索引会增加。 它的大小会增加,搜索性能可能会下降,并且管理会变得混乱。 这就是 rollover 策略发挥作用的地方,就像巡演搭建新舞台一样。

Rollover 来救援!

将 rollover 视为当旧舞台变得拥挤时将乐队的表演复制到新舞台。 rollover 策略定义了触发创建新索引的条件,从而无缝地从旧索引传输文档。 这使你的搜索保持活跃并且数据易于管理。

翻转触发器:size 很重要(甚至更重要!)

展期政策可能由多种因素触发,但影响最大的是:

  1. 最大索引大小:当你的索引达到预定义大小(例如 50GB)时,就该进入新阶段了。 这可以防止性能问题并使数据保持井井有条。
  2. 最大索引年龄:即使你的索引不大,一段时间后它也可能会积灰。 设置最长期限(例如 30 天)可确保旧数据被存档或删除,就像存储旧的设置列表一样。
  3. 文档数量:如果你的索引达到一定数量的文档,则需要重新开始,例如新的歌曲列表。
  4. 索引运行状况:如果索引的运行状况指标(例如分片分配)表明存在问题,则翻转可以成为一种诊断工具,例如检查扬声器系统。
  5. 自定义条件:你可以根据特定的数据模式或事件编写自己的条件,例如根据数据中的关键字触发新阶段。

第三阶段:新一代崛起

一旦触发,滚动操作就会开始。将创建一个新索引,并根据你的策略规则进行命名(例如,使用时间戳或序列号),就像为新阶段指定一个唯一的名称一样。 新文档开始无缝转移到新文档,确保连续性并防止数据丢失,例如歌曲之间的完美转换。

第四阶段:管理世代

现在有了多个索引,ILM 可以帮助管理它们的生命周期。 你可以定义不同阶段的操作:

ILM 定义了五个索引生命周期阶段:

  • Hot:索引正在积极更新和查询。
  • Warm:索引不再更新,但仍在查询。 此阶段仍然针对搜索而不是存储进行优化。
  • Cold:索引不再更新,查询也很少。 信息仍然需要可搜索,但如果这些查询速度较慢也没关系。 此阶段针对存储而不是搜索进行了优化。
  • Frozen:索引不再更新,也很少查询。 信息仍然需要可搜索,但如果这些查询非常慢也没关系。 此阶段针对长期存储进行了优化。
  • Delete:索引不再需要,可以安全地删除。

健康翻滚的好处:

  • 改进的搜索性能:较小、较新的索引搜索速度更快,就像组织良好的集合列表一样。
  • 减少集群负载:跨多个索引分布数据可以减轻集群的压力,就像有多个阶段来共享人群一样。
  • 高效的存储管理:归档或删除旧数据可以释放宝贵的磁盘空间,例如整理设备存储。
  • 更轻松的数据管理:有组织的索引使你可以更轻松地查找、分析和管理数据,就像为你的仪器添加标签库存一样。

专家提示:

  • 从简单的策略开始,然后根据需要逐渐增加复杂性。
  • 在将策略部署到生产环境之前,先在开发环境中测试你的策略。 :D :D

结论:

通过实施轮转策略和 ILM,你可以确保你的 Elasticsearch 集群在不断增长的数据负载下蓬勃发展。 请记住,健康的索引生命周期就像一场管理良好的音乐会 —— 组织有序、高效,并且随时准备好迎接旅程中的下一首歌曲(或数据更新)。

更多关于生命周期管理的文章,请详细阅读文章 “Elastic:开发者上手指南” 中的 “生命周期管理(ILM)” 章节。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1321569.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【JVM从入门到实战】(八)垃圾回收(1)

内存泄漏:指的是不再使用的对象在系统中未被回收,内存泄漏的积累可能会导致内存溢出 什么是垃圾回收 Java中为了简化对象的释放,引入了自动的垃圾回收(Garbage Collection简称GC)机制。通过垃 圾回收器来对不再使用的…

20231218在微软官网下载WINDOWS10以及通过rufus-4.3p写入U盘作为安装盘

20231218在微软官网下载WINDOWS10以及通过rufus-4.3p写入U盘作为安装盘 2023/12/18 17:06 百度搜索:下载 windows10 https://www.microsoft.com/zh-cn/software-download/windows10 下载 Windows 10 更新之前,请参阅 Windows 版本信息状态中的已知问题&a…

STM32 CAN多节点组网项目实操 挖坑与填坑记录2

系列文章,持续探索CAN多节点通讯, 上一篇文章链接: STM32 CAN多节点组网项目实操 挖坑与填坑记录-CSDN博客文章浏览阅读120次。CAN线性组网项目开发过程中遇到的数据丢包问题,并尝试解决的记录和推测分析。开发了一个多节点线性…

【可用性】Redis作为注册中心配合Spring Task的高可用案例

需求: 假设当前有一个短信服务是多节点集群部署,我们希望每个服务节点在启动时能将服务信息"注册"到redis缓存中,所有服务节点每隔3分钟上报一次,表示当前服务可用。每个服务还会作为哨兵节点每隔10分钟查询一次redis&a…

I.MX6ULL_Linux_驱动篇(47)linux RTC驱动

RTC 也就是实时时钟,用于记录当前系统时间,对于 Linux 系统而言时间是非常重要的,就和我们使用 Windows 电脑或手机查看时间一样,我们在使用 Linux 设备的时候也需要查看时间。本章我们就来学习一下如何编写 Linux 下的 RTC 驱动程…

小程序自定义轮播图样式

小程序自定义轮播图样式以下是各案例&#xff0c;仅供大家参考。 效果展示&#xff1a; index.wxml代码&#xff1a; <view><!-- 轮播 --><view><swiper indicator-dots"{{indicatorDots}}"autoplay"{{autoplay}}" interval"{{…

易点易动:实现固定资产账实一致和一站式管理的财务系统打通

在当今竞争激烈的商业环境中&#xff0c;企业需要高效管理其固定资产&#xff0c;确保资产账实一致&#xff0c;并实现一站式管理。易点易动是一种集成的财务系统&#xff0c;它通过打通各个环节&#xff0c;提供了一种便捷的方式来管理固定资产。本文将探讨易点易动系统的优势…

基于ssm大学学生成长系统论文

摘 要 随着互联网技术的发展&#xff0c;各类网站应运而生&#xff0c;网站具有新颖、展现全面的特点。因此&#xff0c;为了满足阜阳师范大学学生成长管理的需求&#xff0c;特开发了本阜阳师范大学学生成长系统。 本阜阳师范大学学生成长系统采用Java技术&#xff0c;基于SS…

Axure之中继器的使用(交互动作reperter属性Item属性)

目录 一.中继器的基本使用 二.中继器的动作&#xff08;增删改查&#xff09; 2.1 新增 2.2 删除 2.3 更新行 2.4 效果展示 2.5 模糊查询 三.reperter属性 在Axure中&#xff0c;中继器&#xff08;Repeater&#xff09;是一种功能强大的组件&#xff0c;用于创建重复…

AttributeError: module ‘jax‘ has no attribute ‘Array‘解决方案

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

鸿蒙(HarmonyOS)项目方舟框架(ArkUI)更改应用名称

鸿蒙&#xff08;HarmonyOS&#xff09;项目方舟框架&#xff08;ArkUI&#xff09;更改应用名称 一、操作环境 操作系统: Windows 10 专业版 IDE:DevEco Studio 3.1 SDK:HarmonyOS 3.1 二、更改应用名称(HAP) 更改位置如下&#xff1a;entry->src->main->modul…

C++ 字符串输入cin、cin.get()、cin.getlin()

程序string.cpp有一个缺陷&#xff0c;这种缺陷通过精心选择输入被掩盖掉了。 如下示例码&#xff1a; // Len_char.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。 //#include <iostream> using namespace std;#define SIZE 20 int main() {c…

水利部提前下达补助资金,推进小型水库除险加固!

为加快推进小型水库除险加固前期工作&#xff0c;水利部协调财政部提前下达了2023年度中央补助资金&#xff0c;对小型水库实施除险加固。加快构建气象卫星和测雨雷达、雨量站、水文站组成的雨情、水情监测防线&#xff0c;大力推进数字孪生水利建设&#xff0c;提升流域防洪数…

云端开炉,线上训练,Bert-vits2-v2.2云端线上训练和推理实践(基于GoogleColab)

假如我们一定要说深度学习入门会有一定的门槛&#xff0c;那么设备成本是一个无法避开的话题。深度学习模型通常需要大量的计算资源来进行训练和推理。较大规模的深度学习模型和复杂的数据集需要更高的计算能力才能进行有效的训练。因此&#xff0c;训练深度学习模型可能需要使…

基于ssm个性化美食推荐系统论文

摘 要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存储&#xff0c;归纳&#xff0c;集中处理数据信息的管理方式。本个性化美食推荐系统就是在这样的大环境下诞生&#xff0c;其可以帮助管理者在短时间内处理完毕庞大的数据信…

【高项】五组十域 案例分析

五组 启动-规划-执行-监控-收尾 &#xff08;启规执监守&#xff09; 十域 范-范围 进-进度 戏-干系人 狗-沟通 子&#xff08;zhi&#xff09;-质量 成-成本 才-采购 整-整合-整体 风-风险 资-资源 案例分析解题思路 定位/分析题型/套用子过程 定位 先看问题&…

C++设计模式之——命令模式

命令模式 概念创建步骤示例示例一代码实现运行结果 示例二代码实现运行结果 示例三示例代码运行结果 示例四代码实现运行结果 应用场景 概念 命令模式是一种行为型设计模式&#xff0c;它允许将请求封装为一个对象&#xff0c;从而使得可以参数化客户端请求、将请求排队或者记…

【数据结构】八大排序之简单选择排序算法

&#x1f984;个人主页:修修修也 &#x1f38f;所属专栏:数据结构 ⚙️操作环境:Visual Studio 2022 目录 一.简单选择排序简介及思路 二.简单选择排序的代码实现 三.简单选择排序的优化 四.简单选择排序的时间复杂度分析 结语 一.简单选择排序简介及思路 简单选择排序算法…

k8s集群内部署nexus

一、前言 在k8s集群中部署nexus服务需要使用到pv、pvc服务来存储nexus的数据&#xff0c;需要使用service服务来提供对外访问nexus服务的端口&#xff0c;需要使用deployment服务来管理nexus服务&#xff0c;接下来就是用这些服务来在k8s集群中搭建nexus&#xff0c;pv服务使用…

C#中HttpWebRequest的用法

前言 HttpWebRequest是一个常用的类&#xff0c;用于发送和接收HTTP请求。在C#中使用HttpWebRequest可以实现各种功能&#xff0c;包括发送GET和POST请求、处理Cookie、设置请求头、添加参数等。本文将深入介绍HttpWebRequest的用法&#xff0c;并给出一些常见的示例。 目录 前…