Elasticsearch 滚动索引(Rollover Index)详解

news2025/3/18 10:54:07

文章目录

  • 1、滚动索引的作用
  • 2、滚动索引的用法
    • 2.1 核心概念
    • 2.2 实现步骤
  • 3、适用场景
  • 4、与其他技术的结合使用
  • 5、案例:日志数据的滚动索引
    • 5.1 场景描述
    • 5.2 实现步骤
  • 6、示例:结合索引生命周期管理(ILM)
    • 6.1 场景描述
    • 6.2 实现步骤
  • 7、总结

滚动索引(Rollover Index)是 Elasticsearch 中用于管理时间序列数据或日志数据的一种机制。它允许在索引达到一定条件(如文档数量、时间或大小)时自动创建新索引,从而避免单个索引过大,提高查询性能和管理效率。本文将详细介绍滚动索引的作用、用法、适用场景以及与其他技术的结合使用,并通过示例代码帮助理解。


1、滚动索引的作用

滚动索引的主要作用包括:

  • 自动管理索引生命周期:根据预设条件(如时间、文档数量、索引大小)自动创建新索引。
  • 优化查询性能:避免单个索引过大,提高查询效率。
  • 简化数据管理:通过别名(Alias)统一访问多个索引,简化数据管理。
  • 支持时间序列数据:适用于日志、监控数据等时间序列数据的存储和查询。

2、滚动索引的用法

2.1 核心概念

  • 别名(Alias):一个指向一个或多个索引的逻辑名称,用于统一访问。
  • 滚动条件:触发创建新索引的条件,如文档数量、索引大小或时间。
  • 写索引:当前正在写入的索引,通常通过别名指向。

2.2 实现步骤

  1. 创建初始索引:创建一个初始索引,并为其设置别名。
  2. 设置滚动条件:定义触发滚动的条件(如文档数量、索引大小或时间)。
  3. 执行滚动操作:当条件满足时,自动创建新索引并将别名指向新索引。

3、适用场景

滚动索引适用于以下场景:

  • 日志数据:每天或每小时生成大量日志数据,需要按时间滚动索引。
  • 监控数据:实时监控系统生成的时间序列数据,需要按大小或文档数量滚动索引。
  • 时间序列数据:任何按时间顺序生成的数据,如传感器数据、交易记录等。

4、与其他技术的结合使用

滚动索引通常与以下技术结合使用:

  • 索引生命周期管理(ILM):自动管理索引的生命周期,包括滚动、删除、归档等操作。
  • 别名(Alias):通过别名统一访问多个索引,简化数据管理。
  • 时间序列数据模型:适用于按时间顺序生成的数据。

5、案例:日志数据的滚动索引

5.1 场景描述

假设我们有一个日志系统,每天生成大量日志数据。我们希望每天自动创建一个新索引,并在索引达到 1000 个文档或 1GB 大小时滚动到新索引。

5.2 实现步骤

步骤 1:创建初始索引

首先创建一个初始索引,并为其设置别名 logs_write

PUT /logs-000001
{
  "aliases": {
    "logs_write": {}
  }
}

步骤 2:设置滚动条件
定义滚动条件(如文档数量达到 1000 或索引大小达到 1GB):

POST /logs_write/_rollover
{
  "conditions": {
    "max_docs": 1000,
    "max_size": "1gb"
  }
}

步骤 3:插入文档
向别名 logs_write 插入文档:

POST /logs_write/_doc
{
  "message": "This is a log entry",
  "timestamp": "2023-10-01T00:00:00Z"
}

步骤 4:滚动索引
当条件满足时,执行滚动操作,创建新索引并将别名指向新索引:

POST /logs_write/_rollover
{
  "conditions": {
    "max_docs": 1000,
    "max_size": "1gb"
  }
}

步骤 5:查询数据
通过别名 logs_write 查询数据:

GET /logs_write/_search
{
  "query": {
    "match_all": {}
  }
}

6、示例:结合索引生命周期管理(ILM)

6.1 场景描述

假设我们希望自动管理日志索引的生命周期,包括滚动、删除和归档操作。

6.2 实现步骤

步骤 1:创建生命周期策略
创建一个生命周期策略,定义滚动、删除和归档操作:

PUT _ilm/policy/logs_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "1gb",
            "max_docs": 1000
          }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

步骤 2:创建初始索引
创建一个初始索引,并应用生命周期策略:

PUT /logs-000001
{
  "settings": {
    "index.lifecycle.name": "logs_policy",
    "index.lifecycle.rollover_alias": "logs_write"
  },
  "aliases": {
    "logs_write": {}
  }
}

步骤 3:插入文档
向别名 logs_write 插入文档:

POST /logs_write/_doc
{
  "message": "This is a log entry",
  "timestamp": "2023-10-01T00:00:00Z"
}

步骤 4:自动滚动
当条件满足时,ILM 会自动执行滚动操作,创建新索引并将别名指向新索引。

7、总结

滚动索引是 Elasticsearch 中管理时间序列数据的重要机制。通过自动创建新索引,滚动索引可以优化查询性能、简化数据管理,并支持时间序列数据的存储和查询。结合索引生命周期管理(ILM)和别名(Alias),滚动索引能够实现更强大的数据管理功能,适用于日志、监控数据等场景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2317173.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

学习笔记:黑马程序员JavaWeb开发教程(2025.3.17)

11.5 案例-文件上传-阿里云OSS-入门 出现报错:Process exited with an error: 1 (Exit value: 1),点击exec那一行,出现错误原因:Command execution failed. 在CSDN上找到了解决方法: 之后出现新的报错&…

仿最美博客POETIZE(简易版)

写在前面 本文章参考于两个开源项目分别为:POETIZE-最美博客,拾壹博客 如有侵权,请联系删除 正题 此页面为拾壹博客修改而成,采用了POETIZE的布局以及背景图片,技术栈:SpringbootVue,主要涉及页面为网站…

STM32——独立看门狗(IWDG)

IWDG 简介 独立看门狗本质上是一个 定时器 ,这个定时器有一个输出端,可以输出复位信号。该定时器是一个 12 位的递减计数器 ,当计数器的值减到 0 的时候,就会产生一个复位信号。如果 在计 数没减到 0 之前,重置计…

C++11智能指针简述

一、实现原理 在智能指针对象中有一个裸指针,此指针存储的是动态创建对象的地址,用于生存期控制,能够确保智能指针对象离开所在作用域时,自动正确地销毁动态创建的对象,防止内存泄漏。 使用裸指针存在的问题&#xff…

Linux操作系统实验报告单(3)文本编辑器vi/vim

一、实验目的 掌握vi/vim编辑器的进入和退出方式了解vi/vim的三种模式熟练vi/vim的操作命令 二、实验内容 1.在家目录下新建一个名为“vitest_name”(“name”为学生姓名拼音)的目录。 ●创建用户目录命令:sudo mkdir /home/vitest_lw3613 …

Centos固定IP配置

虚拟机安装 安装vmware 网盘链接 安装centos7.5 网盘链接 安装教程自行查找 固定IP配置 对安装好的VMware进行网络配置,方便虚拟机连接网络,本次设置建议选择NAT模式,需要宿主机的Windows和虚拟机的Linux能够进行网络连接,…

二叉树算法题实战:从遍历到子树判断

目录 一、引言 二、判断两棵二叉树是否相同 思路 代码实现 注意点 三、二叉树的中序遍历 思路 代码实现 注意点 四、判断一棵树是否为另一棵树的子树 思路 代码实现 注意点 ​编辑 五、补充 一、引言 作者主页:共享家9527-CSDN博客 作者代码仓库&am…

学习threejs,使用MeshFaceMaterial面材质容器

👨‍⚕️ 主页: gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏:threejs gis工程师 文章目录 一、🍀前言1.1 ☘️THREE.MeshFaceMaterial 二…

Git 实战指南:本地客户端连接 Gitee 全流程

本文将以 Gitee(码云)、系统Windows 11 为例,详细介绍从本地仓库初始化到远程协作的全流程操作 目录 1. 前期准备1.1 注册与配置 Gitee1.2 下载、安装、配置客户端1.3 配置公钥到 Gitee2. 本地仓库操作(PowerShell/Git Bash)2.1 初始化本地仓库2.2 关联 Gitee 远程仓库3. …

Spring Cloud 中的服务注册与发现: Eureka详解

1. 背景 1.1 问题描述 我们如果通过 RestTamplate 进行远程调用时,URL 是写死的,例如: String url "http://127.0.0.1:9090/product/" orderInfo.getProductId(); 当机器更换或者新增机器时,这个 URL 就需要相应地变…

通过 SVG 使用 AI 生成理想图片:技术实现与实践指南

文章目录 1. SVG 与 AI 的结合:技术价值2. 技术原理:AI 如何生成 SVG?3. 实现步骤:从需求到图形3.1 定义需求3.2 使用 AI 生成 SVG3.3 验证与调整 4. 代码解析:实现科技感的关键4.1 渐变背景4.2 网格线条4.3 发光六边形…

【AI学习从零至壹】Pytorch神经⽹络

Pytorch神经⽹络 神经网络简介神经元激活函数 神经网络神经⽹络的⼯作过程前向传播(forward) 反向传播(backward)训练神经⽹络 Pytorch搭建并训练神经⽹络神经⽹络构建和训练过程数据预处理构建模型优化器&提取训练数据训练样本 神经网络简介 神经元 在深度学习中&#x…

设计模式-对象创建

对象创建 前言1. Factory Method1.1 模式介绍1.2 模式代码1.2.1 问题代码1.2.2 重构代码 1.3 模式类图1.4 要点总结 2. Abstract Factory2.1 模式介绍2.2 模式代码2.2.1 问题代码2.2.2 重构代码 2.3 模式类图2.4 要点总结 3. Prototype3.1 模式介绍3.2 模式代码3.3 模式类图3.4…

【AVRCP】Notification PDUs 深入解析与应用

目录 一、Notification PDUs 概述 二、GetPlayStatus:同步查询播放状态 2.1 命令功能与应用场景 2.2 请求格式(CT → TG) 2.3 响应格式(TG → CT) 2.4 注意事项 2.5 协议实现示例(伪代码) 三、RegisterNotification:异步事件订阅 3.1 命令概述 3.2 命令格式 …

MATLAB 控制系统设计与仿真 - 27

状态空间的标准型 传递函数和状态空间可以相互转换,接下来会举例如何有传递函数转成状态空间标准型。 对角标准型 当 G(s)可以写成: 即: 根据上图可知: 约当标准型 当 G(s)可以写成: 即: 根据上图…

linux 命令 cp

cp 是 Linux 中用于复制文件和目录的命令,基本功能是将源文件或目录复制到目标位置 基本语法 cp [选项] 源文件 目标文件 cp [选项] 源文件1 源文件2 ... 目标目录 常用选项 选项说明-i交互模式(覆盖前询问确认)-r 或 -R递归复制目录&#…

蓝桥杯高频考点——进制转换

进制转换 二进制转十进制代码演示 十六进制转十进制代码演示 十进制转K进制代码演示 任意进制之间的转换代码演示 二进制转十进制 代码演示 // 定义函数 calc,用于将字符转换为对应的数值 int calc(char c) {// 若字符 c 大于等于 9(注:此处…

【算法百题】专题七_分治快排_专题八_分治归并

文章目录 前言分治快排题:043. [颜⾊分类(medium)](https://leetcode.cn/problems/sort-colors/description/)分析 044. [快速排序(medium)](https://leetcode.cn/problems/sort-an-array/description/)分析 045. [快速…

使用OBS进行webRTC推流参考

参考腾讯云官方文档: 云直播 OBS WebRTC 推流_腾讯云 说明非常详细,分为通过WHIP和OBS插件的形式进行推流。 注意:通过OBS插件的形式进行推流需要使用较低的版本,文档里有说明,需要仔细阅读。

(链表)面试题 02.07. 链表相交

给你两个单链表的头节点 headA 和 headB ,请你找出并返回两个单链表相交的起始节点。如果两个链表没有交点,返回 null 。 图示两个链表在节点 c1 开始相交: 题目数据 保证 整个链式结构中不存在环。 注意,函数返回结果后&#xff…