Elasticsearch：将 ILM 管理的数据流迁移到数据流生命周期

news2024/9/27 21:22:00

警告：此功能处于技术预览阶段，可能会在未来版本中更改或删除。 Elastic 将努力解决任何问题，但技术预览版中的功能不受官方 GA 功能的支持 SLA 的约束。目前的最新版本为 8.12。

在本教程中，我们将了解如何将现有数据流（data stream）从索引生命周期管理 (ILM) 迁移到数据流生命周期。 现有的 ILM 管理的支持指数将继续由 ILM 管理，直到它们过期并被 ILM 删除； 但是，新的支持索引将由数据流生命周期管理。 这样，数据流逐渐从由 ILM 管理迁移到由数据流生命周期管理。 正如我们将看到的，ILM 和数据流生命周期可以共同管理数据流； 但是，一个索引一次只能由一个系统管理。

如果你对 ILM 还不是很清楚的话，请详细阅读文章 “Elasticsearch：Index 生命周期管理入门”。针对数据流生命周期，请详细阅读文章 "Data streams（一）（二）（三）"

长话短说

要将数据流从 ILM 迁移到数据流生命周期，我们必须执行两个步骤：

  • 更新支持数据流的索引模板，将 prefer_ilm 设置为 false，并配置数据流生命周期。
  • 使用生命周期 API 为现有数据流配置数据流生命周期。

设置 ILM 管理的数据流

首先，我们创建一个具有两个由 ILM 管理的支持索引的数据流。 我们首先创建 ILM 策略：

PUT _ilm/policy/pre-dsl-ilm-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "50gb"
          }
        }
      },
      "delete": {
        "min_age": "7d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

让我们创建一个索引模板来支持数据流并配置 ILM：

PUT _index_template/dsl-data-stream-template
{
  "index_patterns": ["dsl-data-stream*"],
  "data_stream": { },
  "priority": 500,
  "template": {
    "settings": {
      "index.lifecycle.name": "pre-dsl-ilm-policy"
    }
  }
}

现在，我们将索引一个以 dsl-data-stream 为目标的文档来创建数据流，并且我们还将手动翻转 (rollover) 数据流以创建另一代索引：

POST dsl-data-stream/_doc?
{
  "@timestamp": "2023-10-18T16:21:15.000Z",
  "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736"
}
POST dsl-data-stream/_rollover
{
  "acknowledged": true,
  "shards_acknowledged": true,
  "old_index": ".ds-dsl-data-stream-2024.03.21-000001",
  "new_index": ".ds-dsl-data-stream-2024.03.21-000002",
  "rolled_over": true,
  "dry_run": false,
  "conditions": {}
}

我们将使用 GET _data_stream API 来检查数据流的状态：

GET _data_stream/dsl-data-stream

检查响应，我们将看到两个后备索引（backing indices）均由 ILM 管理，并且下一个索引也将由 ILM 管理：

{
  "data_streams": [
    {
      "name": "dsl-data-stream",
      "timestamp_field": {
        "name": "@timestamp"
      },
      "indices": [
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000001", (1)   
          "index_uuid": "xCEhwsp8Tey0-FLNFYVwSg",
          "prefer_ilm": true,                                    (2)   
          "ilm_policy": "pre-dsl-ilm-policy",                    (3)   
          "managed_by": "Index Lifecycle Management"             (4)   
        },
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000002",
          "index_uuid": "PA_JquKGSiKcAKBA8DJ5gw",
          "prefer_ilm": true,
          "ilm_policy": "pre-dsl-ilm-policy",
          "managed_by": "Index Lifecycle Management"
        }
      ],
      "generation": 2,
      "status": "GREEN",
      "template": "dsl-data-stream-template",
      "next_generation_managed_by": "Index Lifecycle Management", (5)  
      "prefer_ilm": true,                                         (6)  
      "ilm_policy": "pre-dsl-ilm-policy",                         (7)  
      "hidden": false,
      "system": false,
      "allow_custom_routing": false,
      "replicated": false
    }
  ]
}
  1. 后备索引的名称。
  2. 对于每个后备索引，我们会显示 prefer_ilm 配置的值，该值将指示在两个系统都配置了索引的情况下，ILM 是否优先于数据流生命周期。
  3. 为此索引配置的 ILM 策略。
  4. 管理该索引的系统（可能的值为 “Index Lifecycle Management”、“Data stream lifecycle” 或 “Unmanaged”）
  5. 将管理下一个索引的系统（一旦数据流滚动，该数据流的新写入索引）。 可能的值为 “Index Lifecycle Management”、“Data stream lifecycle” 或 “Unmanaged”。
  6. 在支持数据流的索引模板中配置的 prefer_ilm 值。 该值将为所有新的后备索引配置。 如果未在索引模板中配置，则后备索引将接收 true 作为默认值（默认情况下，ILM 优先于数据流生命周期，因为它目前功能更丰富）。
  7. 在支持此数据流的索引模板中配置的 ILM 策略（将在所有新的后备索引上配置，只要它存在于索引模板中）。

将数据流迁移到数据流生命周期

要将 dsl-data-stream 迁移到数据流生命周期，我们必须执行两个步骤：

  • 更新支持数据流的索引模板，将 prefer_ilm 设置为 false，并配置数据流生命周期。
  • 使用 lifecycle API 为现有 dsl-data-stream 配置数据流生命周期。

重要：添加到索引模板中的数据流生命周期配置作为数据流配置，仅适用于新的数据流。 我们的数据流已经存在，因此即使我们在索引模板中添加了数据流生命周期配置，它也不会应用于 dsl-data-stream。

让我们更新索引模板：

PUT _index_template/dsl-data-stream-template
{
  "index_patterns": ["dsl-data-stream*"],
  "data_stream": { },
  "priority": 500,
  "template": {
    "settings": {
      "index.lifecycle.name": "pre-dsl-ilm-policy",
      "index.lifecycle.prefer_ilm": false                  (1)             
    },
    "lifecycle": {
      "data_retention": "7d"                               (2)
    }
  }
}
  • 现在将在新的后备索引（通过滚动数据流创建）上配置 prefer_ilm 设置，以便 ILM 不会优先于数据流生命周期。
  • 我们正在配置数据流生命周期，以便新数据流将由数据流生命周期管理。

我们现在已经确保新的数据流将由数据流生命周期进行管理。让我们更新现有的 dsl-data-stream 并配置数据流生命周期：

PUT _data_stream/dsl-data-stream/_lifecycle
{
    "data_retention": "7d"
}

我们可以检查数据流以检查下一代是否确实由数据流生命周期管理：

GET _data_stream/dsl-data-stream
{
  "data_streams": [
    {
      "name": "dsl-data-stream",
      "timestamp_field": {
        "name": "@timestamp"
      },
      "indices": [
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000001",
          "index_uuid": "xCEhwsp8Tey0-FLNFYVwSg",
          "prefer_ilm": true,
          "ilm_policy": "pre-dsl-ilm-policy",
          "managed_by": "Index Lifecycle Management"                      (1)              
        },
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000002",
          "index_uuid": "PA_JquKGSiKcAKBA8DJ5gw",
          "prefer_ilm": true,
          "ilm_policy": "pre-dsl-ilm-policy",
          "managed_by": "Index Lifecycle Management"                      (2)
        }
      ],
      "generation": 2,
      "status": "GREEN",
      "template": "dsl-data-stream-template",
      "lifecycle": {
        "enabled": true,
        "data_retention": "7d"
      },
      "ilm_policy": "pre-dsl-ilm-policy",
      "next_generation_managed_by": "Data stream lifecycle",             (3)         
      "prefer_ilm": false,                                           
      "hidden": false,                                                   (4)
      "system": false,
      "allow_custom_routing": false,
      "replicated": false
    }
  ]
}
  1. 现有支持索引将继续由 ILM 管理
  2. 现有支持索引将继续由 ILM 管理
  3. 下一代索引将由 Data stream lifecycle 管理
  4. 我们在索引模板中配置的 prefer_ilm 设置值将被反映，并将针对新的支持索引进行相应配置。

现在，我们将滚动数据流以查看由数据流生命周期管理的新一代索引：

POST dsl-data-stream/_rollover
GET _data_stream/dsl-data-stream
{
  "data_streams": [
    {
      "name": "dsl-data-stream",
      "timestamp_field": {
        "name": "@timestamp"
      },
      "indices": [
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000001",
          "index_uuid": "xCEhwsp8Tey0-FLNFYVwSg",
          "prefer_ilm": true,
          "ilm_policy": "pre-dsl-ilm-policy",
          "managed_by": "Index Lifecycle Management"                    (1)          
        },
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000002",
          "index_uuid": "PA_JquKGSiKcAKBA8DJ5gw",
          "prefer_ilm": true,
          "ilm_policy": "pre-dsl-ilm-policy",
          "managed_by": "Index Lifecycle Management"                    (2)              
        },
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000003",        
          "index_uuid": "PA_JquKGSiKcAKBA8abcd1",
          "prefer_ilm": false,                                          (3)
          "ilm_policy": "pre-dsl-ilm-policy",                           
          "managed_by": "Data stream lifecycle"                         (4)
        }
      ],
      "generation": 3,
      "status": "GREEN",
      "template": "dsl-data-stream-template",
      "lifecycle": {
        "enabled": true,
        "data_retention": "7d"
      },
      "ilm_policy": "pre-dsl-ilm-policy",
      "next_generation_managed_by": "Data stream lifecycle",
      "prefer_ilm": false,
      "hidden": false,
      "system": false,
      "allow_custom_routing": false,
      "replicated": false
    }
  ]
}
  1. 翻转（rollover）前存在的后备索引将继续由 ILM 管理
  2. 翻转前存在的后备索引将继续由 ILM 管理
  3. 正如我们在索引模板中配置的那样，新的写入索引收到的 prefer_ilm 设置为 false
  4. 新的写入索引由 Data stream lifecycle 管理

将数据流迁移回 ILM

我们可以轻松地将此数据流更改为由 ILM 管理，因为我们在上面更新索引模板时没有删除 ILM 策略。

我们可以通过两种方式实现这一目标：

  1. 从数据流中删除生命周期
  2. 通过将 enabled 标志配置为 false 来禁用数据流生命周期

让我们实现选项 2 并禁用数据流生命周期：

PUT _data_stream/dsl-data-stream/_lifecycle
{
    "data_retention": "7d",
    "enabled": false                            (1)
}

enabled 标志可以省略，默认为 true，但是这里我们显式地将其配置为 false 让我们检查数据流的状态：

GET _data_stream/dsl-data-stream
{
  "data_streams": [
    {
      "name": "dsl-data-stream",
      "timestamp_field": {
        "name": "@timestamp"
      },
      "indices": [
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000001",
          "index_uuid": "xCEhwsp8Tey0-FLNFYVwSg",
          "prefer_ilm": true,
          "ilm_policy": "pre-dsl-ilm-policy",
          "managed_by": "Index Lifecycle Management"
        },
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000002",
          "index_uuid": "PA_JquKGSiKcAKBA8DJ5gw",
          "prefer_ilm": true,
          "ilm_policy": "pre-dsl-ilm-policy",
          "managed_by": "Index Lifecycle Management"
        },
        {
          "index_name": ".ds-dsl-data-stream-2023.10.19-000003",
          "index_uuid": "PA_JquKGSiKcAKBA8abcd1",
          "prefer_ilm": false,
          "ilm_policy": "pre-dsl-ilm-policy",
          "managed_by": "Index Lifecycle Management"                
        }
      ],
      "generation": 3,
      "status": "GREEN",
      "template": "dsl-data-stream-template",
      "lifecycle": {
        "enabled": false,                                          
        "data_retention": "7d"
      },
      "ilm_policy": "pre-dsl-ilm-policy",
      "next_generation_managed_by": "Index Lifecycle Management",  
      "prefer_ilm": false,
      "hidden": false,
      "system": false,
      "allow_custom_routing": false,
      "replicated": false
    }
  ]
}
  1. 写入索引现在由 ILM 管理
  2. 在数据流上配置的 lifecycle 现已禁用。
  3. 下一次写入索引将由 ILM 管理

如果我们在更新索引模板时从索引模板中删除了 ILM 策略，则数据流的写入索引现在将处于 Unmanged 状态，因为该索引不会将 ILM 策略配置为回退到之前的状态。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1541472.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Linux 进程概念】

【Linux 进程概念】

【Linux 进程概念】 冯诺依曼体系结构冯诺依曼结构简要解释：你用QQ和朋友聊天时数据的流动过程 操作系统(OperatorSystem)概念设计OS的目的定位操作系统的上下层都分别是什么如何理解“管理"总结 进程基本概念描述进程-PCBtask_ struct内容 组织进程查看进程通…
阅读更多...
JS精度计算的几种解决方法，1、转换成整数计算后再转换成小数，2、toFixed，3、math.js，4、bignumber.js，5、big.js

JS精度计算的几种解决方法，1、转换成整数计算后再转换成小数，2、toFixed，3、math.js，4、bignumber.js，5、big.js

提示：学习express，搭建管理系统 文章目录 前言一、转换成整数计算后再转换成小数二、toFixed三、math.js四、bignumber.js五、big.js总结 前言 原始计算 let aNum 6.6 0.3;let bNum 6.6 - 0.2;let cNum 6.6 * 0.3;let dNum 6.6 / 0.2;console.log(…
阅读更多...
Web框架开发-Ajax

Web框架开发-Ajax

一、 Ajax准备知识：json 1、json(Javascript Obiect Notation,JS对象标记)是一种轻量级的数据交换格式 1 2 它基于 ECMAScript (w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。 简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。…
阅读更多...
手撕算法-删除有序数组中的重复项 II

手撕算法-删除有序数组中的重复项 II

描述 例如：输入：nums [1,1,1,2,2,3]输出：5, nums [1,1,2,2,3]解释：函数应返回新长度 length 5, 并且原数组的前五个元素被修改为 1, 1, 2, 2, 3。 不需要考虑数组中超出新长度后面的元素。 分析 双指针, fast, slow。nums[…
阅读更多...
Redis高阶使用消息队列分布式锁排行榜等

Redis高阶使用消息队列分布式锁排行榜等

一、前言 在大多数传统的web系统中，使用Redis一般都是作为缓存使用，在大数据查询时作为缓解性能的一种解决方案。博主的的系统中使用Redis也主要使用到缓存的作用，还有做了注册中心，分布式事务。其他的强大的功能，没有…
阅读更多...
【微服务】以模块化单体架构开发微服务应用

【微服务】以模块化单体架构开发微服务应用

目录 推荐超级课程： Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战我们知道，起初，单体应用有显著的优势：它们更容易开发和部署。从开发人员的角度来看，这种简单性是有益的。一切都是集中的，可以快速更新任何部分的业务逻辑并立即看到结果。这种开…
阅读更多...
2024046期传足14场胜负前瞻

2024046期传足14场胜负前瞻

2024046期售止时间为3月26日（周二）19点30分，敬请留意： 本期深盘多，1.5以下赔率5场，1.5-2.0赔率4场，其他场次是平半盘、平盘。本期14场整体难度不大。以下为基础盘前瞻，大家可根据自身…
阅读更多...
CSS3实现的分享图标按钮动画特效代码

CSS3实现的分享图标按钮动画特效代码

CSS3分享图标按钮动画特效代码是一款社会分享图标动画特效，鼠标移上去会有一个胶囊闪动的效果。源码由HTMLCSSJS组成，适合绝大部分web网站，可以把它做成一个组件添加到网站的文章页下面，给网站添加一个文章分享功能，也…
阅读更多...
私有化视频会议的重要性与优势，WorkPlus Meet助您安全高效沟通

私有化视频会议的重要性与优势，WorkPlus Meet助您安全高效沟通

高效的视频会议是推动沟通与协作的重要手段。而选择私有化视频会议平台，保障企业信息安全和会议效果则显得尤为重要。WorkPlus Meet以其卓越的性能和全面的功能，助力企业实现私有化视频会议，提升沟通效果与协作效率。 私有化视频会议的重要性…
阅读更多...
关于Java发邮件提醒写周报实现（一）环境搭建

关于Java发邮件提醒写周报实现（一）环境搭建

背景 由于公司每周都要写周报，而日常工作很忙，所以很容易忘记这件事件，因此开发一个写周报提醒的机器人，进行特定时间提醒是时候写周报了。 有一个大前提，本技术实现，本着不开通任何收费服务的态度去考察使…
阅读更多...
Jackson 2.x 系列【2】生成器 JsonGenerator

Jackson 2.x 系列【2】生成器 JsonGenerator

有道无术，术尚可求，有术无道，止于术。 本系列Jackson 版本 2.17.0 源码地址：https://gitee.com/pearl-organization/study-seata-demo 文章目录 1. 前言2. 案例演示2.1 创建 JsonFactory2.2 创建 JsonGenerator2.3 写入操作2.4 查…
阅读更多...
亚马逊跨境电商为什么要多备几个店铺？多店铺运营技巧

亚马逊跨境电商为什么要多备几个店铺？多店铺运营技巧

在亚马逊，链接断货超过15天的话就会降权，之后想要把权重升回来是要下不少功夫的，如果这时候有一个备用店铺的话，就可以跟卖自己大号的链接，先保持出单，把权重稳住那么多店铺就需要多个信用卡进行扣店铺租金…
阅读更多...
小车倒立摆系统极点配置，LQR闭环控制

小车倒立摆系统极点配置，LQR闭环控制

在之前直流电机控制仿真里有讲过状态控制的基本架构，有兴趣的同学可以再回去看看，链接如下好玩的直流电机调速实验、PID、极点配置、LQR、观测器；不讲大道理_lqr控制器观测器-CSDN博客 在专栏的前三篇文章 小车倒立摆物理建模与simulink仿真…
阅读更多...
【Nebula笔记】简介及安装

【Nebula笔记】简介及安装

目录 一、简介 (一) 什么是图数据库 二、安装 (一) 原生安装 (二) Docker & Docker compose 1. Docker安装 Linux Window 2. 部署NebulaGraph (三) to MAC 三、Nebula Graph Studio (一) 版本兼容性 (二) 原生安装 (三) Docker compose (四) 连接Nebula Gra…
阅读更多...
Git——IDEA中的使用详解

Git——IDEA中的使用详解

目录 Git1、IDEA中配置Git2、将本地项目推送到远程仓库2.1、创建项目远程仓库2.2、初始化本地仓库2.3、连接远程仓库2.4、提交到本地仓库2.5、推送到远程仓库 3、克隆远程仓库到本地4、基本操作4.1、代码提交到暂存区4.2、暂存区代码提交到本地库4.3、推送到远程仓库4.4、撤销本…
阅读更多...
主干网络篇 | YOLOv8改进之在主干网络中引入密集连接卷积网络DenseNet

主干网络篇 | YOLOv8改进之在主干网络中引入密集连接卷积网络DenseNet

前言：Hello大家好，我是小哥谈。DenseNet（密集连接卷积网络）是一种深度学习神经网络架构，它在2017年由Gao Huang等人提出。DenseNet的核心思想是通过密集连接（dense connection）来促进信息的流动和共享。在传统的卷积神经网络中，每个层的输入只来自于前一层的输出。而在…
阅读更多...
【CDA二级数据分析备考思维导图】

【CDA二级数据分析备考思维导图】

CDA二级数据分析备考思维导图 CDA二级复习备考资料共计七个章节，如需资料，请留言，概览如下图：一、数据采集与处理1.数据采集方法2.市场调研和数据录入3、数据探索与可视化4、数据预处理方法 总结：以上为自己学习数据分…
阅读更多...
MySQL临时表：临时存储数据的灵活利器

MySQL临时表：临时存储数据的灵活利器

MySQL临时表：临时存储数据的灵活利器 MySQL临时表是处理数据时非常有用的工具，它提供了临时存储数据的能力，使得复杂查询、排序、聚合以及数据筛选变得更加高效和简单。在本文中，我们将深入探讨MySQL临时表的概念以及何时需要使用…
阅读更多...
VBA即用型代码手册：保护公式单元格和删除所有空白工作表的代码

VBA即用型代码手册：保护公式单元格和删除所有空白工作表的代码

我给VBA下的定义：VBA是个人小型自动化处理的有效工具。可以大大提高自己的劳动效率，而且可以提高数据的准确性。我这里专注VBA,将我多年的经验汇集在VBA系列九套教程中。 作为我的学员要利用我的积木编程思想，积木编程最重要的是积木如何搭建…
阅读更多...
25.6 MySQL 子查询

25.6 MySQL 子查询

1. 子查询 子查询(Subquery): 是SQL查询语句中的一个重要概念, 它允许在一个查询语句(主查询)中嵌套另一个查询语句(子查询). 这意味着一个查询可以作为另一个查询的输入或条件, 子查询可以出现在SQL语句的多个位置, 例如SELECT, FROM, WHERE等子句中.子查询通常用于以下几种情…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023