Elasticsearch：是时候离开了！ - 在 Elasticsearch 文档上使用 TTL

news2024/11/17 4:27:17

作者：来自 Elastic David Pilato

想象一下，圣诞老人必须向世界上所有的孩子们分发礼物。 他有很多工作要做，他需要保持高效。 他有一份所有孩子的名单，并且知道他们住在哪里。 他很可能会将礼物按区域分组，然后再交付。 但他不会在同一个地方停留太久。 他会丢下礼物然后离开。 他不会等待孩子们打开礼物。 他就会离开。

也许我们可以建议他列出一份他仍然需要访问的城市的清单。 一旦他送出了礼物，他就可以将这些城市从名单中删除。 这样，他就会知道自己还要去哪里。 而且他也不会浪费时间回到同一个地方。

为此，他只需使用他必须访问的城市的 TTL（time to live - 生存时间）即可。 他只需将 TTL 设置为他需要递送礼物的时间即可。 一旦 TTL 过期，他就会从列表中删除这些城市。

他的旅程可能是这样的：

{ "city": "Sidney", "deliver": "ASAP", "ttl": 0 }
{ "city": "Singapore", "deliver": "1 minute", "ttl": 1 }
{ "city": "Vilnius", "deliver": "3 minutes", "ttl": 3 }
{ "city": "Paris", "deliver": "5 minutes", "ttl": 5 }
{ "city": "London", "deliver": "6 minutes", "ttl": 6 }
{ "city": "Montréal", "deliver": "7 minutes", "ttl": 7 }
{ "city": "San Francisco", "deliver": "9 minutes", "ttl": 9 }
{ "city": "North Pole", "deliver": "forever" }

ttl 包含我们的 TTL 值（以分钟为单位）：

  • 没有值意味着该文档将永远保留
  • 零意味着我们要尽快删除该文档
  • 任何正值都对应于删除文档之前需要等待的分钟数

ttl 摄取管道

要实现这样的功能，你只需要一个摄取管道：

PUT /_ingest/pipeline/ttl
{
  "processors": [
    {
      "set": {
        "field": "ingest_date",
        "value": "{{{_ingest.timestamp}}}"
      }
    },
    {
      "script": {
        "lang": "painless",
        "source": """
          ctx['ttl_date'] = ZonedDateTime.parse(ctx['ingest_date']).plusMinutes(ctx['ttl']);
        """,
        "if": "ctx?.ttl != null"
      }
    },
    {
      "remove": {
        "field": [ "ingest_date", "ttl" ],
        "ignore_missing": true
      }
    }
  ]
}

让我们解释一下。

第一个处理器在文档中设置一个临时字段 (ingest_date)，然后我们在其中注入执行管道的时间 (_ingest.timestamp)，该时间或多或少是索引日期。

然后我们运行一个 painless 脚本：

ctx['ttl_date'] = ZonedDateTime.parse(ctx['ingest_date']).plusMinutes(ctx['ttl']);

他的脚本根据 ingest_date 字段中可用的字符串值创建一个 ZonedDateTime java 对象。 然后我们只需调用 plusMinutes 方法并提供 ttl 的值作为参数。 这只会将摄取日期移动几分钟。 我们将结果存储在 ttl_date 新字段中。

请注意，我们需要添加一个条件，仅当 ttl 字段存在时才运行该处理器：

"if": "ctx?.ttl != null"

然后，我们只需删除不需要的字段 ingest_date 和可选的 ttl（如果我们不再需要它）。 请注意，出于调试目的，保留 ttl 可能是明智之举。 如果没有设置 ttl，如果丢失，我们也需要忽略它。 这是通过 “ignore_missing”: true 参数完成的。

为了测试这个管道，我们可以使用 simulate API：

POST /_ingest/pipeline/ttl/_simulate?filter_path=docs.doc._source,docs.doc._ingest
{
  "docs": [
    {
      "_source": { "city": "Sidney", "deliver": "ASAP", "ttl": 0 }
    },
    {
      "_source": { "city": "Singapore", "deliver": "1 minute", "ttl": 1 }
    },
    {
      "_source": { "city": "Paris", "deliver": "5 minutes", "ttl": 5 }
    },
    {
      "_source": { "city": "North Pole", "deliver": "forever" }
    }
  ]  
}

请注意在上面所显示的时间为 UTC 时间。我在当前的北京时间是下午 14点多。

我们可以看到文档删除的更改日期。

自动创建 ttl_date 字段

我们可以使用 final_pipeline 索引设置将 ttl 管道定义为在实际索引操作之前使用的管道。

PUT /ttl-demo
{
  "settings": {
    "final_pipeline": "ttl"
  },
  "mappings": {
    "_source": {
      "excludes": [
        "ttl_date"
      ]
    },
    "properties": {
      "ttl_date": {
        "type": "date"
      }
    }
  }
}

你还可以使用 default_pipeline 索引设置，但你需要注意，如果一个用户想要使用用户管道索引文档，则不会调用 ttl 管道，例如：

POST /ttl-demo/_doc?pipeline=my-pipeline
{ 
  "city": "Singapore", 
  "deliver": "1 minute", 
  "ttl": 1
}

请注意，我们从 _source 字段中删除了 ttl_date 字段。 我们不想将其存储在 _source 字段中，因为它只是一个 “技术 ”字段。

索引文档

我们现在可以注入我们的数据集：

POST /ttl-demo/_bulk
{ "index": {} }
{ "city": "Sidney", "deliver": "ASAP", "ttl": 0 }
{ "index": {} }
{ "city": "Singapore", "deliver": "1 minute", "ttl": 1 }
{ "index": {} }
{ "city": "Vilnius", "deliver": "3 minutes", "ttl": 3 }
{ "index": {} }
{ "city": "Paris", "deliver": "5 minutes", "ttl": 5 }
{ "index": {} }
{ "city": "London", "deliver": "6 minutes", "ttl": 6 }
{ "index": {} }
{ "city": "Montréal", "deliver": "7 minutes", "ttl": 7 }
{ "index": {} }
{ "city": "San Francisco", "deliver": "9 minutes", "ttl": 9 }
{ "index": {} }
{ "city": "North Pole", "deliver": "forever" }

删除经过 TTL 处理的文档

现在可以轻松运行 “Delete By Query” 调用：

POST /ttl-demo/_delete_by_query
{
  "query": {
    "range": {
      "ttl_date": {
        "lte": "now"
      }
    }
  }
}

我们只想删除所有早于现在（即请求执行时间）的文档。

如果我们立即运行它，我们可以看到只有文档 { "city": "Sidney", "deliver": "ASAP", "ttl": 0 } 被删除。
一分钟后，{ "city": "Singapore”, "deliver": "1 minute", "ttl": 1 }。 再过几分钟，就只剩下 { "city": "North Pole", "deliver": "forever" } 了。 它将永远保留。

使用 Watcher 每分钟运行一次

你可以使用 crontab 每分钟运行一次这样的查询：

* * * * * curl -XPOST -u elastic:changeme https://127.0.0.1:9200/ttl-demo/_delete_by_query -H 'Content-Type: application/json' -d '{"query":{"range":{"ttl_date":{"lte":"now"}}}}'

请注意，你必须监视此作业。 但如果你有商业许可证，你也可以使用 Watcher 直接从 Elasticsearch 运行它：

PUT _watcher/watch/ttl
{
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "simple" : {}
  },
  "condition": {
    "always" : {}
  },
  "actions": {
    "call_dbq": {
      "webhook": {
        "url": "https://127.0.0.1:9200/ttl-demo/_delete_by_query",
        "method": "post",
        "body": "{\"query\":{\"range\":{\"ttl_date\":{\"lte\":\"now\"}}}}",
        "auth": {
          "basic": {
            "username": "elastic",
            "password": "changeme"
          }
        }
      }
    }
  }
}

请注意，我们使用 interval 参数每分钟运行此操作。 我们使用 Webhook 来调用按查询删除 API。 另请注意，我们需要提供身份验证信息。在上面，你需要根据自己的用户账号修改上面的身份信息。

如果你不是在 cloud.elastic.co 上运行，而是在本地使用自签名证书运行，因为 Elasticsearch 默认情况下是安全的，你需要将 xpack.http.ssl.verification_mode 设置为 none。 否则 Elasticsearch 将不会接受自签名证书。 当然，这只是为了测试目的。 不要在生产中这样做！如果我们不设置这个参数为 none，我们可以看到如下的错误信息：

最多一分钟后，圣诞老人就会看到他必须访问的城市已从列表中删除：

GET /ttl-demo/_search
{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 6,
      "relation": "eq"
    },
    "max_score": 1,
    "hits": [
      {
        "_index": "ttl-demo",
        "_id": "IBTn-4sBOKvQy-0aU35M",
        "_score": 1,
        "_source": {
          "deliver": "3 minutes",
          "city": "Vilnius"
        }
      },
      {
        "_index": "ttl-demo",
        "_id": "IRTn-4sBOKvQy-0aU35M",
        "_score": 1,
        "_source": {
          "deliver": "5 minutes",
          "city": "Paris"
        }
      },
      {
        "_index": "ttl-demo",
        "_id": "IhTn-4sBOKvQy-0aU35M",
        "_score": 1,
        "_source": {
          "deliver": "6 minutes",
          "city": "London"
        }
      },
      {
        "_index": "ttl-demo",
        "_id": "IxTn-4sBOKvQy-0aU35M",
        "_score": 1,
        "_source": {
          "deliver": "7 minutes",
          "city": "Montréal"
        }
      },
      {
        "_index": "ttl-demo",
        "_id": "JBTn-4sBOKvQy-0aU35M",
        "_score": 1,
        "_source": {
          "deliver": "9 minutes",
          "city": "San Francisco"
        }
      },
      {
        "_index": "ttl-demo",
        "_id": "JRTn-4sBOKvQy-0aU35M",
        "_score": 1,
        "_source": {
          "city": "North Pole",
          "deliver": "forever"
        }
      }
    ]
  }
}

到最后，这里就只剩下他的家了：

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 1,
    "hits": [
      {
        "_index": "ttl-demo",
        "_id": "JRTn-4sBOKvQy-0aU35M",
        "_score": 1,
        "_source": {
          "city": "North Pole",
          "deliver": "forever"
        }
      }
    ]
  }
}

这是一个简单快速但不够规范的解决方案，用于从 Elasticsearch 集群中删除旧数据。 但请注意，你永远不应该将此技术应用于日志或任何基于时间的索引，或者如果要以这种方式删除的数据量超过数据集的 10%。

相反，你应该更喜欢使用 delete index API 立即删除完整索引，而不是删除整套文档。 这是一种更有效的方式。

删除索引（首选）

为此，我们实际上可以更改管道以将数据发送到名称包含 ttl 日期的索引：

PUT /_ingest/pipeline/ttl
{
  "processors": [
    {
      "set": {
        "field": "ingest_date",
        "value": "{{{_ingest.timestamp}}}"
      }
    },
    {
      "script": {
        "lang": "painless",
        "source": """
          ctx['ttl_date'] = ZonedDateTime.parse(ctx['ingest_date']).plusDays(ctx['ttl']);
        """,
        "ignore_failure": true
      }
    },
    {
      "date_index_name" : {
        "field" : "ttl_date",
        "index_name_prefix" : "ttl-demo-",
        "date_rounding" : "d",
        "date_formats": ["yyyy-MM-dd'T'HH:mm:ss.nz"],
        "index_name_format": "yyyy-MM-dd",
        "if": "ctx?.ttl_date != null"
      }
    },
    {
      "set": {
        "field" : "_index",
        "value": "ttl-demo-forever",
        "if": "ctx?.ttl_date == null"
      }
    },
    {
      "remove": {
        "field": [ "ingest_date", "ttl", "ttl_date" ],
        "ignore_missing": true
      }
    }
  ]
}

在此示例中，我切换到每日索引，因为它比你在生产中看到的要准确得多，因为通常数据不会在几分钟后过期，但会在几天或几个月后过期。有关 date_index_name 的用法，请阅读文章 “Elasticsearch：使用 pipelines 路由文档到想要的 Elasticsearch 索引中去”。

我们更改了脚本以添加天数：

ctx['ttl_date'] = ZonedDateTime.parse(ctx['ingest_date']).plusDays(ctx['ttl']);

如果 ttl_date 字段存在，我们使用 date_index_name 处理器根据 ttl_date 字段创建一个新的索引名称。 我们使用 date_rounding 参数将日期四舍五入到当天。 我们使用 index_name_format 参数将日期格式化为 yyyy-MM-dd。 这将使用索引名称，例如 ttl-demo-2023-11-27：

{
  "date_index_name" : {
    "field" : "ttl_date",
    "index_name_prefix" : "ttl-demo-",
    "date_rounding" : "d",
    "date_formats": ["yyyy-MM-dd'T'HH:mm:ss.nz"],
    "index_name_format": "yyyy-MM-dd",
    "if": "ctx?.ttl_date != null"
  }
}

如果 ttl_date 字段不存在，我们只需将索引名称设置为 ttl-demo-forever：

{
  "set": {
    "field" : "_index",
    "value": "ttl-demo-forever",
    "if": "ctx?.ttl_date == null"
  }
}

我们可以重新索引我们的数据集：

POST /ttl-demo/_bulk?pipeline=ttl
{ "index": {} }
{ "city": "Sidney", "deliver": "ASAP", "ttl": 0 }
{ "index": {} }
{ "city": "Singapore", "deliver": "1 day", "ttl": 1 }
{ "index": {} }
{ "city": "Vilnius", "deliver": "3 days", "ttl": 3 }
{ "index": {} }
{ "city": "Paris", "deliver": "5 days", "ttl": 5 }
{ "index": {} }
{ "city": "North Pole", "deliver": "forever" }

我们可以看到这些文档现在位于不同的索引中：

GET /ttl-demo-*/_search?filter_path=hits.hits._index,hits.hits._source.deliver

索引名称不再引用，因为我们习惯于查看数据的日期，而是删除数据的日期。 因此我们可以每天再次运行 crontab 来删除旧索引。 以下脚本旨在在 Mac OS X 系统上运行：

0 0 * * * curl -XDELETE -u elastic:changeme https://127.0.0.1:9200/ttl-demo-$(date -v -1d -j +%F)

总结起来

我们看到了在 Elasticsearch 文档上执行 TTL 的两种方法。 第一个是使用 TTL 字段并使用 “Delete By Query ” 调用来删除文档。 第二种（效率更高，需要删除大量数据）是使用 TTL 字段将文档路由到不同的索引，然后使用 crontab 删除索引。

但对于这两种解决方案，在 contrab 运行之前文档仍然可见。

你可以考虑使用索引过滤别名来隐藏旧文档：

POST _aliases
{
  "actions": [
    {
      "add": {
        "index": "ttl-demo",
        "alias": "ttl-filtered",
        "filter": {
          "bool": {
            "filter": [
              {
                "range": {
                  "ttl_date": {
                    "gt": "now/m"
                  }
                }
              }
            ]
          }
        }
      }
    }
  ]
}

即使批处理（crontab 或 watcher）尚未删除过期文档，在 ttl-filtered  别名内搜索也只会返回尚未过期的文档。

圣诞老人现在可以知道接下来安全地去哪里，然后享受当之无愧的休息一年！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1379176.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

2024上半年教资笔试报名详细教程1月12日开始报名啦

2024上半年教资笔试报名详细教程1月12日开始报名啦

重点提醒： 1、注册开放时间：2024年1月10日开始。 （参加过笔试的考生，需要重新注册， 不影响已获得的笔试成绩。名额少的考点建议提前注册抢名额） 2、网上报名时间：2024年1月12日至15日。 千万不…
阅读更多...
【IDEA--dubug相关】-- 1. 取消debug的所有断点 2. debug侧边栏消失问题

【IDEA--dubug相关】-- 1. 取消debug的所有断点 2. debug侧边栏消失问题

下面是一些经常在日常debug时用到的场景，方便查看、与君共勉！ 文章目录 1. 如何取消所有断点2. debug底部左边侧边栏消失 1. 如何取消所有断点 如图我们可能在项目中给很多代码行添加了断点，一个一个点取消麻烦 在debug运行中点击选中底部…
阅读更多...
《C语言学习》---郝斌版---笔记

《C语言学习》---郝斌版---笔记

简介 学习计算机，离不开C语言的学习，而C语言学习过程中的视频课教程，目前来说，如果郝斌老师的C语言排第二，没有人敢排第一 郝斌老师的C语言教程，通俗易懂，引人发思，特别适合新手入门…
阅读更多...
深度探析卷积神经网络（CNN）在图像视觉与自然语言处理领域的应用与优势

深度探析卷积神经网络（CNN）在图像视觉与自然语言处理领域的应用与优势

目录 前言1 CNN网络结构与工作原理1.1 输入层1.2 卷积层1.3 最大池化层1.4 全连接层 2 应用领域2.1 图像视觉领域中CNN的应用2.2 NLP领域中CNN的应用 3 CNN的限制与未来展望3.1 CNN的挑战3.2 CNN的展望 结语 前言 卷积神经网络（CNN）作为一种强大的深度学…
阅读更多...
2023一带一路暨金砖国家技能发展与技术创新大赛“网络安全”赛项省选拔赛样题卷①

2023一带一路暨金砖国家技能发展与技术创新大赛“网络安全”赛项省选拔赛样题卷①

2023金砖国家职业技能竞赛"网络安全" 赛项省赛选拔赛样题 2023金砖国家职业技能竞赛 省赛选拔赛样题第一阶段：职业素养与理论技能项目1. 职业素养项目2. 网络安全项目3. 安全运营 第二阶段：安全运营项目1. 操作系统安全配置与加固任务一Linux …
阅读更多...
DNS解析和主从复制

DNS解析和主从复制

一、DNS名称解析协议 二、DNS正向解析 三、DNS主从复制 主服务器 从服务器
阅读更多...
2024年湖北职称评审对论文的要求

2024年湖北职称评审对论文的要求

1.期刊发表版面的时间节点2024年12月及之前 2.期刊是正规的期刊，有国内刊号 3.期刊能在国家出版社总署检索到 4.文章内容查重符合知网查重标准 5.论文方向和申报专业方向一致 6.必须要是第一作者或者独著 7.评正高的人才们要准备中文核心论文两篇或出版专业学术论著…
阅读更多...
人工智能的现状及今后发展趋势展望

人工智能的现状及今后发展趋势展望

人工智能（Artificial Intelligence, AI）作为当今科学技术领域的一个热门话题，已经逐渐影响到了人们的生活方方面面。在过去的几十年里，人工智能领域取得了巨大的发展，并且展现出了巨大的潜力。然而，随着时间…
阅读更多...
【Python】新鲜出炉的海洋捕食者算法Python版本

【Python】新鲜出炉的海洋捕食者算法Python版本

2020年发表的海洋捕食者算法《Marine Predators Algorithm: A nature-inspired metaheuristic》。 作者只在原论文中给出了MATLAB代码，网上也没有Python版本，我自己用Python重写了MATLAB代码。 """2020海洋捕食者算法 """…
阅读更多...
Python元组（tuple）

Python元组（tuple）

目录 元组元组的创建和删除访问元组元素修改元组元组方法 元组 元组是有序且不可更改的集合。在 Python 中，元组是用圆括号编写的。 元组的创建和删除 实例 创建元组： thistuple ("a", "b", "c") print(thistuple)删除…
阅读更多...
微软等开源评估ChatGPT、Phi、Llma等，统一测试平台

微软等开源评估ChatGPT、Phi、Llma等，统一测试平台

微软亚洲研究院、中国科学院自动化研究所、中国科学技术大学和卡内基梅隆大学联合开源了，用于评估、分析大语言模型的统一测试平台——PromptBench。 Prompt Bench支持目前主流的开源、闭源大语言模型，例如，ChatGPT、GPT-4、Phi、Llma1/2、G…
阅读更多...
Ps：操控变形

Ps：操控变形

Ps菜单：编辑/操控变形 Edit/Puppet Warp 操控变形 Puppet Warp命令能够借助网格随意扭曲特定图像区域，同时可保持其他区域不变。 其应用范围小至精细的图像修饰（如发型设计），大至总体的变换（如重新定位手臂…
阅读更多...
【J-Flash基本使用总结】

【J-Flash基本使用总结】

【J-Flash基本使用总结】 VX：hao541022348 ■ 烧录文件■ 创建新的工程■ 烧录模式-SWD模式■ 烧录 ■ 读单片机Flash数据■ 设置或解除读保护 ■ 烧录文件 ■ 创建新的工程 接着点击 Options –> Project Settings…，选择CPU > Device &#xff…
阅读更多...
Hive基础知识（十一）：Hive的数据导出方法示例

Hive基础知识（十一）：Hive的数据导出方法示例

1. Insert 导出 1）将查询的结果导出到本地 hive (default)> insert overwrite local directory /opt/module/hive/data/export/student select * from student5; Automatically selecting local only mode for query Query ID atguigu_20211217153118_31119102-…
阅读更多...
libignition-gazebo-diff-drive-system.so是什么

libignition-gazebo-diff-drive-system.so是什么

因该就是个动态链接库，库文件之类 而且就是gazebo6版本也就是ign 这个版本的动态链接库有个特点：全部都是以.so结尾，所以很可能ign的插件plugin都是带.so的 abcdegx.so elvikorflsd.so fvlwirjgiojf.so等
阅读更多...
二、安全与风险管理—练习题

二、安全与风险管理—练习题

阅读更多...
文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《考虑新能源配网三相不平衡治理的电动汽车充电策略》

文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《考虑新能源配网三相不平衡治理的电动汽车充电策略》

本专栏栏目提供文章与程序复现思路，具体已有的论文与论文源程序可翻阅本博主免费的专栏栏目《论文与完整程序》 这个标题表明研究着重于开发一种电动汽车充电策略，该策略考虑了在新能源配电网络中存在的三相不平衡问题。解读如下： 电动汽车充…
阅读更多...
java中数组

java中数组

文章目录 java中数组思维导图数组数组概念 数组定义格式详解数组的访问 常见异常数组索引值越界异常：ArrayIndexOutOfBoundsException空指针异常：NullPointerException 案例例一打印A-Z和0-9例二数组转置输出 java中数组 思维导图 数组 数组概念 组就…
阅读更多...
LLaMA-Factory添加adalora

LLaMA-Factory添加adalora

感谢https://github.com/tsingcoo/LLaMA-Efficient-Tuning/commit/f3a532f56b4aa7d4200f24d93fade4b2c9042736和https://github.com/huggingface/peft/issues/432的帮助。 在LLaMA-Factory中添加adalora 1. 修改src/llmtuner/hparams/finetuning_args.py代码 在FinetuningArg…
阅读更多...
C++:cout 的一些注意事项

C++:cout 的一些注意事项

有时cout不会将结果立即输出到屏幕&#xff08;也就是缓冲&#xff09;&#xff0c;该情况不会对竞赛测评有影响。 例子如下&#xff1a; ps:用puts立即输出 原因&#xff1a; 解决方法&#xff1a;在每一个cout后跟\n或flush cout << "This will be immediately d…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023