Elasticsearch 通过索引阻塞实现数据保护深入解析

news2024/10/6 8:38:54

Elasticsearch 是一种强大的搜索和分析引擎,被广泛用于各种应用中,以其强大的全文搜索能力而著称。

不过,在日常管理 Elasticsearch 时,我们经常需要对索引进行保护,以防止数据被意外修改或删除,特别是在进行系统维护或者需要优化资源使用时。

Elasticsearch提供了一种名为“索引阻塞(Index blocks)”的功能,让我们能够限制对某个索引的操作类型。

c3316ae74a8124f37597b5ee6500321d.jpeg

Elasticsearch的索引阻塞功能在早期版本中就已存在,用于管理对索引的访问和操作。随着 Elasticsearch 版本的更新,该功能也在不断得到改进和扩展。

参见官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-blocks.html

大白话——"索引阻塞"就是给我们的索引加把锁,防止别人随意修改。

1、索引阻塞的种类

Elasticsearch中的索引阻塞可以根据需要,限制对索引的读取、写入或元数据操作。

所谓的元数据,可以理解为索引的基本信息和设置,比如索引包含哪些字段,这些字段是什么类型的等等。

这些阻塞可以通过动态索引设置添加或移除,也可以通过专门的API来添加,这样做的好处是能确保在添加写入阻塞后,所有索引的分片都正确地应用了阻塞,比如确保在添加写入阻塞后,所有正在进行的写入操作都已完成。

以下是一些动态索引设置,用于确定索引上存在的阻塞类型:

  • index.blocks.read_only:设置为 true 使索引及索引元数据只读,设置为false则允许写入和元数据更改。

  • index.blocks.read_only_allow_delete:类似于index.blocks.read_only,但也允许删除索引以释放更多资源。

  • index.blocks.read:设置为 true 以禁用对索引的读取操作。

  • index.blocks.write:设置为 true 以禁用对索引的数据写入操作。与read_only不同,这个设置不影响元数据。例如,你可以调整带有写入阻塞的索引的设置,但不能调整带有read_only阻塞的索引的设置。

  • index.blocks.metadata:设置为true以禁用索引元数据的读写操作。

设置名称描述
index.blocks.read_only设置为true使索引及索引元数据只读,设置为false则允许写入和元数据更改。
index.blocks.read_only_allow_delete类似于index.blocks.write,但也允许删除索引以释放更多资源。磁盘基础的分片分配器可能会自动添加和移除这个阻塞。
index.blocks.read设置为true以禁用对索引的读取操作。
index.blocks.write设置为true以禁用对索引的数据写入操作。与read_only不同,这个设置不影响元数据。例如,你可以调整带有写入阻塞的索引的设置,但不能调整带有read_only阻塞的索引的设置。
index.blocks.metadata设置为true以禁用索引元数据的读写操作。

解释一下:index.blocks.read_only 和 index.blocks.write 区别

如下设置了禁止写入,但是可以修改索引的设置,比如:副本数的调整,这个是允许的。

PUT test-001/_settings
{
  "blocks.write": true
}

PUT test-001/_settings
{
  "number_of_replicas": 2
}

但是换成这样:

PUT test-002
PUT test-002/_settings
{
  "blocks.read_only": true
}

PUT test-002/_settings
{
  "number_of_replicas": 2
}

如上的 read_only 设置后,如果再进行修改索引设置的设置就会报错。

{
  "error": {
    "root_cause": [
      {
        "type": "cluster_block_exception",
        "reason": "index [test-002] blocked by: [FORBIDDEN/5/index read-only (api)];"
      }
    ],
    "type": "cluster_block_exception",
    "reason": "index [test-002] blocked by: [FORBIDDEN/5/index read-only (api)];"
  },
  "status": 403
}

简而言之,index.blocks.write 允许你保护索引内容的稳定性,同时仍然可以调整索引的配置来应对不同的需求或进行优化。而 index.blocks.read_only 则是一种更为严格的保护,确保索引在某段时间内完全不被更改。

2、什么时候使用阻塞?

场景1:进行系统维护场景。

比如,当你需要升级系统或者做一些关键的维护工作时,可能不希望在这期间有任何索引结构的变化。

通过阻止别人修改索引的元数据,确保索引的设置保持不变,维护索引设置的稳定性。

场景2:保护数据不被随意更改场景。

举例:如果咱们的业务数据是非常关键的,比如已经归档的日志或者历史记录,这些数据通常是不允许被更改的。

防止关键数据被随意更改或删除,确保数据的完整性和准确性。

场景3:优化资源使用的场景。

举例:有时候某个索引可能占用了太多资源,你可能暂时不想让它继续增长。

通过控制索引的读写操作,帮助管理系统资源,避免因为资源过度使用而导致系统变慢或崩溃。

场景4:遵守安全规则场景。

举例:对于一些敏感数据,可能要求严格的访问控制,不希望随便被读取或更改。

对于需要严格控制的敏感数据,通过设置阻塞来限制数据的访问和修改,保障数据安全。

3、添加索引阻塞API

使用范例参考:

PUT /<index>/_block/<block>
  • <index>:(可选,字符串)逗号分隔的索引名列表或通配符表达式,用于限制请求。

  • <block>:(必需,字符串)要添加到索引的阻塞类型。

举例,如下 API 用于给索引添加一个阻塞写入。

PUT /my-index-000001/_block/write

设置禁止写入后,如果再写入就会报错。

"reason": "index [my-index-000001] blocked by: [FORBIDDEN/8/index write (api)];"
abd09515c00f720510711212cc5a084a.png

通过执行 PUT /my-index-000001/_block/write命令,我们可以向名为my-index-000001的索引添加一个写入阻塞。成功执行此命令后,任何试图写入该索引的操作都将被阻止,直到该阻塞被显式移除。

除此之外,最常用的一个锁叫做 blocks.metadata。当我们把这个设置开启(设置为true)后,别人就不能修改索引的元数据了。

举个例子,如果你在管理一个多租户的SaaS应用,每个租户都有自己独特的索引设置和映射。你肯定不希望有一天突然有人改变了这些设置,导致系统运行不正常。这时候,就可以使用 blocks.metadata 这个锁来防止索引的元数据被修改。

PUT test


PUT test/_settings
{
  "blocks.metadata": true
}

如下的所有操作都会报错:

GET  test
GET  test/_settings
GET  test/_mapping

PUT test/_doc/1
{
  "title": "1111"
}

但是,如下检索是可以正常进行的。

GET test/_search
{
  "query": {
    "match_all": {}
  }
}

4、解除设置 API

要解除已经设置的索引阻塞,可以将相应的阻塞设置修改为false或使用 null来移除特定的阻塞。例如,要移除索引的 read_only阻塞,可以使用以下命令:

PUT /<index>/_settings 
{ "index.blocks.read_only": false }

请注意,在进行此操作之前,确保已经解决了导致设置阻塞的原因,如磁盘空间不足等。

5、小结

Elasticsearch的索引阻塞功能为数据提供了一层额外的保护,确保数据能够按照预期安全、正确地被处理和访问。

这套功能在系统维护、数据保护、资源优化和安全增强等方面特别有用。

通过熟悉Elasticsearch提供的各种索引阻塞设置,可以有效管理对索引的访问,保障数据完整性,高效利用资源,并加强数据的安全性。正确使用这些强大的工具需要深入理解它们的作用和应用场景。

6、参考

https://kulekci.medium.com/elasticsearch-index-blocks-a-deep-dive-into-data-protection-b2ecc4b780c8

7 年+积累、 Elastic 创始人Shay Banon 等 15 位专家推荐的 Elasticsearch 8.X新书已上线

866cefc681bd4a82ce81388cf3cf7ac3.jpeg

更短时间更快习得更多干货!

和全球 近2000+ Elastic 爱好者一起精进!

elastic6.cn——ElasticStack进阶助手

3f17d4bd60ebbbff3fb5c4005d54db4c.gif

比同事抢先一步学习进阶干货!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1502367.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

关于STM32G070RBTx单片机使用HAL库往flash写数据的过程中死机问题

1.单片机型号:STM32G070RBTx 2.出现的问题 根据库函数FLASH_If_Write()的使用&#xff0c;我们分析往flash写数据的过程是把uint8_t 类型的数据(p_data)以地址的形式强转成uint64类型的&#xff0c;在一包128字节的数据时一次存储8位&#xff0c;存16次(packet_size/8)&#x…

简介:Deep Web和Dark Web

深网和暗网之间的区别是什么&#xff1f; “深网”和“暗网”是不能互换的术语。虽然整个暗网都是暗网的一部分&#xff0c;但反过来却不是这样。简单地说&#xff0c;深度网络是网络中没有被搜索引擎索引的任何部分。这包括在付费墙后面屏蔽其内容的网站、受密码保护的网站&a…

存货计价方式 比较-移动平均和批次计价

SAP常用的存货计价方式有 标准价格移动平均价格批次计价 标准价格常用于制造企业&#xff0c;今天的方案比较主要集中在销售型企业常用的移动平均价和批次计价 批次计价&#xff1a; 移动平均&#xff1a; 两种计价方式的Pros&Cons 比较 批次计价 移动平均优点 1…

韦根协议刷卡原理及代码实现

一、韦根协议原理 韦根接口在门禁行业广泛使用&#xff0c;是一个门禁行业的通信标准&#xff0c;通过两条数据线 DATA0&#xff08;D0&#xff09;和 DATA1 &#xff08;D1&#xff09;发送数据。目前用的最多的是韦根 34 和韦根 26&#xff0c;二者数据格式相同&#xff0c;…

【Python】科研代码学习:二 dataclass,pipeline

【Python】科研代码学习&#xff1a;二 dataclass&#xff0c;pipeline 前言dataclasspipeline 前言 后文需要学习一下 transformers 库&#xff0c;必要时会介绍其他相关的重要库和方法。主要是从源代码、别人的技术文档学习&#xff0c;会更快些。 dataclass Python中的数…

为什么选择Copilot for Microsoft365而不是Copilot Pro

最近很多小伙伴都用上了copilot&#xff0c;开始感受copilot在生产力工具中发挥的作用与带来的提升。 询问比较多的就是商业企业版的Copilot for Microsoft 365和个人家庭版的Copilot Pro有什么区别&#xff1f; 这篇文章一定会让你在两者之间选择最合适你的那个。 一、价格…

uniapp使用华为云OBS进行上传

前言&#xff1a;无论是使用华为云还是阿里云&#xff0c;使用其产品的时候必须阅读文档 1、以华为云为例&#xff0c;刚接触此功能肯定是无从下手的情况&#xff0c;那么我们需要思考&#xff0c;我们使用该产品所用到的文档是什么 2、我们要使用obs 文件上传&#xff0c;肯…

Python:在 Ubuntu 上安装 pip的方法

目录 1、检测是否已安装pip 2、更新软件源 3、安装 4、检测是否安装成功 pip和pip3都是Python包管理工具&#xff0c;用于安装和管理Python包。 在Ubuntu上&#xff0c;pip和pip3是分别针对Python2和Python3版本的pip工具。 pip3作用&#xff1a;自动下载安装Python的库文…

llama-index调用qwen大模型实现RAG

背景 llama-index在实现RAG方案的时候多是用的llama等英文大模型&#xff0c;对于国内的诸多模型案例较少&#xff0c;本次将使用qwen大模型实现llama-index的RAG方案。 环境配置 &#xff08;1&#xff09;pip包 llamaindex需要预装很多包&#xff0c;这里先把我成功的案例…

pytorch CV入门3-预训练模型与迁移学习

专栏链接&#xff1a;https://blog.csdn.net/qq_33345365/category_12578430.html 初次编辑&#xff1a;2024/3/7&#xff1b;最后编辑&#xff1a;2024/3/8 参考网站-微软教程&#xff1a;https://learn.microsoft.com/en-us/training/modules/intro-computer-vision-pytorc…

python界面开发 - messagebox 提示框

文章目录 1. messagebox1.1. 示例 2. Tkinter 开发3. python图形界面开发3.1. Python图形界面开发——Tkinter3.2. Python图形界面开发——PyQt3.3. Python图形界面开发——wxPython3.4. Python图形界面开发—— PyGTK&#xff1a;基于GTK3.5. Python图形界面开发—— Kivy3.6.…

java SSM汽车租赁管理系统myeclipse开发mysql数据库springMVC模式java编程计算机网页设计

一、源码特点 java SSM汽车租赁管理系统是一套完善的web设计系统&#xff08;系统采用SSM框架进行设计开发&#xff0c;springspringMVCmybatis&#xff09;&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用…

安卓真机无root环境下的单机游戏修改-IL2CPP

前言 之前在研究手游的il2cpp修改&#xff0c;选取了 Mine Survival 作为研究对象&#xff0c;由于手上没有root的机子&#xff0c;于是安装在了MuMu模拟器上 但是很快发现了问题&#xff0c;游戏只有arm的lib&#xff0c;由于一系列原因&#xff0c;导致我无法获取到 libil2…

如何压缩PDF文件大小?看完这篇文章,即可实现无损压缩!

平时工作或生活中&#xff0c;很多小伙伴是不是经常喜欢用PDF格式进行文件的保存&#xff0c;毕竟它具有较高的兼容性&#xff0c;且在不同设备中打开也不会出现排版错乱的情况。不过有时候PDF文件会因为内容过大&#xff0c;占用的内存过多&#xff0c;从而导致电脑卡顿的情况…

大路灯哪个牌子好?五大品质大路灯盘点,体验超赞!

在这个生活水平不断提高的时代&#xff0c;大路灯作为一款能够帮助孩子解决不少用眼是的光线问题的电器&#xff0c;有着比较高的优势&#xff0c;但关于它的伤眼案例却频频发生。之所以如此矛盾&#xff0c;主要是市场上的不专业大路灯泛滥成灾&#xff0c;就比如一些所谓的网…

Word中的文档网格线与行距问题

在使用Word编辑文档时&#xff0c;经常会发生以下动图展示的这种情况&#xff1a; 上面的动图里&#xff0c;将文字大小放大到某个字号时&#xff0c;单倍行距的间距突然增加很多。造成这种情况的原因是文档中定义了网格线&#xff0c;并且设置了对齐到网格线。如果取消文档中…

Centos安装Jenkins

1、更新系统 &#xff08;1&#xff09;更新下系统 sudo yum -y update 安装用于下载java 17二进制文件的wget命令行工具 sudo yum -y install wget vim 2、卸载centos自带的jdk 由于我们安装的版本比较高&#xff0c;需要jdk17&#xff0c;卸载centos自带的jdk。用 下面的…

分布式定时任务调度xxl-job

1. xxl-job基本介绍 1.1 Quartz的体系结构 Quartz中最重要的三个对象:Job&#xff08;作业&#xff09;、Trigger&#xff08;触发器&#xff09;、Scheduler&#xff08;调度器&#xff09;。 xxl-job的调度原理:调度线程在一个while循环中不断地获取一定数量的即将触发的Tr…

用 ChatGPT 搭配 STAR 原则,准备英文面试超轻松

用 ChatGPT 搭配 STAR 原则&#xff0c;准备英文面试超轻松 ChatGPT 除了可以帮忙改简历&#xff0c;在你的求职历程中&#xff0c;ChatGPT 也可以帮忙练英文面试。在我们实测之后&#xff0c;发现 ChatGPT 在练习英文面试上&#xff0c;不仅能针对你的回答给予回馈&#xff0…