【Elasticsearch】Elasticsearch 中的节点角色

news2024/11/23 3:10:21

Elasticsearch 中的节点角色

  • 1.主节点(master)
    • 1.1 专用候选主节点(dedicated master-eligible node)
    • 1.2 仅投票主节点(voting-only master-eligible node)
  • 2.数据节点(data)
    • 2.1 内容数据节点(data_content)
    • 2.2 热数据节点(data_hot)
    • 2.3 温数据节点(data_warm)
    • 2.4 冷数据节点(data_cold)
    • 2.5 冷冻数据节点(data_frozen)
  • 3.ingest 节点
  • 4.仅协调节点
  • 5.远程节点(remote_cluster_client)
  • 6.机器学习节点(ml)
  • 7.转换节点(transform)
  • 8.节点角色和硬件配置的关系

Elasticsearch 7.9 版本开始引入 节点角色 的概念。

在 Elasticsearch 8.X 版本中,节点类型 升级为 节点角色。节点角色分得很细,包括 数据节点 角色、主节点 角色、ingest 节点 角色、热节点 角色等。

在这里插入图片描述

在 Elasticsearch 集群中,每个启动的 Elasticsearch 进程都可以叫作一个节点。以 Elasticsearch 8.X 版本集群为例,如果我们不手动设置节点角色,则默认节点角色为 cdfhilmrstw

在这里插入图片描述

节点角色缩写英文释义中文释义
ccold data node冷数据节点
ddata node数据节点
ffrozen data node冷冻数据节点
hhot data node热数据节点
iingest node数据预处理节点
lmachine learning node机器学习节点
mmaster-eligible node候选主节点
rremote cluster client node远程节点
scontent data node内容数据节点
ttransform node转换节点
wwarm data node温数据节点
/coordinating only node仅协调节点

当集群规模比较大之后(比如集群节点数大于 6 个),就需要手动设定、配置节点角色。

1.主节点(master)

主节点 在 Elasticsearch 集群中的关键作用主要体现在全局级别的管理上。例如,主节点负责管理 索引的创建或删除操作监控哪些节点是集群的成员,以及 确定将哪些分片分配给哪些节点。这种决策和管理的能力使主节点在维持整个集群稳定运行中扮演了重要角色。

此外,主节点还负责 存储重要的元数据,包括集群中每个索引的元数据和集群级别的元数据。特别地,主节点的 path.data 目录用于存放这些集群元数据信息,这是主节点不可或缺的功能。

因此,为了确保集群的稳定运行和有效管理,需要特别注意主节点的配置和维护。

拥有稳定的主节点对于集群健康非常重要。与早期版本不同,节点角色划分后,主节点又被细分为专用 候选主节点仅投票主节点

1.1 专用候选主节点(dedicated master-eligible node)

如果集群规模大、节点多,那么就有必要设置独立的 专用候选主节点,其配置如下。

node.roles: [ master ]

1.2 仅投票主节点(voting-only master-eligible node)

这类节点仅用于投票,它们不会被选为主节点。其硬件配置可以比专用候选主节点更低一些。仅投票主节点 的配置如下,其中 master 必不可少。

node.roles: [ master, voting only ]

🚀 关于集群主节点配置,要强调一点:高可用性集群 需要至少 3 个符合主节点资格的节点,其中至少两个不是仅投票节点。这样即使其中一个节点发生故障,该集群也能够选举出一个主节点。

2.数据节点(data)

数据节点 会在 Elasticsearch 集群中执行关键任务,包括 保存数据到硬盘或其他永久性存储设备上(通常称为 落地存储),以及执行各种数据处理操作(如数据添加、删除、修改、查询、搜索和聚合等)。

由于数据节点的功能包括对大量数据进行处理和保存,它们对硬件配置的需求相对较高,特别是对 CPU、内存和磁盘的需求。为了确保数据节点有效地处理这些任务并响应查询请求,我们需要在硬件配置上提供足够的资源。而选择性能强大的 CPU 以及提供充足的内存和磁盘空间,是确保数据处理效率和稳定性的关键。

使用专用数据节点的好处在于可以 让主节点和数据节点分离、各司其职

数据节点存储的内容如下:

  • 分片数据。
  • 每个分片对应的元数据。
  • 集群层面的元数据,如 setting 和索引模板。

数据节点的配置如下:

node.roles: [ data ]

在 Elasticsearch 多层冷热集群架构体系下,数据节点又可以细分如下。

  • 内容数据节点
  • 热数据节点
  • 温数据节点
  • 冷数据节点
  • 冷冻数据节点

2.1 内容数据节点(data_content)

内容数据节点 是一个节点角色,用于 指定具体的负责存储和搜索数据的节点。这个角色的主要功能是 处理和查询数据,包括文本、数字和地理位置等类型的数据。其具体职责如下:

  • 存储数据:将数据分片存储在节点上。
  • 搜索数据:处理来自客户端的搜索请求,并在本地分片中搜索数据。
  • 索引数据:对新数据进行索引操作,以便进行搜索和查询。
node.roles: [data_content]

2.2 热数据节点(data_hot)

热数据节点 的用途主要是保存 最近、最常访问 的热数据,即经常被访问和更新的数据。在数据生命周期的早期,数据通常处于活跃状态,会频繁读写。热数据节点通常配置在高性能硬件上,例如高速 SSD 存储和高性能 CPU。

node.roles: [data_hot]

2.3 温数据节点(data_warm)

温数据节点 的用途主要是保存 访问频次低很少更新 的时序数据。

node.roles: [data_warm]

2.4 冷数据节点(data_cold)

冷数据节点 的用途主要是保存 不经常访问通常不更新 的时序数据,可用于存储可搜索快照。

node.roles: [data_cold]

2.5 冷冻数据节点(data_frozen)

冷冻数据节点 的用途主要是保存 很少访问从不更新 的时序数据。

node.roles: [data_frozen]

注意 ⚠

  • 🚀 在配置节点角色时,data_hotdata_warmdata_cold 要和 data_content 一起配置而不要和原有的仅 data 节点角色一起配置了。
  • 🚀 如果仅设置 data_hot 而不设置 data_content 节点角色,则会导致集群数据写入后无法落地。
  • 🚀 data_hotdata_warmdata_cold 节点角色是标识性的角色,而数据实际落地存储还得靠 data_content 角色。

3.ingest 节点

这类节点通常 执行由预处理管道组成的预处理任务,后面会专门详细解读 ingest 数据预处理过程。

node.roles: [ ingest ]

4.仅协调节点

这类节点的作用类似于智能负载均衡器,负责路由分发请求、聚拢(或叫作收集,可理解为分发的反过程)搜索或聚合结果

配置为空则代表仅协调节点,如下所示。

node.roles: [ ]

5.远程节点(remote_cluster_client)

这类节点用于 跨集群检索跨集群复制

node.roles: [ remote_cluster_client ]

6.机器学习节点(ml)

机器学习节点 是一类特殊类型的节点,它专门用于运行机器学习功能。它们负责运行数据分析任务,如异常检测、预测和回归等。这类节点的功能是收费的,Elasticsearch 开源版本并不提供。

node.roles: [ ml, remote_cluster_client ]

7.转换节点(transform)

转换节点 是一个特殊类型的节点,负责执行数据转换任务。数据转换是指将数据从种格式或结构转换为另一种格式或结构的过程。在 Elasticsearch 中,这通常涉及对原始数据创建新的索引,并对新索引中的数据进行汇总、分组或其他转换操作,以便更有效地行分析和查询。

node.roles: [ transform, remote_cluster_client ]

8.节点角色和硬件配置的关系

角色描述存储内存计算网络
数据节点存储和检索数据极高
主节点管理集群状态
ingest 节点转换输入数据
机器学习节点机器学习极高极高
协调节点请求转发和合并检索结果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1937571.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

引起全球大规模蓝屏故障的CrowdStrike是什么,到底发生了什么?|TodayAI

在周五早晨,一场由网络安全公司CrowdStrike引发的大规模故障使全球范围内的多家大型航空公司、电视广播公司、银行和其他重要服务陷入停顿。此次故障导致无数Windows机器出现“蓝屏死机”(BSOD),系统无法正常启动。据悉&#xff0…

畅玩游戏新选择 :游戏本 Windows10 64位 专业版!

对于喜欢游戏竞技的玩家而言,选择一款合适的操作系统对于提升游戏体验至关重要。为了满足这一需求,系统之家小编将带来高性能的游戏本专用Win10操作系统。这一版本系统不仅注重游戏的稳定性,还针对玩家在游戏中可能遇到的超时检测和恢复&…

如何处理 PostgreSQL 中死锁的情况?

🍅关注博主🎗️ 带你畅游技术世界,不错过每一次成长机会!📚领书:PostgreSQL 入门到精通.pdf 文章目录 如何处理 PostgreSQL 中死锁的情况?一、认识死锁二、死锁的症状三、死锁的检测四、预防死锁…

C++基础知识:引用的基本使用

1.作用&#xff1a; 给变量别名 2.语法&#xff1a; 数据类型 &别名原名 3.图例解释&#xff1a; 4.代码解释&#xff1a; #include<iostream>using namespace std;int main(){//引用基本语法int a10;int &ba;//两者公用了空间b和a都可以改变//该空间内的数…

一分钟图情论文:《智慧数据驱动的古籍智慧性保护体系研究》

中山大学的陈涛、苏日娜等人合著的《智慧数据驱动的古籍智慧性保护体系研究》论文探讨了智慧数据在古籍保护中的应用&#xff0c;提出了古籍智慧性保护体系框架。 智慧数据是一个动态的变量&#xff0c; 而非静态的常量&#xff0c;具有定性评价、流变发展和多态组成三个特点古…

Getx学习笔记之中间件鉴权

目录 前言 一、实现步骤 1.添加依赖 2.创建鉴权中间件 3.定义路由 4.设置初始路由 5.模拟登陆状态 二、Getx鉴权步骤总结 三、本文demo示例 四、参考文章 前言 在 Flutter 中&#xff0c;使用 GetX 可以很方便地实现中间件鉴权&#xff08;Authentication&#xff09…

Ubuntu编译ffmpeg并添加cmake工程

文章目录 前言前提须知为什么要自己编译 FFmpeg前提软件包与工具的安装编译ffmpeg写CMakeList.txt包含ffmpeg到我们项目中 总结 前言 FFmpeg 是一个领先的多媒体框架&#xff0c;能够解码、编码、转码、复用、解复用、流化、过滤和播放几乎所有人类和机器创造的内容。FFmpeg 包…

视频监控平台LntonCVS视频融合共享平台智慧安防视频监控汇聚应用方案

LntonCVS是一款功能强大且灵活部署的安防视频监控平台。它支持多种主流标准协议&#xff0c;包括GB28181、RTSP/Onvif、RTMP等&#xff0c;同时能够兼容海康Ehome、海大宇等厂家的私有协议和SDK接入。该平台不仅提供传统的安防监控功能&#xff0c;还支持接入AI智能分析&#x…

解读vue3源码-响应式篇2

提示&#xff1a;看到我 请让我滚去学习 文章目录 vue3源码剖析reactivereactive使用proxy代理一个对象1.首先我们会走isObject(target)判断&#xff0c;我们reactive全家桶仅对对象类型有效&#xff08;对象、数组和 Map、Set 这样的集合类型&#xff09;&#xff0c;而对 str…

月之暗面科技有限公司(Moonshot AI)内推

月之暗面科技有限公司&#xff08;Moonshot AI&#xff09;内推 公司简介 月之暗面科技有限公司&#xff0c;一家致力于实现通用人工智能&#xff08;AGI&#xff09;的创新企业&#xff0c;其主力产品 Kimi 智能助手&#xff0c;以其超长文本处理能力和多端同步功能&#xff…

215. 数组中的第K个最大元素 347. 前 K 个高频元素(LeetCode热题100)

215. 数组中的第K个最大元素 - 力扣&#xff08;LeetCode&#xff09; 写个快排&#xff0c;使数组升序&#xff0c;返回倒数第k个元素即可 func quickSort(nums []int, l int, r int) {if l > r {return}x : nums[(l r) / 2]i : l - 1j : r 1for i < j {for {iif n…

【HTML入门】第十六课 - 网页中的按钮们

这一小节&#xff0c;我们说一说 html网页 中的按钮。按钮的作用&#xff0c;就是让用户点呗&#xff0c;点了以后触发一些事件&#xff0c;可以做一些事情。 目录 1 input 按钮 一 2 input 按钮二 3 button 按钮 4 链接a标签 5 用其他元素做按钮 6 用图片做一个按钮 1 …

为什么要从C语言开始编程

在开始前刚好我有一些资料&#xff0c;是我根据网友给的问题精心整理了一份「C语言的资料从专业入门到高级教程」&#xff0c; 点个关注在评论区回复“888”之后私信回复“888”&#xff0c;全部无偿共享给大家&#xff01;&#xff01;&#xff01;很多小伙伴在入门编程时。都…

Python学习—open函数,json与pickle知识点,Os模块详解

目录 1. Open函数 2.json与pickle模块 json模块 1. json.dumps() 2. json.dump() 3. json.loads() 4. json.load() pickle 模块 1. pickle.dumps() 2. pickle.dump() 3. pickle.loads() 4. pickle.load() 3.Os模块 1. Open函数 在Python中&#xff0c;open() 函数…

【大数据】JSON文件解析,对其文本聚类/情感分析

目录 引言 JSON&#xff08;JavaScript Object Notation&#xff09; 文本聚类K-means 基本步骤 优点 缺点 实际应用 情感分析 核心任务与应用场景 算法原理与技术 json数据集 情感分析实现 文本聚类实现 引言 JSON&#xff08;JavaScript Object Notation&#…

AIoTedge 智能边缘物联网平台

AIoTedge智能边缘物联网平台是一个创新的边云协同架构&#xff0c;它为智能设备和系统提供了强大的数据处理和智能决策能力。这个平台的核心优势在于其边云协同架构设计&#xff0c;它优化了数据处理速度&#xff0c;提高了系统的可靠性和灵活性&#xff0c;适用于多种场景&…

华为OD机考题(HJ61 放苹果)

前言 经过前期的数据结构和算法学习&#xff0c;开始以OD机考题作为练习题&#xff0c;继续加强下熟练程度。 描述 把m个同样的苹果放在n个同样的盘子里&#xff0c;允许有的盘子空着不放&#xff0c;问共有多少种不同的分法&#xff1f; 注意&#xff1a;如果有7个苹果和3…

uniapp bug解决:uniapp文件查找失败:‘uview-ui‘ at main.js:14

文章目录 报错内容解决方法main.js 文件中 uView 主 JS 库引入 uView 的全局 SCSS 主题文件内容修改引入 uView 基础样式内容修改配置 easycom 内容修改 报错内容 10:50:51.795 文件查找失败&#xff1a;uview-ui at main.js:14 10:59:39.570 正在差量编译... 10:59:43.213 文…

【Jmeter】记录一次Jmeter实战测试

Jmeter实战 1、需求2、实现2.1、新建线程组2.2、导入参数2.3、新建HTTP请求2.4、添加监听器2.5、结果 1、需求 查询某个接口在高并发场景下的响应时间(loadtime)&#xff0c;需求需要响应在50ms以内&#xff0c;接下来用Jmeter测试一下 Jmeter安装见文章《Jemeter安装教程&am…

[集成学习]基于python的Stacking分类模型的客户购买意愿分类预测

1 导入必要的库 import pandas as pd import numpy as np import missingno as msno import matplotlib.pyplot as plt from matplotlib import rcParams import seaborn as sns from sklearn.metrics import roc_curve, auc from sklearn.linear_model import LogisticRegres…