深入解析 Elasticsearch 集群配置文件参数

news2024/12/20 20:27:00

在自建 Elasticsearch 集群时,我们需要通过 elasticsearch.yml 文件对节点角色、网络设置、集群发现和数据存储路径等进行灵活配置。配置项的合理设置对集群的稳定性、性能与扩展性影响深远。本文将以一个示例配置文件为蓝本,逐条解析各参数的含义与建议用法。

以下为示例配置文件片段(IP 地址与节点名称使用泛指占位,实际部署中请根据实际情况替换):

cluster.name: my-application
node.name: node-2
path.data: /data/data
path.logs: /data/logs
network.host: 0.0.0.0
network.publish_host: <NODE_IP>
node.attr.ip: <NODE_IP>
http.port: 9200
discovery.seed_hosts: ['<IP_1>', '<IP_2>', '<IP_3>', ...]
cluster.initial_master_nodes: ['node-1', 'node-2', 'node-3']
action.destructive_requires_name: true
node.roles: [master]

下面我们将逐项进行说明。


1. 集群与节点命名

cluster.name: my-application

  • 作用:定义集群的名称。
  • 含义:Elasticsearch 在同一网络中可以存在多个集群,通过给定独立的 cluster.name,可使节点只加入对应名称的集群。
  • 建议:为集群选择有意义的命名方案,便于在多集群环境中识别。

node.name: node-2

  • 作用:指定该节点在集群中的唯一名称。
  • 含义:人类可读的节点名称有助于在运维与监控中快速定位问题节点。
  • 建议:为节点名称使用统一规则(如 node-1、node-2)或使用有意义的别名。

2. 存储与日志路径

path.data: /data/data

  • 作用:定义存储 Elasticsearch 索引数据的目录。
  • 含义:此目录应有足够的磁盘容量和高 IO 性能。
  • 建议:在生产环境中使用独立存储卷(如 SSD),并确保权限和磁盘空间充足。

path.logs: /data/logs

  • 作用:定义 Elasticsearch 日志文件的存放路径。
  • 含义:日志有助于故障排查与审计分析。
  • 建议:单独的日志目录便于日志轮转和监控,确保不与数据目录混用,以便更好地管理。

3. 网络配置

network.host: 0.0.0.0

  • 作用:设置 Elasticsearch 监听的网络接口地址。
  • 含义:0.0.0.0 表示监听所有网卡的 IP 地址,以便节点对集群内或外部请求开放访问。
  • 建议:生产中可能希望更严格的访问控制,可设置为内网 IP 或使用防火墙限制访问。

network.publish_host: <NODE_IP>

  • 作用:节点将该 IP 通告给集群中的其他节点作为其可访问地址。
  • 含义:当集群节点相互通信时,将使用 publish_host 指定的地址来连接。
  • 建议:确保此 IP 为集群内其他节点可访问的稳定内网地址。

node.attr.ip: <NODE_IP>

  • 作用:为节点添加自定义属性(如 ip 属性),在做 shard 分配或路由策略时可利用该属性。
  • 含义:属性标签可在 Elasticsearch 中用于 shard 分配过滤(allocation filtering),从而把数据分配到特定节点上。
  • 建议:仅在有高级调度和部署策略需求时使用此特性。

http.port: 9200

  • 作用:指定 Elasticsearch HTTP 接口监听的端口(用于查询、索引和 REST API 访问)。
  • 建议:默认是 9200,可根据需要更改。确保安全组/防火墙已开放此端口。

4. 集群发现与初始配置

discovery.seed_hosts: ['<IP_1>', '<IP_2>', '<IP_3>', ...]

  • 作用:定义最初用于集群发现的节点列表。
  • 含义:当新加入的节点启动时,会连接此列表中的种子节点以获取集群信息,并与主节点通信。
  • 建议:列出集群中多个已知节点的内网 IP 地址,可提升集群发现的可靠性。

cluster.initial_master_nodes: ['node-1', 'node-2', 'node-3']

  • 作用:在首次启动集群或全新集群节点时定义初始主节点投票成员。
  • 含义:通过此配置,Elasticsearch 能在第一次启动时选举出主节点,避免集群处于无主状态。
  • 建议:只在全新部署集群时设置,一旦集群形成后,通常无需再次修改。

5. 安全与危险操作限制

action.destructive_requires_name: true

  • 作用:防止在执行删除索引操作时使用通配符(如 _all*)导致误删所有索引。
  • 含义:要求对 destructive 操作(如 DELETE /index*)明确指定索引名称,提升数据安全性。
  • 建议:在生产环境中务必开启该设置,以减少误操作风险。

6. 节点角色配置

node.roles: [master]

  • 作用:指定节点角色,如 masterdataingest 等。此处仅以 master 为例。
  • 含义:主节点负责集群元数据管理、节点故障检测和分片分配决策,而数据节点负责存储和查询数据,ingest 节点负责预处理数据管道。
  • 建议:将节点角色分离有助于提升集群稳定性和性能(如在大型集群中,有专门的 master-only 节点)。根据实际需求设置适合的角色组合。

总结

通过上面的参数解析,我们可以看出 elasticsearch.yml 文件对 Elasticsearch 集群运行行为有着关键影响。从基础的集群和节点命名,到数据和日志存储,再到网络配置和集群发现机制,每个参数都与集群的稳定性、可扩展性和安全性息息相关。

在实践中,请根据以下建议进行配置:

  1. 清晰定义集群和节点名称:易于识别和管理。
  2. 独立存储数据与日志:为数据提供高性能与安全的持久化存储。
  3. 安全的网络设置:使用内网 IP 作为 publish_host,根据需要限制访问。
  4. 合理的发现和主节点配置:确保集群在初次启动时能正常选举主节点,并有足够的 seed 节点进行自动发现。
  5. 安全保护措施:开启 action.destructive_requires_name 避免误操作。
  6. 明确分配节点角色:根据业务规模和查询/索引需求进行角色分离,提升集群性能和可靠性。

通过理解并合理配置这些参数,您将能够搭建一个高效、稳定且易于扩展的 Elasticsearch 集群,为上层应用和数据分析业务提供坚实基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2262895.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

着色器 (三)

今天&#xff0c;是我们介绍opengl着色器最后一章&#xff0c;着色器(Shader)是运行在GPU上的小程序。这些小程序为图形渲染管线的某个特定部分而运行。从基本意义上来说&#xff0c;着色器只是一种把输入转化为输出的程序。着色器也是一种非常独立的程序&#xff0c;因为它们之…

leetcode:3285. 找到稳定山的下标(python3解法)

难度&#xff1a;简单 有 n 座山排成一列&#xff0c;每座山都有一个高度。给你一个整数数组 height &#xff0c;其中 height[i] 表示第 i 座山的高度&#xff0c;再给你一个整数 threshold 。 对于下标不为 0 的一座山&#xff0c;如果它左侧相邻的山的高度 严格大于 thresho…

深度学习之超分辨率算法——SRGAN

更新版本 实现了生成对抗网络在超分辨率上的使用 更新了损失函数&#xff0c;增加先验函数 SRresnet实现 import torch import torchvision from torch import nnclass ConvBlock(nn.Module):def __init__(self, kernel_size3, stride1, n_inchannels64):super(ConvBlock…

集成方案 | Docusign + 金蝶云,实现合同签署流程自动化!

本文将详细介绍 Docusign 与金蝶云的集成步骤及其效果&#xff0c;并通过实际应用场景来展示 Docusign 的强大集成能力&#xff0c;以证明 Docusign 集成功能的高效性和实用性。 在当今商业环境中&#xff0c;流程的无缝整合与数据的实时性对于企业的成功至关重要。金蝶云&…

数据结构----链表头插中插尾插

一、链表的基本概念 链表是一种线性数据结构&#xff0c;它由一系列节点组成。每个节点包含两个主要部分&#xff1a; 数据域&#xff1a;用于存储数据元素&#xff0c;可以是任何类型的数据&#xff0c;如整数、字符、结构体等。指针域&#xff1a;用于存储下一个节点&#…

Service Discovery in Microservices 客户端/服务端服务发现

原文链接 Client Side Service Discovery in Microservices - GeeksforGeeks 原文链接 Server Side Service Discovery in Microservices - GeeksforGeeks 目录 服务发现介绍 Server-Side 服务发现 实例&#xff1a; Client-Side 服务发现 实例&#xff1a; 服务发现介绍…

Git连接远程仓库(超详细)

目录 一、Gitee 远程仓库连接 1. HTTPS 方式 2. SSH公钥方式 &#xff08;1&#xff09;账户公钥 &#xff08;2&#xff09;仓库公钥 仓库的 SSH Key 和账户 SSH Key 的区别&#xff1f;​ 二、GitHub远程仓库连接 1. HTTPS方式 2.SSH公钥方式 本文将介绍如何通过 H…

系列4:基于Centos-8.6 Kubernetes多网卡节点Calico选择网卡配置

每日禅语 不动心”是一个人修养和定力的体现&#xff0c;若一个人心无定力&#xff0c;就会被外界环境左右&#xff0c;随外界的境遇而动摇。佛家认为&#xff0c;心是一切的基础&#xff0c;一个人如果想要真正入定&#xff0c;必须先从修心开始。修心即是净心&#xff0c;心灵…

Docker:Dockerfile(补充四)

这里写目录标题 1. Dockerfile常见指令1.1 DockerFile例子 2. 一些其他命令 1. Dockerfile常见指令 简单的dockerFile文件 FROM openjdk:17LABEL authorleifengyangCOPY app.jar /app.jarEXPOSE 8080ENTRYPOINT ["java","-jar","/app.jar"]# 使…

98. 验证二叉搜索树(java)

题目描述&#xff1a; 给你一个二叉树的根节点 root &#xff0c;判断其是否是一个有效的二叉搜索树。 有效 二叉搜索树定义如下&#xff1a; 节点的左 子树 只包含 小于 当前节点的数。节点的右子树只包含 大于 当前节点的数。所有左子树和右子树自身必须也是二叉搜索树。 …

微软 Phi-4:小型模型的推理能力大突破

在人工智能领域&#xff0c;语言模型的发展日新月异。微软作为行业的重要参与者&#xff0c;一直致力于推动语言模型技术的进步。近日&#xff0c;微软推出了最新的小型语言模型 Phi-4&#xff0c;这款模型以其卓越的复杂推理能力和在数学领域的出色表现&#xff0c;引起了广泛…

libaom 源码分析:熵编码模块介绍

AV1 熵编码原理介绍 关于AV1 熵编码原理介绍可以参考:AV1 编码标准熵编码技术概述libaom 熵编码相关源码介绍 函数流程图 核心函数介绍 av1_pack_bitstream 函数:该函数负责将编码后的数据打包成符合 AV1 标准的比特流格式;包括写入序列头 OBU 的函数 av1_write_obu_header…

JAVA基于百度AI人脸识别签到考勤系统(开题报告+作品+论文)

博主介绍&#xff1a;黄菊华老师《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者&#xff0c;CSDN博客专家&#xff0c;在线教育专家&#xff0c;CSDN钻石讲师&#xff1b;专注大学生毕业设计教育、辅导。 所有项目都配有从入门到精通的基础知识视频课程&#xff…

go 中使用redis 基础用法

1、安装redis 参考链接&#xff1a;https://www.codeleading.com/article/98554130215/ 1.1 查看是否有redis yum 源 yum install redis没有可用的软件包&#xff0c;执行1.2 1.2下载fedora的epel仓库 yum install epel-release --下载fedora的epel仓库1.3启动redis s…

postman添加cookie

点击cookies 输入域名&#xff0c;添加该域名下的cookies 发送改域名下的请求&#xff0c;cookie会自动追加上

简易记事本开发-(SSM+Vue)

目录 前言 一、项目需求分析 二、项目环境搭建 1.创建MavenWeb项目&#xff1a; 2.配置 Spring、SpringMVC 和 MyBatis SpringMVC 配置文件 (spring-mvc.xml)&#xff1a; 配置视图解析器、处理器映射器&#xff0c;配置了CORS&#xff08;跨源资源共享&#xff09;&#x…

vsCode 报错[vue/no-v-model-argument]e‘v-model‘ directives require no argument

在vue3中使用ui库中的组件语法v-model:value时会提示[vue/no-multiple-template-root]The template root requires exactly one element. 引入组件使用单标签时会提示[vue/no-multiple-template-root]“The template root requires exactly one element. 原因&#xff1a; 1.可…

初学stm32 -- SysTick定时器

以delay延时函数来介绍SysTick定时器的配置与使用 首先是delay_init()延时初始化函数&#xff0c;这个函数主要是去初始化SysTick定时器&#xff1b; void delay_init() {SysTick_CLKSourceConfig(SysTick_CLKSource_HCLK_Div8); //选择外部时钟 HCLK/8fac_usSystemCoreCloc…

Gitlab 数据备份全攻略:命令、方法与注意事项

文章目录 1、备份命令2、备份目录名称说明3、手工备份配置文件3.1 备份配置文件3.2 备份ssh文件 4、备份注意事项4.1 停止puma和sicdekiq组件4.2 copy策略需要更多磁盘空间 5、数据备份方法5.1 docker命令备份5.2 kubectl命令备份5.3 参数说明5.4、选择性备份5.5、非tar备份5.6…

selenium工作原理

原文链接&#xff1a;https://blog.csdn.net/weixin_67603503/article/details/143226557 启动浏览器和绑定端口 当你创建一个 WebDriver 实例&#xff08;如 webdriver.Chrome()&#xff09;时&#xff0c;Selenium 会启动一个新的浏览器实例&#xff0c;并为其分配一个特定的…