ElasticSearch集群部署系统参数配置调优

news2024/11/20 8:39:38

内存基本要求

参考书籍:[Elasticsearch: 权威指南]节选https://www.elastic.co/guide/cn/elasticsearch/guide/current/hardware.html
在这里插入图片描述

进程数和文件句柄数配置

使用命令查看:

vi /etc/security/limits.conf

在这里插入图片描述
如果没配置,在文件的后面加上配置

* soft nproc 131072
* hard nproc 131072
* soft nofile 131072
* hard nofile 131072

第一列表示用户,*表示所有的用户

  • soft xxx:表示警告的设定,可以超过这个设定的值,但是超过后会有警告
  • hard xxx:表示严格的设定,不允许超过设定的值
  • nproc:每个用户创建进程数的限制
  • nofile:每个进程可以打开的文件数限制
  • soft nproc:单个用户最大进程数量,超过会警告
  • hard nproc:单个用户最大进程数量,超过会报错
  • soft nofile:可以打开的文件最大数,超过会警告
  • hard nofile:可以打开的文件最大数,超过会报错

举例:soft 设为1024,hard设为2048,当你使用数在1到1024之间时可以随便使用,1024到2048时会出现警告信息,大于2048时会直接报错

注意:

  • 一般soft的值会比hard小,也可以设置为相等
  • /etc/security/limits.d/ 里面配置会覆盖/etc/security/limits.conf 的配置
    只有root用户才有权限修改/etc/security/limits.conf
    limits.conf没有做设定,则默认值是1024

虚拟内存设置

操作系统的默认mmap count限制是很低的,可能会导致内存不足的异常。所以需要根据需要修改参数

临时配置:

sysctl -w vm.max_map_count=262144

永久配置,找到配置文件

vi /etc/sysctl.conf

进行配置,在文件后面加上


# 设置虚拟内存大小
vm.max_map_count=262144

验证修改的配置:

sysctl -a|grep vm.max_map_count

如果未生效,重新加载配置文件:

sysctl -p

swap分区设置

swap分区是内存不够用的时候,将部分内存上的数据交换到swap空间,以便让系统不会因为内存不够用而导致oom问题

如果要临时紧用swap

swapoff -a

要永久性禁用swap,需要修改/etc/fstab文件,然后将所有包含swap的行注释

另外一种方法就是通过 /etc/sysctl.conf,将vm.swappiness设置为1,这可以尽量减少Linux内核swap的倾向,在正常的情况下,不会进行swap,但是在紧急情况下,还是会进行swap操作。

# 禁用内存和磁盘交换
vm.swappiness=1

注意:如果设置vm.swappiness为0,表示完全不会swap,在内存不够用时,也不会进行交换

这个配置可以根据需要进行配置,在使用ES时候,可以设置为1,提高性能

如果频繁的将ES进程的内存swap到磁盘,肯定会影响性能,内存的操作都是要求快速完成的,如果内存被swap到了磁盘,会影响系统性能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/81908.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

burst buffer技术初探

burst buffer是超算中一种作业加速技术,主要解决全球气候模拟预测建模、流体力学分析、磁性融合、天体物理学、生物分子模拟中浪涌型I/O的情况,burst buffer作为前端计算和后端存储之间的缓冲区,它弥合了计算节点的处理速度与存储系统的I/O带…

Nature:重磅,找到终结新冠的药了,关闭ACE2受体,防止所有变体

新冠病毒,通常通过呼吸道感染人类,并造成呼吸系统和人体各个器官的损伤。自2019年底首次爆发至今,新型冠状病毒仍在全球肆虐,对世界经济、社会造成极大的负面影响。随着新冠病毒的大规模流行,新的病毒突变株不断出现&a…

智能座舱开启「万物交互」新革命,隐形冠军们如何突围?

伴随智能座舱在市场端逐步深入消费者心智,从显示、语音到视觉交互,各细分赛道都在蓬勃发展。 高工智能汽车研究院监测数据显示,2022年1-10月,智能座舱前装搭载量同比增长58.06%%,高阶智能座舱同比增长137.61%&#xf…

老大难的 Java ClassLoader 再不理解就老了

ClassLoader 是 Java 届最为神秘的技术之一,无数人被它伤透了脑筋,摸不清门道究竟在哪里。网上的文章也是一篇又一篇,经过本人的亲自鉴定,绝大部分内容都是在误导别人。本文我带读者彻底吃透 ClassLoader,以后其它的相…

【网络编程】servlet和session

一、servlet 问题一:两个不同客户端请求同一个 servlet,是创建了两个一模一样的 servlet,然后用完之后全部销毁呢,还是只要一个 servlet,tomcat 开启时创建,关闭时销毁? 结论:当 Tomcat 接收…

后端存储实战课——海量数据篇

海量数据导致存储系统慢 拆,将一大坨数据拆分成 N 个小坨,学名「分片」。 归档历史数据 将大量的不常用的历史数据移到另外一张历史表中,大概流程: 批量删除大量数据 不能一次性直接删除,需要分批删除(…

SpringBoot【创建与使用】

SpringBoot【创建与使用】🍎一.SpringBoot是什么🍒1.1 SpringBoot的优点🍎二.SpringBoot的创建🍒2.1 使⽤ Idea 中央源创建🍉2.1.1 下载插件🍉2.1.2 创建项目🍉2.1.3 项目的加载🍉2.…

倪健中:全球元宇宙与中国文化精神 | 钱学森诞辰111周年系列活动开幕仪式

编者按: 倪健中会长出席纪念“中国元宇宙之父”钱学森诞辰111周年线上开幕式并发表了云致辞。 在致辞中,倪会长高度崇敬和赞扬钱学森对中国元宇宙事业做出的伟大贡献。我们因钱老的伟大思想,在探索元宇宙与中国传统文化哲学的融合进程中&…

【Kafka从成神到升仙系列 五】面试官问我 Kafka 生产者的网络架构,我直接开始从源码背起.......

👏作者简介:大家好,我是爱敲代码的小黄,独角兽企业的Java开发工程师,CSDN博客专家,Java领域新星创作者📕系列专栏:Java设计模式、数据结构和算法、Kafka从入门到成神、Kafka从成神到…

Spring 6 源码编译和高效阅读源码技巧分享

一. 前言 Spring Boot 3 RELEASE版本于 2022年11月24日 正式发布,相信已经有不少同学开始准备新版本的学习了,不过目前还不建议在实际项目中做升级,毕竟还有很多框架和中间件没出适配版本。此次Spring Boot里程碑的升级也要求了最低JDK 17 和…

风靡互联网关键词 Web3.0 | 区块链 | 元宇宙……

💗wei_shuo的个人主页 💫wei_shuo的学习社区 🌐Hello World ! Web web是互联网的总称,全称为World Wide Web,缩写WWW ,即全球广域网,也称为万维网,它是一种基于超文本和H…

nacos--基础--1.4--理论--原理

nacos–基础–1.4–理论–原理 1、基本架构 2、Nacos 原理 2.1、信息的同步主要的几种方式 push (服务端主动push)pull (客户端的轮询), 超时时间比较短long pull (超时时间比较长) 2.2、配置中心原理 nacos 配置中心就是采用:客户端 long pull 的方式…

新体制SAR——BiDi SAR

1. 概述 TerraSAR的相控阵天线具备方位向和距离向二维电扫能力,在这一能力的基础上,TerraSAR可以工作在条带模式、ScanSAR模式、滑聚模式和TOPS模式(TOPS是实验模式,不是主模式)。载荷的PRF可以设计在3-6.5kHz&#xf…

【笔试强训】Day 7

🌈欢迎来到笔试强训专栏 (꒪ꇴ꒪(꒪ꇴ꒪ )🐣,我是Scort目前状态:大三非科班啃C中🌍博客主页:张小姐的猫~江湖背景快上车🚘,握好方向盘跟我有一起打天下嘞!送给自己的一句鸡汤&#x…

安科瑞AcrelEMS-SW智慧水务能效管理平台解决方案

系统概述 安科瑞电气具备从终端感知、边缘计算到能效管理平台的产品生态体系,AcrelEMS-SW智慧水务能效管理平台通过在污水厂源、网、荷、储、充的各个关键节点安装保护、监测、分析、治理装置,用于监测污水厂能耗总量和能耗强度,重点监测主要…

2022年史上最全Java面试题:数据结构+算法+JVM+线程+finalize+GC

基本概念 操作系统中 heap 和 stack 的区别 什么是基于注解的切面实现 什么是 对象/关系 映射集成模块 什么是 Java 的反射机制 什么是 ACID BS与CS的联系与区别 Cookie 和 Session的区别 fail-fast 与 fail-safe 机制有什么区别 get 和 post请求的区别 Interface 与 …

服务端高并发分布式架构演进之路

1. 概述 本文以淘宝作为例子,介绍从一百个到千万级并发情况下服务端的架构的演进过程。同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知。文章最后汇总了一些架构设计的原则。 特别说明:本文以淘宝为例仅仅是为…

如何入门学python,这是很值得借鉴的学习方法

前言 众所周知,python的应用领域十分广泛,无论是对于专业的程序员还是从事其他工作的人,python这门编程语言都非常值得学习。 但对于零基础的人来说,该如何入门python编程呢? 虽然现在网上有关python编程的教程很多…

PyFlink系列之一:PyFlink安装和PyFlink使用的详细技术

PyFlink系列之一:PyFlink安装和PyFlink使用的详细技术一、下载PyFlink二、创建TableEnvironment三、TableEnvironment API1.Table/SQL 操作2.执行/解释作业3.创建/删除用户自定义函数4.依赖管理5.配置四、Catalog APIs五、Statebackend,Checkpoint 以及重…

小程序图片加载失败binderror方法处理

场景:我们在小程序项目中的一个图片列表,当某些图片加载失败后,直接显示空白,这样用户体验不好,为了解决当图片加载失败,我们给一个默认图片代替,参考官方给的图片加载失败的处理方法&#xff1…