ElasticSearch7.7.1集群搭建

news2024/9/28 3:28:22

前言

Elasticsearch（ES）是一个基于Apache Lucene的分布式、高扩展、近实时的搜索引擎，主要用于海量数据快速存储、实时检索、高效分析的场景。通过简单易用的RESTful API，Elasticsearch隐藏了Lucene的复杂性，使得全文搜索变得简单。

以下是Elasticsearch的主要特点：

  1. 分布式：由于其分布式特性，Elasticsearch可以将海量数据分散到多台服务器上存储、检索和分析。
  2. 高扩展性：Elasticsearch可以扩展到上百台服务器，支持大规模数据存储和检索。
  3. 近实时性：Elasticsearch提供了近乎实时的搜索和分析功能，数据写入后几乎可以立即进行搜索和分析。
  4. 全文检索：Elasticsearch支持全文检索，能够快速检索数据并返回匹配的结果。
  5. 分布式分析：通过分布式特性，可以在多台服务器上并行处理数据，提高分析效率。
  6. 数据丰富：无论数据是结构化还是非结构化，Elasticsearch都能高效地存储和索引数据，并提供快速检索和分析。
  7. 易于使用：通过RESTful API，Elasticsearch提供了简单易用的接口，方便开发人员进行数据检索和查询。

由于以上特点，Elasticsearch广泛应用于各种业务场景，如维基百科、Stack Overflow、GitHub等均有使用。此外，Elasticsearch也是Elastic Stack的核心组件之一，与其他组件如Logstash、Kibana等配合使用，可以更方便地进行数据收集、处理、分析和可视化等工作。

下面是操通过服务器 3 台实现集群的安装

一、Elasticsearch 集群安装

1、准备工作创建对应安装目录并下载 elasticsearch rpm包

1.1 创建安装目录并下载资源包

mkdir es-node-1-7.7.1
cd es-node-1-7.7.1
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.7.1-x86_64.rpm

效果如图：

1.2 部署前配置，修改limits.conf 文件

注：limits.conf 是 PAM (Pluggable Authentication Modules) 的配置文件，用于设置用户和组的资源限制。通过这个文件，你可以限制用户或组可以使用的系统资源，如 CPU、内存、磁盘空间等。

#修改limits.conf 文件，该文件为通过PAM登录的用户设置资源限制，它不影响系统服务的资源限制。
#这里的 * 标识所有用户
#noproc 是代表最大进程数
#nofile 是代表最大文件打开数
#memlock 最大锁定内存地址空间
#hard limit 严格的设定，必定不能超过这个设定的数值
#soft limit 警告的设定，可以超过这个设定值，但是若超过则有警告信息
#unlimited  无限制
[root@localhost es-node-1-7.7.1 ~] vim /etc/security/limits.conf
hard nofile 65536 # es要求文件数最小为65536
soft nproc 2048
hard nproc 4096
soft memlock unlimited
hard memlock unlimited

#修改sysctl.conf文件，Sysctl是一个允许您改变正在运行中的Linux系统的接口，用sysctl可以读取设置超过五百个系统变量。
[root@localhost es-node-1-7.7.1 ~] vim /etc/sysctl.conf
vm.max_map_count=655360 # 限制一个进程可以拥有的VMA(虚拟内存区域)的数量
fs.file-max=655360 # 系统级打开最大文件句柄的数量永久生效的修改

#使sysctl.conf 修改生效
[root@localhost es-node-1-7.7.1 ~] sysctl -p

2、开始安装

2.1 Root 用户安装

sudo rpm -ivh elasticsearch-7.7.1-x86_64.rpm

2.2 重新加载服务并启动

1、sudo systemctl daemon-reload

注意：sudo systemctl daemon-reload 用于重新加载 systemd 服务的命令。当你修改了 systemd 的服务文件后，需要运行这个命令来使修改生效。这是因为 systemd 服务文件中的配置在修改后并不会自动应用到已运行的服务上，需要通过重新加载来应用新的配置。

如果你在编辑完 systemd 服务文件后直接启动或重启服务，可能会因为配置错误而导致服务无法正常启动。因此，在修改完服务文件后，应该先运行 sudo systemctl daemon-reload 命令，然后再启动或重启服务，以确保配置正确。

请注意，运行 sudo systemctl daemon-reload 命令需要管理员权限，因此需要使用 sudo 命令来执行。

2、sudo systemctl enable elasticsearch.service

用于启用 systemd 服务单元的命令。当你安装了一个服务并将其配置为开机自启时，可以使用这个命令来使其在系统启动时自动启动。

3、sudo systemctl start elasticsearch.service 用于启动 systemd 服务单元的命令

3、创建对应的数据目录和日志目录

创建数据存储目录
mkdir -p /home/app_user/es-node-1-7.7.1/data
mkdir -p /home/app_user/es-node-1-7.7.1/logs/jvmlogs

修改ES目录权限
chown -R app_user:app_user  /etc/elasticsearch/
chown -R app_user:app_user  /usr/share/elasticsearch/
chown -R app_user:app_user  /home/app_user/es-node-1-7.7.1/data      
chown app_user:app_user /etc/sysconfig/elasticsearch
chown -R app_user:app_user /home/app_user/es-node-1-7.7.1/logs/jvmlogs
# 以上操作都是为了赋予app_user用户操作权限

4、安装完生成配置文件

安装完毕后会生成很多文件，包括配置文件日志文件等等，下面几个是最主要的配置文件路径 /etc/elasticsearch/elasticsearch.yml # els的配置文件

/etc/elasticsearch/jvm.options # JVM相关的配置，内存大小等等

/etc/elasticsearch/log4j2.properties # 日志系统定义

/usr/share/elasticsearch # elasticsearch 默认安装目录

/var/lib/elasticsearch # 数据的默认存放位置

5、修改集群配置

5.1 修改elasticsearch.yml配置文件

vim /etc/elasticsearch/elasticsearch.yml

cluster.name: es-7.7.1
node.name: node-1
path.data: /home/app_user/es-node-1-7.7.1/data
path.logs: /home/app_user/es-node-1-7.7.1/logs
network.host: 10.10.1.11
http.port: 9200
transport.port: 9300  # tcp的端口号，默认是9300
discovery.seed_hosts: ["10.10.1.11", "10.10.1.12","10.10.1.13"]
cluster.initial_master_nodes: ["node-1", "node-2"]
http.cors.enabled: true     #是否开启跨域访问
http.cors.allow-origin: "*" #开启跨域访问后的地址限制，*表示无限制

配置文件如图：

elasticsearch.yml 文件的配置本次配置是循环主节点

5.2 JVM的参数修改

$ vim /etc/elasticsearch/jvm.options

-XX:ErrorFile=/home/app_user/es-node-1-7.7.1/logs/jvmlogs/hs_err_pid%p.log

8:-Xloggc:/home/app_user/es-node-1-7.7.1/logs/jvmlogs/gc.log

9-:-Xlog:gc*,gc+age=trace,safepoint:file=/home/app_user/es-node-1-7.7.1/logs/jvmlogs/gc.log:utctime,pid,tags:filecount=32,filesize=64m

详细如图:

注意：JVM（Java虚拟机）的配置文件名为jvm.options，通常位于Java项目的根目录下。该文件用于设置JVM的参数，以优化Java应用程序的性能和行为。

在jvm.options文件中，可以设置各种JVM参数，包括堆内存大小、垃圾回收器选项、JIT编译器选项等。这些参数可以影响Java应用程序的启动速度、内存使用、运行性能等。

5.3 修改elasticsearch的默认启动用户

vim /usr/lib/systemd/system/elasticsearch.service User=app_user Group=app_user

6、启动Elasticsearch

Root用户下执行：

systemctl restart elasticsearch.service

6.1 浏览器访问：

直接在浏览器内输入：http://10.10.1.11:9200/

6.2 服务端直接 curl 请求

curl 请求：curl -i "http://10.10.1.12:9200/"

二、ElasticSearch7.7.1 集群安装 IK 和 pinyin 扩展插件

1、下载并安装扩展插件

1.1 下载 elasticsearch-analysis-ik

https://github.com/medcl/elasticsearch-analysis-ik/releases

1.2 下载 elasticsearch-analysis-pinyin

https://github.com/medcl/elasticsearch-analysis-pinyin/releases

详细如图：

cd /usr/local/tools/elasticsearch/elasticsearch-7.7.1
# 直接下载 ik 扩展插件
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.1/elasticsearch-analysis-ik-7.7.1.zip
# 直接下载 pinyin 扩展插件
wget https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.7.1/elasticsearch-analysis-pinyin-7.7.1.zip

#新建il文件夹
mkdir -P plugins/ik
# 解压到 插件 到ik目录
mv elasticsearch-analysis-ik-7.7.1.zip /ik/
unzip elasticsearch-analysis-ik-7.7.1.zip

# 拼音扩展同样的操作

#切换目录 cd /usr/share/elasticsearch
#查看是否安装完成
bin/elasticsearch-plugin list

1.3 查看安装扩展插件列表

2、重启es，让分词器生效，操作shell如下

2.1 Root用户下执行重启

systemctl restart elasticsearch.service

2.2 或者 jps 查看 elesticsearch 进程杀掉重启

$ kill -9 8448

#重启启动esbin/elasticsearch -d

确保整个es集群上的每台机器都操作了以上步骤后，就可以在kibana上测试了

三、ElasticSearch7.7.1 集群 kibana 看板

1、下载对应版本的 kibana 包

https://elasticsearch.cn/download/#seg-2 官方下载地址

https://artifacts.elastic.co/downloads/kibana/kibana-7.7.1-linux-x86_64.tar.gz

2、下载完kibana 包，直接解压并修改配置文件

kibana 运行用户 app_user

路径：/home/app_user/kibana-7.7.1-linux-x86_64

2.1 修改配置文件 kibana.yml

操作效果如图：

cd /home/app_user
#直接解压
$ tar -zxvf kibana-7.7.1-linux-x86_64.tar.gz
$ cd kibana-7.7.1-linux-x86_64/config/
$ vi kibana.yml

server.port: 5601
server.host: "0.0.0.0"
server.name: "Kibana"
elasticsearch.hosts: ["http://10.10.1.11:9200", "http://10.10.1.12:9200","http://10.10.1.13:9200"]
kibana.index: ".kibana"
kibana.defaultAppId: "home"

# 后台运行Kibana
$ nohup ./bin/kibana &
#或者
#nohup ./bin/kibana >logs/kibana.log 2>&1 &

#浏览器访问
http://10.10.1.11:5601/app/kibana. 
#/home

###
# 查看 kibana 
ps -ef|grep kibana
ps -ef|grep 5601
#都找不到
#使用 fuser -n tcp 5601 - 哎呀有了
kill -9  #端口
ps -ef|grep node 或 netstat -anltp|grep 5601
#启动即可 ./kibana
#后台启动：
nohup …/bin/kibana &

2.2 运行并访问

$ nohup /home/app_user/kibana-7.7.1-linux-x86_64/bin/kibana

最终执行是可以配置后台执行

就这样，Kibana安装完成，可以尝试配置一下吧。

参考文献：

https://blog.csdn.net/LXWalaz1s1s/article/details/111697177

https://www.likecs.com/show-306320469.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1414469.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

kali系统下多版本JDK共存

kali系统下多版本JDK共存

0、前言 从上周末到这周都在做RCE(Remote Command/Code Execute，远程命令执行或者代码执行 )相关漏洞复现，像log4j2漏洞在复现过程用到的JDK有特定版本要求，我的kali虚拟机默认是JDK11，而我又不希望直接删除JDK11，可多…
阅读更多...
Vue2：通过代理服务器解决跨域问题

Vue2：通过代理服务器解决跨域问题

一、场景描述 现在的项目大多数是前后端分离的。Vue前端项目通过ajax去请求后端接口的时候，会有同源策略的限制。从而产生跨域问题。 二、基本概念 1、什么是同源策略？ 就是前端服务和后端服务的协议名，IP或主机名，端口号不完…
阅读更多...
Linux进程间通信（IPC）机制之一：管道（Pipes）详解

Linux进程间通信（IPC）机制之一：管道（Pipes）详解

🎬慕斯主页：修仙—别有洞天 ♈️今日夜电波：Nonsense—Sabrina Carpenter 0:50━━━━━━️💟──────── 2:43 🔄 ◀️ ⏸ ▶️ …
阅读更多...
Maven讲解

Maven讲解

介绍 Maven是一个流行的构建工具和项目管理工具，它主要用于Java项目的构建、依赖管理和项目报告生成。Maven通过提供一致的项目结构、自动化的构建过程和强大的依赖管理，简化了项目的开发和维护过程。 下面是一些Maven的主要特点和用途： 项…
阅读更多...
设计模式—行为型模式之责任链模式

设计模式—行为型模式之责任链模式

设计模式—行为型模式之责任链模式 责任链（Chain of Responsibility）模式：为了避免请求发送者与多个请求处理者耦合在一起，于是将所有请求的处理者通过前一对象记住其下一个对象的引用而连成一条链；当有请求发生时&am…
阅读更多...
Java设计模式-外观模式（11）

Java设计模式-外观模式（11）

大家好，我是馆长！今天开始我们讲的是结构型模式中的外观模式。老规矩，讲解之前再次熟悉下结构型模式包含：代理模式、适配器模式、桥接模式、装饰器模式、外观模式、享元模式、组合模式，共7种设计模式。。 外观模式（Decorator Pattern） 定义 外观（Facade）模式一种通…
阅读更多...
【活动回顾】CSDN 成都城市开发者社区年度聚会 - 圆满结束！

【活动回顾】CSDN 成都城市开发者社区年度聚会 - 圆满结束！

文章目录 前言一、活动介绍二、精彩分享内容2.1、《COC 成都社区情况和活动介绍》2.2、《2023 年你最关注的话题》2.3、《紧跟技术潮流》2.4、《2024 年抓住技术新红利》2.5、一起干饭啦2.6、合影留念 三、亚马逊云科技 User Group3.1、社区介绍3.2、持续招募3.3、微信交流群 总…
阅读更多...
css3表格练习

css3表格练习

1.效果图 2.html <div class"line"></div><h3>获奖名单</h3><!-- 表格 cellspacing内边距 cellpadding外边距--><table cellspacing"0" cellpadding"0" ><!-- thead表头 --><thead><tr>…
阅读更多...
【JavaEE】网络原理: 网络编程套接字(概念)

【JavaEE】网络原理: 网络编程套接字(概念)

目录 1.什么是网络编程 2.网络编程中的基本概念 2.1发送端和接收端 2.2请求和响应 2.3客户端和服务端 3.Socket套接字 4.Socket编程注意事项 1.什么是网络编程 网络编程&#xff0c;指网络上的主机&#xff0c;通过不同的进程&#xff0c;以编程的方式实现网络通信 (…
阅读更多...
程序员的平均结婚年龄

程序员的平均结婚年龄

关于程序员的平均结婚年龄&#xff0c;根据之前的信息&#xff1a; 一项对全球10000名在职程序员的调查数据显示&#xff0c;程序员第一次结婚的平均年龄是39.43周岁。而在中国的部分地区&#xff0c;如北京等地&#xff0c;程序员群体中普遍反映的结婚年龄是在30岁左右。 程序…
阅读更多...
Title: 提升大型语言模型在知识图谱完成中的性能

Title: 提升大型语言模型在知识图谱完成中的性能

基本信息 论文题目: Making Large Language Models Perform Better in Knowledge Graph Completion Making Large Language Models Perform Better in Knowledge Graph Completion (arxiv.org)https://arxiv.org/pdf/2310.06671.pdf 作者: Yichi Zhang, Wen Zhang 机构: Col…
阅读更多...
25考研政治备考计划

25考研政治备考计划

各位小伙伴大家好&#xff0c;今天给大家分享的是25考研政治复习备考计划。 政治没有基础阶段&#xff0c;直接就是强化&#xff0c;强化的内容也就是听课&#xff0c;刷题。 【时间安排】 *7-9月中 徐涛老师或腿姐强化课&#xff0c;推荐刷肖1000 *9月中-10月中 背腿姐的背…
阅读更多...
文件上传之大文件分块上传进度控制处理

文件上传之大文件分块上传进度控制处理

在分块上传内容结束以后的事件监听&#xff0c;我们会实现 unlinkSync 删除临时文件操作&#xff0c;那么试想一下&#xff0c;在这个事件监听中&#xff0c;我们是否可以通过totalChunks以及currentChunk获取当前上传的进度情况呢&#xff1f; 后端 upload上传接口&#xff…
阅读更多...
Go 知识chan

Go 知识chan

Go 知识chan 1. 基本知识1.1 定义1.2 操作1.3 操作限定1.4 chan 读写 2. 原理2.1 数据结构2.2 环形队列2.3 等待队列2.4 类型消息2.5 读写数据2.6 关闭chan 3. 使用3.1 操作符使用3.2 select3.3 for-range https://a18792721831.github.io/ 1. 基本知识 chan是go里面里面提供…
阅读更多...
应用机器学习的建议

应用机器学习的建议

一、决定下一步做什么 在你得到你的学习参数以后&#xff0c;如果你要将你的假设函数放到一组新的房屋样本上进行测试&#xff0c;假如说你在预测房价时产生了巨大的误差&#xff0c;你想改进这个算法&#xff0c;接下来应该怎么办&#xff1f;实际上你可以考虑先采用下面的几种…
阅读更多...
「QT」QString类的详细说明

「QT」QString类的详细说明

✨博客主页何曾参静谧的博客📌文章专栏「QT」QT5程序设计📚全部专栏「VS」Visual Studio「C/C++」C/C++程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「
阅读更多...
并查集:连通块中点的数量

并查集:连通块中点的数量

import java.io.*; import java.util.Scanner;public class Main{static int N 100010;static int[] p new int[N]; //存储每个节点的父亲节点,一开始默认p[i]i;static int[] size new int[N]; //存储每个连通块里含有多少个节点static BufferedReader in new BufferedR…
阅读更多...
数学知识第二期 约数

数学知识第二期 约数

前言 约数也是很重要的基础数学知识&#xff0c;希望大家能够完全掌握&#xff01;&#xff01;&#xff01; 一、约数的知识 简介 约数&#xff0c;又称因数。整数a除以整数b(b≠0) 除得的商正好是整数而没有余数&#xff0c;就说a能被b整除&#xff0c;或b能整除a。a称为b的…
阅读更多...
【Java与网络6】实现一个自己的HTTP浏览器

【Java与网络6】实现一个自己的HTTP浏览器

前面我们讨论了HTTP协议的基本结构和Socket编程的基本原理&#xff0c;本文我们来整个大活&#xff1a;自己实现一个简单的浏览器。 目录 1.主线程循环体 2.readHostAndPort()方法的实现 3.readHttpRequest()方法的实现 4.sendHttpRequest()方法的实现 5.readHttpRespons…
阅读更多...
vector迭代器失效

vector迭代器失效

目录 迭代器失效的场景 insert插入元素时迭代器失效 erase删除元素时迭代器失效 本期我们主要进行vector迭代器失效问题的讨论。 迭代器失效的场景 insert插入元素时迭代器失效 先看代码&#xff1a; iterator insert(iterator pos, T val){assert(pos > _start);ass…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023