ELK之路第一步——Elasticsearch集群的搭建以及踩坑记录

news2024/11/23 18:58:32

elasticSearch集群

  • 前言
  • 一、架构
  • 二、下载
  • 三、虚拟机相关设置
    • 3.1 创建es用户
    • 3.2 为建es用户赋权sudo
    • 3.3 更换es目录所属用户
  • 四、Elasticsearch配置文件修改
    • 4.1 修改elasticsearch.yml
    • 4.2 修改jvm.options
    • 4.3 修改jdk路径
  • 五、启动
  • 六、启动报错
  • 七、可视化界面cerebro

前言

Elk（Elasticsearch, Logstash, Kibana），一套分布式日志收集、存储和展示方案。
本来满怀信心开始学习这个系列，但是发现它并没有那么简单，所以打算从地基开始，一步步盖楼，从而达到目的，本文是ELK系列的第一篇。因为jdk版本的原因，本文Elasticsearch版本为：7.3.0,需要jdk11

一、架构

我打算用三台虚拟机来实现集群，一台master，两台数据节点。IP和Node名字分别为：
172.16.72.130 node-1
172.16.72.133 node-2
172.16.72.134 node-3

PS:接下来的操作，三台虚拟机操作都是一样的，我拿一台举例，其他两台照着做就行

二、下载

选择一个位置下载，我这里创建的是/usr/local/es目录

  • 去官网下载：https://www.elastic.co/cn/downloads/past-releases#elasticsearch，需要梯子，而且速度有点慢
  • 第二个就是选择国内镜像，我这里选华为的
wget https://mirrors.huaweicloud.com/elasticsearch/7.3.0/elasticsearch-7.3.0-linux-x86_64.tar.gz
wget https://mirrors.huaweicloud.com/elasticsearch/7.3.0/elasticsearch-7.3.0-linux-x86_64.tar.gz.sha512

解压

tar -zxvf elasticsearch-7.3.0-linux-x86_64.tar.gz

三、虚拟机相关设置

3.1 创建es用户

elasticSearch不允许使用root用户启动，不然会报错

用root用户执行：

//创建es用户
useradd es
//为es用户设置密码，这很重要
passwd es es

3.2 为建es用户赋权sudo

如果没有sudo命令的，安装：yum install sudo -y
root用户执行

vim etc/sudoers

打开是这样的，我截取了部分，找到root ALL=(ALL) ALL这一行，跟在它下面 复制一行，添加
es ALL=(ALL) ALL，其中es就是我们3.1新建的用户名。

## Next comes the main part: which users can run what software on 
## which machines (the sudoers file can be shared between multiple
## systems).
## Syntax:
##
##      user    MACHINE=COMMANDS
##
## The COMMANDS section may have other options added to it.
##
## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL
es    ALL=(ALL)     ALL

3.3 更换es目录所属用户

cd到解压目录

/usr/local/es/elasticsearch-7.3.0

递归更改elasticsearch-7.3.0下所有文件所属为es

chown -R es /usr/local/es/elasticsearch-7.3.0

在这里插入图片描述

四、Elasticsearch配置文件修改

本小节所有操作都用root用户，当然也可以切换到es，但是这样每个操作都要加sudo非常麻烦，我们启动的时候再切换用户就好。

4.1 修改elasticsearch.yml

进入config目录，先备份以前的

cp elasticsearch.yml elasticsearch.yml.bak

编辑

vim elasticsearch.yml

因为我们是三台集群，为了方便，我就把三台机器的配置全部放在这一起了，大家后面分开复制各自的就行了。
重点讲一下：http.port是你访问网页的时候的端口，transport.tcp.port是节点通信间的端口，如果你在一台机器上部署两个节点，记得端口不能一样，下面discovery.seed_hosts也要用节点通信端口。

# node-1
cluster.name: elk-cluster
node.name: node-1
node.master: true
node.data: false
node.ingest: false
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["172.16.72.130:9300","172.16.72.133:9300","172.16.72.134:9300"]
cluster.initial_master_nodes: ["node-1"]

#node-2
cluster.name: elk-cluster
node.name: node-2
node.master: true
node.data: true
node.ingest: false
network.host: 0.0.0.0
##节点间通信端口
http.port: 9300
transport.tcp.port: 
discovery.seed_hosts: ["172.16.72.130:9300","172.16.72.133:9300","172.16.72.134:9300"]

#node-3
cluster.name: elk-cluster
node.name: node-3
node.master: true
node.data: true
node.ingest: false
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["172.16.72.130:9300","172.16.72.133:9300","172.16.72.134:9300"]

4.2 修改jvm.options

  1. 修改启动内存：

    vim jvm.options

    这里主要修改启动内存，默认是4g，我这里改成256m，这个根据你自己服务器硬件来定
    -Xms256m
    -Xmx256m

  2. 修改gc，在GC configuration这一行下面
    修改为G1GC，因为我用的jdk11。

    -XX:+UseG1GC

    不修改会报错：
    OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.

4.3 修改jdk路径

Elasticsearch是自带jdk的，但是大多数，我们的开发环境中已经有了jdk，我们cd到bin目录下

vim elasticsearch-env

来看看这个是怎么判断es是怎么判定自带的jdk和我们自己的jdk的

# now set the classpath
ES_CLASSPATH="$ES_HOME/lib/*"

# now set the path to java
if [ ! -z "$JAVA_HOME" ]; then
  JAVA="$JAVA_HOME/bin/java"
else
  if [ "$(uname -s)" = "Darwin" ]; then
    # OSX has a different structure
    JAVA="$ES_HOME/jdk/Contents/Home/bin/java"
  else
    JAVA="$ES_HOME/jdk/bin/java"
  fi
fi

通过脚本得知，es会先去找我们系统的jdk，如果没找到，就会用自己的jdk路径，也就是$ES_HOME下面的
修改为：

 if [ "$(uname -s)" = "Darwin" ]; then
   # macOS has a different structure
   JAVA="$ES_HOME/jdk.app/Contents/Home/bin/java"
 else
   JAVA="$ES_HOME/jdk/bin/java"
 fi
 JAVA_TYPE="bundled jdk"

如果上面办法不行，用下面这个办法，修改bin下的elasticsearch文件，在第二行位置添加如下内容：
JAVA_HOME就是你jdk的位置。

export JAVA_HOME=/***
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar

五、启动

1.切换用户

su es

2.开放端口

# 放行9200端口和9300端口，不放行9300端口，节点间无法通信，集群还是搭建不起来
firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --zone=public --add-port=9300/tcp --permanent
# 重新加载防火墙
firewall-cmd --reload

2.cd到bin目录下，后台启动

./elasticsearch -d

3.浏览器访问
http://172.16.72.130:9200/
我访问了两个，可以看到集群已经搭建好了
在这里插入图片描述
在这里插入图片描述

六、启动报错

  1. No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender
    你没有切换用户，用root启动的，然后切换到es再启动就会报错，因为用root启动将文件的所属权变了，你需要重新执行chown来更改为es
  2. max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
    echo "vm.max_map_count=262144" > /etc/sysctl.conf
sysctl -p
  3. max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
    sudo vim /etc/security/limits.conf
# 加入以下内容
* soft nofile 300000
* hard nofile 300000
* soft nproc 102400
* soft memlock unlimited
* hard memlock unlimited
  4. Caused by: java.lang.RuntimeException: can not run elasticsearch as root
    你用root用户启动了，切换为es，执行 su es
  5. ElasticSearch–warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
    或者
    warning: ignoring JAVA_HOME=C:\Program Files\Java\jdk1.8.0_191； using bundled JDK
    4.3节提到的，es自带jdk和本身jdk冲突的问题，解决了就不会报错了
  6. 一些权限问题
    记得用chown切换用户，如果还是不行 用chmod 755 来赋权，特别是日志问价你的读写权
  7. with the same id but is a different node instance];
    这是你用一台机器搭建两个节点的时候，copy包的时候导致重复了，建议保留一个节点的目录，另一个重新解压

七、可视化界面cerebro

es的集群肯定需要一个可视化界面来管控，我这里用的是cerebro，当然你也可以用Elasticsearch-head，不过Elasticsearch-head太老了，界面又难看，这个你随意。

  1. 进入GitHub官网：https://github.com/lmenezes/cerebro/releases，选择最新版本的v0.9.4，cerebro也好久没更新了，不过能用就行。
  2. 解压后启动
    端口和ip改成自己的，默认端口是9000，记得去防火墙开放端口
bin/cerebro -Dhttp.port=1234 -Dhttp.address=192.168.182.110
  1. 浏览器访问
    http://192.168.182.110:1234/
  2. 连接我们的主节点，就是上面部署的node1节点。
    在这里插入图片描述

可以看到我们三个节点都是OK了的
在这里插入图片描述

后面本人还要深入研究Elasticsearch，可能会对本文做内容的补充，也会单独开一篇文章讲Elasticsearch的使用，大家多多关注哦。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2224107.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

springboot080房屋租赁管理系统的设计与实现(论文+源码)_kaic

springboot080房屋租赁管理系统的设计与实现(论文+源码)_kaic

毕 业 设 计（论 文） 题目：房屋租赁管理系统的设计与实现 摘 要 互联网发展至今，无论是其理论还是技术都已经成熟，而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播，搭配信息管理工具可以很好…
阅读更多...
Linux 基础io_ELF_虚拟物理地址_动态库加载

Linux 基础io_ELF_虚拟物理地址_动态库加载

1.可执行程序格式 ELF [wwshcss-ecs-178e myshell]$ ll total 56 -rw-rw-r-- 1 wws wws 92 Oct 17 19:14 file -rw-rw-r-- 1 wws wws 82 Oct 12 16:51 makefile -rw-r--r-- 1 wws wws 90 Oct 17 19:13 myfile -rwxrwxr-x 1 wws wws 20128 Oct 16 21:02 myshell -rw-r…
阅读更多...
005：航空力学基础、无人机操纵、飞机性能

005：航空力学基础、无人机操纵、飞机性能

摘要：本文详细介绍无人机稳定性、操控性、飞机性能等概念。 一、飞机的稳定性 概念： 飞机的稳定性（安定性），是指在飞机受到扰动后，不经飞行员操纵，能恢复到受扰动前的原始状态（即原…
阅读更多...
萤石设备视频接入平台EasyCVR私有化视频平台变电站如何实现远程集中监控？

萤石设备视频接入平台EasyCVR私有化视频平台变电站如何实现远程集中监控？

一、方案背景 随着城市经济的发展和电力系统的改造，变电站的数量和规模逐渐增加，对变电站的安全管理和监控需求也越来越高。视频监控系统作为重要的安全管理手段，在变电站中起到了关键的作用。 目前青犀视频研发的萤石设备视频接入平台EasyC…
阅读更多...
刷题 - 图论

刷题 - 图论

1 | bfs/dfs | 网格染色 200. 岛屿数量 访问到马上就染色（将visited标为 true)auto [cur_x, cur_y] que.front(); 结构化绑定（C17）也可以不使用 visited数组，直接修改原始数组时间复杂度: O(n * m)，最多将 visited 数…
阅读更多...
生信软件39 - GATK最佳实践流程重构，提高17倍分析速度的LUSH流程

生信软件39 - GATK最佳实践流程重构，提高17倍分析速度的LUSH流程

1. LUSH流程简介 基因组测序通常用于分子诊断、分期和预后，而大量测序数据在分析时间方面提出了挑战。 对于从FASTQ到VCF的整个流程，LUSH流程在非GVCF和GVCF模式下都大大降低了运行时间，30 X WGS数据耗时不到2 h，从BAM到VCF约需…
阅读更多...
力扣143：重排链表

力扣143：重排链表

给定一个单链表 L 的头节点 head ，单链表 L 表示为： L0 → L1 → … → Ln - 1 → Ln请将其重新排列后变为： L0 → Ln → L1 → Ln - 1 → L2 → Ln - 2 → … 不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。 示…
阅读更多...
【已解决】C# NPOI如何在Excel文本中增加下拉框

【已解决】C# NPOI如何在Excel文本中增加下拉框

前言 上图&#xff01; 解决方法 直接上代码&#xff01;&#xff01;&#xff01;&#xff01;综合了各个大佬的自己修改了一下&#xff01;可以直接规定在任意单元格进行设置。 核心代码方法块 #region Excel增加下拉框/// <summary>/// 增加下拉框选项/// </s…
阅读更多...
在 Ubuntu 上安装 OpenCV 3.2.0 的详细指南

在 Ubuntu 上安装 OpenCV 3.2.0 的详细指南

以下步骤将指导您如何在 Ubuntu 系统上从源码编译并安装 OpenCV 3.2.0。 步骤 1&#xff1a;更新系统并安装必备工具 首先&#xff0c;更新您的系统并安装编译 OpenCV 所需的基本工具和库。 sudo apt-get update sudo apt-get upgrade sudo apt-get install build-essential…
阅读更多...
docker 可用镜像服务地址（2024.10.25亲测可用）

docker 可用镜像服务地址（2024.10.25亲测可用）

1.错误 Error response from daemon: Get “https://registry-1.docker.io/v2/” 原因&#xff1a;镜像服务器地址不可用。 2.可用地址 编辑daemon.json&#xff1a; vi /etc/docker/daemon.json内容修改如下&#xff1a; {"registry-mirrors": ["https://…
阅读更多...
C++进阶之路：日期类的实现、const成员（类与对象_中篇）

C++进阶之路：日期类的实现、const成员（类与对象_中篇）

✨✨ 欢迎大家来访Srlua的博文&#xff08;づ&#xffe3;3&#xffe3;&#xff09;づ╭❤&#xff5e;✨✨ &#x1f31f;&#x1f31f; 欢迎各位亲爱的读者&#xff0c;感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢&#xff0c;在这里我会分享我的知识和经验。&am…
阅读更多...
Qt之QCamera的简单使用

Qt之QCamera的简单使用

文章目录 一、相机操作相关示例1.摄像头操作内容使用示例2.摄像头信息展示使用示例3.摄像头设置切换、预览操作示例 二、相机使用个人操作理解1.相机类支持信息获取2.相机类曝光、焦点、图像处理控制信息获取3.快速启动相机设置&#xff08;各个设备处于理想状态&#xff09; 三…
阅读更多...
内网穿透：如何借助Cloudflare连接没有公网的电脑的远程桌面(RDP)

内网穿透：如何借助Cloudflare连接没有公网的电脑的远程桌面(RDP)

内网穿透&#xff1a;如何借助Cloudflare连接没有公网的电脑的远程桌面(RDP)-含详细原理配置说明介绍 前言 远程桌面协议(RDP, Remote Desktop Protocol)可用于远程桌面连接&#xff0c;Windows系统&#xff08;家庭版除外&#xff09;也是支持这种协议的&#xff0c;无需安装…
阅读更多...
基础数据结构——队列（链表实现，数组实现）

基础数据结构——队列（链表实现，数组实现）

1.概述 计算机科学中&#xff0c;queue 是以顺序的方式维护的一组数据集合&#xff0c;在一端添加数据&#xff0c;从另一端移除数据。习惯来说&#xff0c;添加的一端称为尾&#xff0c;移除的一端称为头&#xff0c;就如同生活中的排队买商品 接口信息如下 public interfa…
阅读更多...
Java如何实现PDF转高质量图片

Java如何实现PDF转高质量图片

大家好&#xff0c;我是 V 哥。在Java中&#xff0c;将PDF文件转换为高质量的图片可以使用不同的库&#xff0c;其中最常用的库之一是 Apache PDFBox。通过该库&#xff0c;你可以读取PDF文件&#xff0c;并将每一页转换为图像文件。为了提高图像的质量&#xff0c;你可以指定分…
阅读更多...
卷积神经网络评价指标

卷积神经网络评价指标

1.评价指标的作用 1. 性能评估&#xff1a;评价指标提供了一种量化的方式来衡量CNN模型的性能。通过这些指标&#xff0c;我们可以了解模型在特定任务上的表现&#xff0c;比如图像分类、目标检测或图像分割等。 2. 模型比较&#xff1a;不同的模型架构或训练策略可能会产生不…
阅读更多...
Pytest-Bdd-Playwright 系列教程（2）：支持在多浏览器、多环境中执行测试

Pytest-Bdd-Playwright 系列教程（2）：支持在多浏览器、多环境中执行测试

Pytest-Bdd-Playwright 系列教程&#xff08;2&#xff09;&#xff1a;支持在多浏览器、多环境中执行测试 前言一、 修改 conftest.py 文件二、创建配置文件三、修改search_steps.py文件四、运行测试 前言 学会本文教程内容后&#xff0c;你将掌握&#xff1a; 通过本文的学…
阅读更多...
重构案例：将纯HTML/JS项目迁移到Webpack

重构案例：将纯HTML/JS项目迁移到Webpack

我们已经了解了许多关于 Webpack 的知识&#xff0c;但要完全熟练掌握它并非易事。一个很好的学习方法是通过实际项目练习。当我们对 Webpack 的配置有了足够的理解后&#xff0c;就可以尝试重构一些项目。本次我选择了一个纯HTML/JS的PC项目进行重构&#xff0c;项目位于 GitH…
阅读更多...
深度学习案例：带有一个隐藏层的平面数据分类

深度学习案例：带有一个隐藏层的平面数据分类

该案例来自吴恩达深度学习系列课程一《神经网络和深度学习》第三周编程作业&#xff0c;作业内容是设计带有一个隐藏层的平面数据分类。作业提供的资料包括测试实例&#xff08;testCases.py&#xff09;和任务功能包&#xff08;planar_utils.py&#xff09;&#xff0c;下载请…
阅读更多...
Jetpack架构组件_LiveData组件

Jetpack架构组件_LiveData组件

1.LiveData初识 LiveData:ViewModel管理要展示的数据&#xff08;VM层类似于原MVP中的P层&#xff09;&#xff0c;处理业务逻辑&#xff0c;比如调用服务器的登陆接口业务。通过LiveData观察者模式&#xff0c;只要数据的值发生了改变&#xff0c;就会自动通知VIEW层&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023