[000-01-018].第3节：Linux环境下ElasticSearch环境搭建

news2024/11/24 6:27:16

我的后端学习笔记大纲

我的ElasticSearch学习大纲

1.Linux系统搭建ES环境：

1.1.单机版：

a.安装ES-7.8版本

  • 1.下载ES:
    在这里插入图片描述
  • 2.上传与解压：将下载的tar包上传到服务器software目录下，然后解压缩：tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
    在这里插入图片描述
  • 3.将文件名更改成es-cluster:mv elasticsearch-7.8.0 es-cluster:
    在这里插入图片描述
  • 4.将软件分发到另外两台服务器上：
    在这里插入图片描述
  • 5.创建用户： 因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要在每个节点中创建新用户，在 root 用户中创建新用户在这里插入图片描述
  • 6.修改配置文件：修改/opt/module/es/config/elasticsearch.yml 文件，分发文件:
    # 加入如下配置
cluster.name: elasticsearch
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
  • 7.修改/etc/security/limits.conf
    # 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
  • 8.修改/etc/security/limits.d/20-nproc.conf
    # 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称
  • 9.修改/etc/sysctl.conf
    # 在文件中增加下面内容
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360
  • 10.重新加载:sysctl -p
  • 11.启动软件：
    cd /opt/module/es/
#前台启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d
  • 12.测试软件：浏览器中输入地址：http://192.168.148.3:9200/
    在这里插入图片描述

b.安装ES6.8.0版本安装

  • 1.下载ES6.8.0版本安装并上传到服务器上jdk
  • 2.JDK安装：
# 1.在官方网站下载ES
- wget http://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.0.tar.gz

# 2.安装JDK(必须JDK1.8+)
- rpm -ivh jdk-8u181-linux-x64.rpm
/*注意:默认安装位置 /usr/java/jdk1.8.0_171-amd64*/

# 3.配置环境变量
- vim /etc/profile
	在文件末尾加入:
	export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
	export PATH=$PATH:$JAVA_HOME/bin

# 4.重载系统配置
- source /etc/profile
  • 3.安装ES服务：
# 1. ES不能以root用户身份启动必须创建普通用户
- a.在linux系统中创建新的组
		groupadd es
- b.创建新的用户es并将es用户放入es组中
		useradd es -g es 
- c.修改es用户密码
		passwd es
# 2.使用普通用户登录并上传安装包

 3.解压缩elasticsearch
- tar -zxvf elasticsearch-6.4.1.tar.gz
# 4.进入ES安装目录查看目录结构
- bin                         可执行的二进制文件的目录
- config                    	配置文件的目录
- lib                         运行时依赖的库
- logs         								运行时日志文件
- modules											运行时依赖的模块
- plugins                   	可以安装官方以及第三方插件
# 5.进入bin目录中启动ES服务
- ./elasticsearch
- 出现下图红色日志说明启动成功:

# 6.执行如下命令测试客户端操作
- curl http://localhost:9200
  • 3.开启远程连接权限
    • 注意:ES服务默认启动是受保护的,只允许本地客户端连接,如果想要通过远程客户端访问,必须开启远程连接
# 1.开启ES远程访问
- vim elasticsearch.yml 将原来network修改为以下配置:
	network.host: 0.0.0.0

c.Dcoke安装ES

  • 1.我们以安装Elasticsearch-7.4.2版本为例，下载镜像文件：注意版本要对应
docker pull elasticsearch:7.4.2  存储和检索数据
docker pull kibana:7.4.2         可视化检索数据
  • 2.创建elasticsearch实例:
mkdir -p /mydata/elasticsearch/config
mkdir -p /mydata/elasticsearch/data
echo "http.host: 0.0.0.0" >> /mydata/elasticsearch/config/elasticsearch.yml

chmod -R 777 /mydata/elasticsearch/ 保证权限

docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms64m -Xmx512m" \
-v /mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
  • 4.测试：
    在这里插入图片描述

1.2.集群版：

  • 1.Elasticsearch集群规划：
关系型数据库（比如Mysql）非关系型数据库（Elasticsearch）非关系型数据库（Elasticsearch）
centos7hadoop103192.168.148.3
centos7hadoop104192.168.148.4
centos7hadoop105192.168.148.5

a.版本ES-6.8.0集群：

b.版本ES-7.8.0集群：

  • 1.解压压缩包：tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
    在这里插入图片描述
  • 2.将文件名更改成es-cluster:mv elasticsearch-7.8.0 es-cluster:
    在这里插入图片描述
  • 3.创建用户:Elasticsearch 因为安全问题，不允许 root 用户直接运行，所以要在每个节点中创建新用户，在 root 用户中创建新用户
useradd es #新增 es 用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了，可以删除再加
chown -R es:es /opt/module/es-cluster #文件夹所有者

在这里插入图片描述

  • 4.将软件分发到另外两台服务器上：
    在这里插入图片描述
  • 5.配置目录：安装完毕后会生成很多文件，包括配置文件日志文件等等，下面几个是最主要的配置文件路径
    • /opt/module/es-cluster/ # elasticsearch 安装目录
    • /opt/module/es-cluster/config/elasticsearch.yml #elasticsearch的配置文件
    • /opt/module/es-cluster/config/jvm.options #JVM相关的配置，内存大小等等
    • /data/elk1/data # 数据存放路径
    • /data/elk1/logs # 日志存放路径
  • 6.创建用于存放数据与日志的目录:数据文件会随着系统的运行飞速增长，所以默认的日志文件与数据文件的路径不能满足我们的需求，需要手动创建日志与数据文件路径
mkdir -p /data/elk1/data
mkdir -p /data/elk1/logs
  • 7.集群配置：vim /opt/module/es-cluster/config/elasticsearch.yml（yml文件有严格的语法要求，在配置的时候，一定要注意语法，这里容易出现错误）
# 加入如下配置
# #集群名称
 cluster.name: cluster-es
# 节点名称，每个节点的名称不能重复
 node.name: node-1
#ip 地址，每个节点的地址不能重复
 network.host: hadoop103
#是不是有资格主节点
 node.master: true
 node.data: true
 http.port: 9200
## head 插件需要这打开这两个配置
 http.cors.allow-origin: "*"
 http.cors.enabled: true
 http.max_content_length: 200mb
##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
 cluster.initial_master_nodes: ["node-1"]
##es7.x 之后新增的配置，节点发现
 discovery.seed_hosts: ["192.168.148.3:9300","192.168.148.4:9300","192.168.148.5:9300"]
 gateway.recover_after_nodes: 2
 network.tcp.keep_alive: true
 network.tcp.no_delay: true
 transport.tcp.compress: true
##集群内同时启动的数据任务个数，默认是 2 个
 cluster.routing.allocation.cluster_concurrent_rebalance: 16
##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
 cluster.routing.allocation.node_concurrent_recoveries: 16
##初始化数据恢复时，并发恢复线程的个数，默认 4 个
 cluster.routing.allocation.node_initial_primaries_recoveries: 16

# 加入如下配置
# #集群名称
 cluster.name: cluster-es
# 节点名称，每个节点的名称不能重复
 node.name: node-2
#ip 地址，每个节点的地址不能重复
 network.host: hadoop104
#是不是有资格主节点
 node.master: true
 node.data: true
 http.port: 9200
## head 插件需要这打开这两个配置
 http.cors.allow-origin: "*"
 http.cors.enabled: true
 http.max_content_length: 200mb
##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
 cluster.initial_master_nodes: ["node-1"]
##es7.x 之后新增的配置，节点发现
 discovery.seed_hosts: ["192.168.148.3:9300","192.168.148.4:9300","192.168.148.5:9300"]
 gateway.recover_after_nodes: 2
 network.tcp.keep_alive: true
 network.tcp.no_delay: true
 transport.tcp.compress: true
##集群内同时启动的数据任务个数，默认是 2 个
 cluster.routing.allocation.cluster_concurrent_rebalance: 16
##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
 cluster.routing.allocation.node_concurrent_recoveries: 16
##初始化数据恢复时，并发恢复线程的个数，默认 4 个
 cluster.routing.allocation.node_initial_primaries_recoveries: 16

# 加入如下配置
# #集群名称
 cluster.name: cluster-es
# 节点名称，每个节点的名称不能重复
 node.name: node-3
#ip 地址，每个节点的地址不能重复
 network.host: hadoop105
#是不是有资格主节点
 node.master: true
 node.data: true
 http.port: 9200
## head 插件需要这打开这两个配置
 http.cors.allow-origin: "*"
 http.cors.enabled: true
 http.max_content_length: 200mb
##es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
 cluster.initial_master_nodes: ["node-1"]
##es7.x 之后新增的配置，节点发现
 discovery.seed_hosts: ["192.168.148.3:9300","192.168.148.4:9300","192.168.148.5:9300"]
 gateway.recover_after_nodes: 2
 network.tcp.keep_alive: true
 network.tcp.no_delay: true
 transport.tcp.compress: true
##集群内同时启动的数据任务个数，默认是 2 个
 cluster.routing.allocation.cluster_concurrent_rebalance: 16
##添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
 cluster.routing.allocation.node_concurrent_recoveries: 16
##初始化数据恢复时，并发恢复线程的个数，默认 4 个
 cluster.routing.allocation.node_initial_primaries_recoveries: 16
  • 三台机器不一样的elasticsearch.yml配置点如下
node.name: node-1      #192.168.148.3
node.name: node-2      #192.168.148.4
node.name: node-3      #192.168.148.5
network.host: 192.168.148.3	#192.168.148.3
network.host: 192.168.148.4	#192.168.148.4
network.host: 192.168.148.5	#192.168.148.5
  • 8.JVM配置：
    • 由于Elasticsearch是Java开发的，所以可以通过/etc/elasticsearch/jvm.options配置文件来设定JVM的相关设定。如果没有特殊需求按默认即可。
    • 但是其中还是有两项最重要的-Xmx1g与-Xms1gJVM的最大最小内存。如果太小会导致Elasticsearch刚刚启动就立刻停止。太大会拖慢系统本身。
 vim /opt/module/es-cluster/config/jvm.options
-Xms1g   修改为 ===>  -Xms2g
-Xmx1g   修改为 ===>  -Xmx2g
  • 9.修改/etc/sysctl.conf:添加如下配置后并重新加载:sysctl -p：
vm.max_map_count=655360
  • 10.切换用户es后，切到es的安装目录后，启动服务：./bin/elasticsearch

c.使用Docker部署ES集群版:

3.Kinbana环境搭建

  • 1.创建Kinbana实例：
docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.148.3:9200 -p 5601:5601 \
-d kibana:6.8.1
  • 5.访问测试：192.168.148.3:5601
    在这里插入图片描述

4.Logstaish环境搭建：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2059048.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

logstash入门学习

logstash入门学习

1、入门示例 1.1、安装 Redhat 平台 rpm --import http://packages.elasticsearch.org/GPG-KEY-elasticsearch cat > /etc/yum.repos.d/logstash.repo <<EOF [logstash-5.0] namelogstash repository for 5.0.x packages baseurlhttp://packages.elasticsearch.org…
阅读更多...
以太坊 Pectra 升级四个月倒计时，哪些更新值得期待？

以太坊 Pectra 升级四个月倒计时，哪些更新值得期待？

撰文&#xff1a;Ignas&#xff0c;DeFi Research 编译&#xff1a;J1N&#xff0c;Techub News 现在市场有充分的理由看空以太坊。因为自 2023 年初的市场低点以来&#xff0c; SOL 的涨幅比以太坊高 6.8 倍&#xff0c; 过去两年内 ETH/BTC 交易对的跌幅为 47%。 现在是以太…
阅读更多...
Maven高级使用指南

Maven高级使用指南

在开发大型项目时&#xff0c;Maven作为一个强大的构建和项目管理工具&#xff0c;能显著提升项目管理和构建的效率。然而&#xff0c;随着项目的扩大&#xff0c;维护和管理的复杂性也随之增加。本文将探讨一些高级的Maven用法和解决方案&#xff0c;以帮助你更好地管理大型项…
阅读更多...
在ISIS中什么是IP从地址

在ISIS中什么是IP从地址

&#x1f3c6;本文收录于《CSDN问答解惑-专业版》专栏&#xff0c;主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案&#xff0c;希望能够助你一臂之力&#xff0c;帮你早日登顶实现财富自由&#x1f680;&#xff1b;同时&#xff0c;欢迎大家关注&&收…
阅读更多...
win11安装python及pycharm与webots联合仿真

win11安装python及pycharm与webots联合仿真

1、查看Windows系统 是否已安装Python及版本 【冰糖Python】Windows系统 查看已安装的Python版本_怎么确定windows上成功安装python-CSDN博客 好&#xff0c;确认没装下面装python37 2、安装python3.7.9 参考教程Python 3.82安装教程&#xff08;Windows11、超详细版&#x…
阅读更多...
Linux Shell 编程基础入门（一）

Linux Shell 编程基础入门（一）

&#x1f600;前言 本篇博文是关于自动化工具Shell 编程的基本介绍&#xff0c;希望你能够喜欢 &#x1f3e0;个人主页&#xff1a;晨犀主页 &#x1f9d1;个人简介&#xff1a;大家好&#xff0c;我是晨犀&#xff0c;希望我的文章可以帮助到大家&#xff0c;您的满意是我的动…
阅读更多...
微服务：配置管理和配置热更新

微服务：配置管理和配置热更新

参考&#xff1a;黑马程序员之微服务 &#x1f4a5; 该系列属于【SpringBoot基础】专栏&#xff0c;如您需查看其他SpringBoot相关文章&#xff0c;请您点击左边的连接 目录 一、引言 二、配置共享 1. 添加共享配置到nacos &#xff08;1&#xff09;jdbc的共享配置 shared…
阅读更多...
点灯案例优化(三)宏定义特定位名称

点灯案例优化(三)宏定义特定位名称

前面利用位运算对代码进行二次优化以后&#xff0c;确实可读性更好&#xff0c;精确性更高了。但是吧&#xff0c;你乍一看这个代码 你可能一下都反应不过来这些的啥意思了&#xff0c;表达式右边上来就是一顿运算&#xff0c;可能刚开始大多数人都看不懂这写的什么&#xff0c…
阅读更多...
用Python解决优化问题_模拟退火模板

用Python解决优化问题_模拟退火模板

一、模拟退火算法简介 模拟退火&#xff08;Simulated Annealing&#xff09;是一种启发式算法&#xff0c;用于在优化问题中找到一个好的解。启发式是指一种用于找到解决问题方法的原则或策略&#xff0c;它不保证找到最优解&#xff0c;但可以快速找到一个足够好的解。在许多…
阅读更多...
资产全生命周期管理系统 固定资产全生命周期管理解决方案

资产全生命周期管理系统 固定资产全生命周期管理解决方案

什么是资产全生命周期管理系统 资产全生命周期管理系统是指对企业资产从采购、使用、维护、到报废的整个过程进行全方位管理的软件系统。通过这个系统&#xff0c;企业可以实现对资产的实时监控和管理&#xff0c;确保资产的利用率最大化。这个系统不仅能够跟踪资产的状态&…
阅读更多...
C语言 数据存储

C语言 数据存储

整形在内存中的存储&#xff08;之前的操作符讲过些许但不是很全&#xff0c;现在详细记录&#xff09; 对于一个整型变量来说&#xff0c;在内存中需要怎样存储&#xff1f; 之前了解到内存中存放的是补码&#xff08;正数的原反补都相同。回忆一下负数原码&#xff0c;反码…
阅读更多...
IPD开发流程：项目风险画像

IPD开发流程：项目风险画像

目录 1、内容简介 2、IPD 工具&#xff1a;项目风险画像 首先是独特性。 第二个是不确定性。 第三个是临时性。 第四个是跨职能性。 最后一个是变革性。 作者简介 1、内容简介 在 IPD 开发流程中&#xff0c; 经常会提到开发是一项投资行为、 产品/项目的商业价值等…
阅读更多...
精细化管理和智慧化运营的智慧油站开源了

精细化管理和智慧化运营的智慧油站开源了

AI视频监控平台简介 AI视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒&#xff0c;省去繁琐重复的适配流程&#xff0c;实现芯片、算法、应用的全流程组合&#xff0c;从而大大减少企业级应用约95%的开发成本。用…
阅读更多...
【数据分享】2018-2023年全国范围10米分辨率的耕地利用强度数据（免费获取）

【数据分享】2018-2023年全国范围10米分辨率的耕地利用强度数据（免费获取）

耕地利用强度数据是评估农业生产力、规划土地使用、监测粮食安全与环境可持续性的关键&#xff0c;对政策制定和资源管理具有重要指导意义。然而&#xff0c;目前国家范围的耕地利用数据集在时空连续性、分辨率和精度方面存在局限性。 本次我们分享的是2018年至2023年分辨率为…
阅读更多...
Rocky 8.10安装流程步骤详细教程

Rocky 8.10安装流程步骤详细教程

Rocky 8.10安装流程步骤详细教程 1. Rocky 8.10 安装2. 登录3. 配置修改3.1 打开命令行窗口3.2 网卡配置3.3 修改网卡名3.4 配置镜像源3.5 删除网卡多余内容3.5.1 删除virbr03.5.2 删除altname enp3s03.5.3 删除ipv63.5.4 修改ip地址(这步没有需要可以忽略) 3.6 升级openssh3.7…
阅读更多...
【文献阅读】Lorentzian Linear Graph Convolutional Networks For Node Classification

【文献阅读】Lorentzian Linear Graph Convolutional Networks For Node Classification

Abstract 大多数现有的线性GCN模型在欧几里得空间中执行神经网络操作&#xff0c;并未明确捕捉到真实世界数据集中以图形式建模的树状层次结构。本文尝试将双曲空间引入线性GCN&#xff0c;并提出了一种新的洛伦兹线性GCN框架。 具体而言&#xff0c;将图节点的学习特征映射到…
阅读更多...
函数作为返回值

函数作为返回值

复习闭包时注意到的 function lazy_sum(arr) {let sum function () {return arr.reduce(function (x, y) {return x y;});}return sum; }当我们调用lazy_sum()时&#xff0c;返回的并不是求和结果&#xff0c;而是求和函数&#xff1a; let f lazy_sum([1, 2, 3, 4, 5]); …
阅读更多...
uniapp在线视频监控开发

uniapp在线视频监控开发

我这里是uniapp开发的H5项目 视频流是flv模式 用到的插件是flv.js Flv.js Flv.js 是 HTML5 Flash 视频&#xff08;FLV&#xff09;播放器&#xff0c;纯原生 JavaScript 开发&#xff0c;没有用到 Flash。。由 bilibili 网站开源。 常见直播协议 RTMP: 底层基于TCP&…
阅读更多...
【WebSocket】websocket学习【一】

【WebSocket】websocket学习【一】

1.消息推送常见方式 轮询长轮询SSEwebsocket 1.1. 轮询方式 轮询&#xff1a;浏览器以指定的时间间隔向服务器发出HTTP请求&#xff0c;服务器实时返回数据给浏览器长轮询&#xff1a;浏览器发出HTTP请求&#xff0c;服务器端接收到请求后&#xff0c;会阻塞请求直到有数据或…
阅读更多...
[003].第4节：RabbitMQ环境搭建

[003].第4节：RabbitMQ环境搭建

我的后端学习大纲 RabbitMQ学习大纲 1.rpm包方式搭建&#xff1a; 1.1.搭建RabbitMQ单体架构&#xff1a; 1.MQ下载地址2.这里是提前下载好后上传安装包到服务器得opt目录下&#xff1a; 3.安装MQ需要先有Erlang语言环境&#xff0c;安装文件的Linux命令(分别按照以下顺序安装…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023