Elasticsearch下载安装 以及Reindex(数据迁移)

news2024/12/30 2:47:23

 部署Elasticsearch集群

这里介绍使用的是Elasticsearch 7.6.1的版本，配置两台服务器，一台部署主节点，一台部署两个从节点。

下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-linux-x86_64.tar.gz

如果想下载安装其他版本，更改后面的版本号即可。

第一步：liunx系统安装环境

1.需要安装JDK8 或者 JDK11.es需要jdk环境进行启动。

2.需要安装nginx，两台服务器没有外网的情况下需要内网互联

3.服务器主节点的磁盘建议大一点，es也是非常消耗磁盘空间的

4.两台服务都需要同样的配置

第二步：将下载的ES的安装包放置服务器上

1.两台服务器都需要以下配置，多少个节点就配置多少个ES

解压压缩包：tar -xvf  elasticsearch-7.6.1-linux-x86_64.tar.gz

主节点

 从节点，每个从节点都放置了一个压缩包，并进行解压

2.开通端口号9200 9201 9202,9300 9301 9302给ES使用。

第三步：创建ES启动账号，ES不允许root账号启动 

第一步：liunx创建新用户："adduser  账号"，然后给创建的用户加密码："passwd 密码"，输入两次密码。

第二步：切换刚才创建的用户："su 账号"，然后启动elasticsearch。如果显示Permission denied权限不足，则继续进行第三步。

第三步：给新用户赋权限，因为这个用户本身就没有权限，肯定自己不能给自己付权限。所以要用root用户登录并赋予权限，chown -R 账号/你的elasticsearch安装目录。

 第四步：启动ES

在ES的bin目录上一级，执行./bin/elasticsearch  进行执行。如果有报错，显示权限不足。直接执行以下命令：

启动命令：

执行前先切换为创建的ES账户  su 账号

./bin/elasticsearch 

后台执行：nohup ./bin/elasticsearch &

查看执行：ps -ef|grep elasticsearch

给权限：chown -R elastic /你的elasticsearch安装目录
sudo chmod 777 /opt/ES/elasticsearch-7.6.1/config/elasticsearch.keystore
sudo chmod 777 /opt/ES/elasticsearch-7.6.1/config/jvm.options

 验证es是否启动成功：curl http://192.168.1.2:9200 

如果返回以下内容，则说明成功：

第五步：集群配置 

以上验证了每个ES是否正常，配置集群需要更改每个ES的config目录下的 yml文件

主节点配置：

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#集群名称
cluster.name: es-cluster
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#节点名称
node.name: node-1
#作为数据节点
node.data: true

# 是否可以成为master节点
 
node.master: true
#
# 网络绑定,绑定 0.0.0.0,代表支持外网访问
network.host: 0.0.0.0

# 设置对外服务的http端口，默认为9200
http.port: 9200

# 设置节点间交互的tcp端口,默认是9300（---------必须不一致-------------）
 
transport.tcp.port: 9300
#当前服务器ip
network.publish_host: 172.29.1.123
#集群ip
discovery.zen.ping.unicast.hosts: ["172.29.1.123:9300", "172.29.1.124:9301","172.29.1.124:9302"]

#必须依据实际设置的集群名称配置
cluster.initial_master_nodes: ["node-1","node-2","node-3"]

#允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
cluster.routing.allocation.disk.threshold_enabled: false 


#更改缓冲区大小
http.max_content_length: 800mb

从节点第一个配置：

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#集群名称
cluster.name: es-cluster
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#节点名称
node.name: node-2
#作为数据节点
node.data: false

# 是否可以成为master节点
 
node.master: false

#
# 网络绑定,绑定 0.0.0.0,代表支持外网访问
network.host: 0.0.0.0
当前服务器ip
network.publish_host: 172.29.1.124
# 设置对外服务的http端口，默认为9200
http.port: 9201

# 设置节点间交互的tcp端口,默认是9300（---------必须不一致-------------）
 
transport.tcp.port: 9301

#集群ip
discovery.zen.ping.unicast.hosts: ["172.29.1.123:9300", "172.29.1.124:9301","172.29.1.124:9302"]

#必须依据实际设置的集群名称配置
cluster.initial_master_nodes: ["node-1","node-2","node-3"]

#允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
cluster.routing.allocation.disk.threshold_enabled: false

从节点第二个配置：

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#集群名称
cluster.name: es-cluster
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#节点名称
node.name: node-3
#作为数据节点
node.data: false

# 是否可以成为master节点
node.master: false

#
# 网络绑定,绑定 0.0.0.0,代表支持外网访问
network.host: 0.0.0.0

# 设置对外服务的http端口，默认为9200
http.port: 9202

# 设置节点间交互的tcp端口,默认是9300（---------必须不一致-------------）
 
transport.tcp.port: 9302
#当前服务器ip
network.publish_host: 172.29.1.124
#集群ip
discovery.zen.ping.unicast.hosts: ["172.29.1.123:9300", "172.29.1.124:9301","172.29.1.124:9302"]

#必须依据实际设置的集群名称配置
cluster.initial_master_nodes: ["node-1","node-2","node-3"]

#允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
cluster.routing.allocation.disk.threshold_enabled: false

以上每个ES的配置完毕，并重新启动即可

验证是否成功：curl http://172.29.1.123:9200/_cat/nodes

出现以下内容即表明集群创建成功

第六步：配置kibana

必选与es的版本一致，每个ES都需要配置一个kibana

下载后并解压，然后配置  kibana.yml的配置即可

配置kibana.yml

#端口号
server.port: 5602
#当前ip
server.host: "172.29.1.124"
#指定对应的es的端口号
elasticsearch.hosts: ["http://172.29.1.124:9201"]

# 通信的请求超时时间
elasticsearch.requestTimeout: 60000
 
# 指定Kibana界面的语言为中文
i18n.locale: "zh-CN"

启动命令：nohup  ./bin/kibana --allow-root &

测试：

Reindex(数据迁移)

可以直接使用ES的 reindexAPI进行数据迁移

准备工作：需要在新ES的主节点的yml配置数据源白名单

如下：

#迁移数据的密度源。数据源的ip和es端口号
reindex.remote.whitelist: ["172.23.1.123:9200"]

 配置完，去新es的kibana进行调用api

POST _reindex?wait_for_completion=false
{
  "source": {
    "remote": {
      "host": "http://172.23.1.123:9200"
    },
	"size": 300, 
    "index": "yq_data_202402",
    "query": {
      "range": {
        "createTime": {
          "gte": "1708876800000",
          "lte": "1709222399000"
        }
      }
    }
  },
  "dest": {
    "index": "yq_data_202402"
  }
}

size 参数指定了每次从远程主机获取的文档数量

query 参数用于指定查询条件。

host 参数指定数据源的ip和端口号

index 指数据源的索引库

dest.index 指新es的索引库

执行完后会返回一个id。可根据id查看进度

#查看迁移状态  
GET _tasks/ncbwsVuKSsCGmmJKqJsVNw:5860330?pretty

 等待false变成true即可

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1602039.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

服务器数据恢复—ext3文件系统下raid5数据恢复案例

服务器数据恢复—ext3文件系统下raid5数据恢复案例

服务器数据恢复环境&故障情况： 某企业光纤存储上有一组由16块硬盘组建的raid5阵列。管理员发现该光纤存储上的卷无法挂载，经过检查发现raid5阵列中有2块硬盘离线，于是联系我们数据恢复中心要求数据恢复工程师到现场恢复服务器存储上的数据…
阅读更多...
PyQt5 快速入门

PyQt5 快速入门

PyQt5 简介和开发环境搭建 简介 PyQt是一个GUI小部件工具包。 它是Qt的Python接口， Qt是最强大，最受欢迎的跨平台GUI库之一。 PyQt由RiverBank Computing Ltd.开发。最新版本的PyQt可从其官方网站下载 - riverbankcomputing.com PyQt API是一组包含大…
阅读更多...
每天学点儿Python（6） -- 列表和枚举

每天学点儿Python（6） -- 列表和枚举

列表是Python中内置的可变序列，类使用C/C中的数组，使用 [ ] 定义列表，列表中的元素与元素之间用英文逗号（ , ）分隔， 但是Python中列表可以存储任意类型的数据，且可以混存（即类型可以…
阅读更多...
2024能源动力、机械自动化与航天航空技术国际学术会议(ICEPMAT2024)

2024能源动力、机械自动化与航天航空技术国际学术会议(ICEPMAT2024)

2024能源动力、机械自动化与航天航空技术国际学术会议(ICEPMAT2024) 会议简介 能源动力、机械自动化和航空航天技术国际学术会议（ICEPMAT2024）将于2024年在北京举行。会议将探讨能源动力、机械自动化、航空航天技术领域的新研究热点、核心技术和发展趋…
阅读更多...
软件行业中的蓝海领域有哪些？

软件行业中的蓝海领域有哪些？

什么是蓝海？ 蓝海，指的是未知的市场空间。这个概念相对于“红海”而言，红海则是指已知的市场空间。 企业要启动和保持获利性增长，就必须超越产业竞争，开创全新市场，这其中包括两块：一块是突破…
阅读更多...
2024五一杯数学建模C题思路分析

2024五一杯数学建模C题思路分析

文章目录 1 赛题思路2 比赛日期和时间3 组织机构4 建模常见问题类型4.1 分类问题4.2 优化问题4.3 预测问题4.4 评价问题 5 建模资料 1 赛题思路 (赛题出来以后第一时间在CSDN分享) https://blog.csdn.net/dc_sinor?typeblog 2 比赛日期和时间 报名截止时间：2024…
阅读更多...
【YOLOv8改进[损失函数]】使用结合InnerIoU和Focaler的各种损失函数助力YOLOv8更优秀

【YOLOv8改进[损失函数]】使用结合InnerIoU和Focaler的各种损失函数助力YOLOv8更优秀

目录 一 回归损失函数（Bounding Box Regression Loss） 1 Inner-IoU 2 Focaler-IoU：更聚焦的IoU损失 二 改进YOLOv8的损失函数 1 总体修改 ① ultralytics/utils/metrics.py文件 ② ultralytics/utils/loss.py文件 ③ ultralytics/uti…
阅读更多...
Vue项目管理器创建项目

Vue项目管理器创建项目

黑马程序员JavaWeb开发教程 文章目录 1、创建新项目2、详情3、预设4、功能5、配置6、是否保存为预设模板7、正在创建项目8、创建完成 1、创建新项目 2、详情 3、预设 选择手动，点击下一步 4、功能 只需要额外选择一项–Router 即可，其余的保持默认&a…
阅读更多...
C语言【指针】

C语言【指针】

1. 基本语法 1.1 指针变量的定义和使用(重点) 指针是一种数据类型，指针变量指向谁 就把谁的地址赋值给指针变量 1.2 通过指针间接修改变量的值 指针变量指向谁 就把谁的地址赋值给指针变量 可以通过 *指针变量 间接修改变量的值 1.3 const修饰的指针变量 语法…
阅读更多...
TR转发路由器上手实测-助你轻松搭建企业网

TR转发路由器上手实测-助你轻松搭建企业网

TR转发路由器上手实测-助你轻松搭建企业网 基础概念实测路由图准备资源网络规划杭州地域北京地域 云服务器ECS云企业网免费试用TR创建云企业网创建TR转发路由器创建TR同地域连接创建TR跨地域连接 网络连通性测试释放资源释放云服务器ECS释放TR 体验感受 在进行TR转发路由器上手…
阅读更多...
POST 为什么会发送两次请求？

POST 为什么会发送两次请求？

本文目录 同源策略 什么是同源策略 CORS 简单请求 预检请求 附带身份凭证的请求与通配符 完整的请求流程图 总结 前言 最近博主在字节面试中遇到这样一个面试题，这个问题也是前端面试的高频问题，因为在前端开发的日常开发中我们总是会与post请求…
阅读更多...
mysql搭建主从

mysql搭建主从

mysql搭建主从: 1:拉取mysql镜像 docker pull mysql2:创建主从对应目录 3:建立一个简易的mysql docker run -it --name mytest -e MYSQL_ROOT_PASSWORD123 -d mysql4:进入这个简易的mysql;从中获取my.cnf文件 docker exec -it mytest bash5:从容器中将my.cnf拷贝到 /3306/c…
阅读更多...
WIFI/BT中蓝牙的硬件资源是如何调度的 UART和PCM接口传输的是什么信号

WIFI/BT中蓝牙的硬件资源是如何调度的 UART和PCM接口传输的是什么信号

安卓或IOS手机中，wifi/bt中的蓝牙是如何调度硬件资源的，尤其是UART和PCM是如何分配的。M.2 wifi/bt模块或其他形式的模块中，蓝牙是如何调度硬件资源的，尤其是UART和PCM是如何分配的。今天我们就图文并茂的解决这个问题。 蓝牙文件…
阅读更多...
CSS display属性

CSS display属性

目录 概述： 设置display示例： none： block： inline： inline-block ： 概述： 在CSS中我们可以使用display属性来控制元素的布局，我们可以通过display来设置元素的类型。 在不设置…
阅读更多...
对装饰器模式的理解

对装饰器模式的理解

目录 一、场景二、面对场景中的新需求，我们怎么办？1、暴力法：直接修改原有的代码。2、子类继承法：既然要增强行为，那我搞一个子类，覆写不就完事了？3、装饰器模式 三、对装饰器模式的思考1、从代…
阅读更多...
今天刷两题（day2）

今天刷两题（day2）

题目一：最长公共前缀 题目描述： 给你一个大小为 n的字符串数组 strs ，其中包含n个字符串 , 编写一个函数来查找字符串数组中的最长公共前缀，返回这个公共前缀。输入输出描述： 输入："abca","…
阅读更多...
Python这十大特征,堪称“圆满”!

Python这十大特征,堪称“圆满”!

当你犹豫是否要开始 Python 学习之前，可以先详尽了解一下这门编程语言。 软件开发者 Guido Van Rossum 于 1991 年创建了 Python，旨在使程序员的工作更加简单。Python 是目前全球比较流行且产业急需的程序设计语言，也是一门跨平台、开源、免…
阅读更多...
AI大模型探索之路-应用篇11：AI大模型应用智能评估（Ragas）

AI大模型探索之路-应用篇11：AI大模型应用智能评估（Ragas）

目录 前言 一、为什么要做智能评估？ 二、Ragas是什么？ 三、Ragas使用场景 四、Ragas评估指标 五、Ragas代码实践 总结 前言 随着人工智能技术的飞速发展，AI大模型（LLM）已经成为了推动技术创新和应用的关键因素。…
阅读更多...
【个人博客搭建】（6）搭建swagger文档

【个人博客搭建】（6）搭建swagger文档

1、前言： 其实在创建webapi时我们就已经选择了swagger了。 也就是代码 app.UseSwagger(); app.UseSwaggerUI(); 但是我们可以对其进行拓展，补充信息。 像常需要的action接口中文信息，Controller控制器中文信息等... 进入正题。 2、添加…
阅读更多...
009、Python+fastapi，第一个后台管理项目走向第9步：ubutun 20.04下安装vscode+git环境配置

009、Python+fastapi，第一个后台管理项目走向第9步：ubutun 20.04下安装vscode+git环境配置

一、说明 git是一定要配置的，由于是白嫖的无影云电脑，东西得保存在网上，就继续白嫖gitee吧，显然国内github是不太合适的了 二、安装git 直接安装sudo apt install -y git git --version git version 2.25.1 三、配置git 在git上…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023