Elasticsearch-数据迁移elasticdump

news2024/11/25 4:48:37

一、环境信息 

主机名        IP
elasticsearch-master10.10.10.1
elasticsearch-slave10.10.10.2

二、互联网部分

2.1、Nodejs下载安装(master节点)

#官网:Download | Node.js

#下载nodejs包
[root@elasticsearch-master home]# wget -c https://nodejs.org/dist/v16.18.1/node-v16.18.1-linux-x64.tar.xz

#解压包
[root@elasticsearch-master ~]# xz -d node-v16.18.1-linux-x64.tar.xz
[root@elasticsearch-master ~]# tar -xf node-v16.18.1-linux-x64.tar

#创建软链接
[root@elasticsearch-master ~]# mv node-v16.18.1-linux-x64 nodejs
[root@elasticsearch-master ~]# cd nodejs
[root@elasticsearch-master bin]# ln -s /root/nodejs/bin/node /usr/bin/node
[root@elasticsearch-master bin]# ln -s /root/nodejs/bin/npm /usr/bin/npm


#确认软链是否成功

#验证

[root@elasticsearch-master ~]# elasticdump --version
6.111.0

2.2、安装elasticdump(master节点)

#[root@elasticsearch-master bin]# npm install elasticdump -g

#报错原因是:node的默认安装环境是在国外

#更换为淘宝源

[root@elasticsearch-master bin]# npm config set registry https://registry.npmmirror.com

#查看是否更新成功
[root@elasticsearch-master bin]# npm config get registry
https://registry.npmmirror.com/

#继续安装

#[root@elasticsearch-master bin]# npm install elasticdump -g

#创建软链接

[root@elasticsearch-master bin]# ln -s /root/nodejs/bin/elasticdump /usr/bin/elasticdump

#验证

[root@elasticsearch-master bin]# elasticdump --version
6.111.0

四、离线安装(需要先在互联网机器进行安装部署后才可以实现离线安装elasticdump)

4.1、将slave节点当作内网机器进行实验

#将master节点上已部署好的目录进行打包

[root@elasticsearch-master ~]# tar -zcf  nodejs.tar.gz nodejs

#拷贝到slave节点并解压

[root@elasticsearch-master ~]# scp -rp nodejs.tar.gz 10.10.10.2:/root/

4.2、解压、创建软链并验证

#[root@elasticsearch-slave ~]# tar -xf nodejs.tar.gz

[root@elasticsearch-slave ~]# ln -s /root/nodejs/bin/node /usr/bin/node
[root@elasticsearch-slave ~]# ln -s /root/nodejs/bin/npm /usr/bin/npm

[root@elasticsearch-slave ~]# ln -s /root/nodejs/bin/elasticdump /usr/bin/elasticdump

五、向master节点插入测试数据

1、插入测试数据,可根据下方数据修改索引名称,多导入几条

curl -X POST "10.10.10.1:9200/myindex/_doc" -H 'Content-Type: application/json' -d'
{
  "name": "John Doe",
  "age": 30,
  "about": "I love to go rock climbing"
}'

2、查看索引信息

六、迁移数据 

方法1:单条迁移

elasticdump \
  --input=http://10.10.10.1:9200/my_test \
  --output=http://10.10.10.2:9200/my_test \
  --type=data \
  --limit=1000

验证:

方法2:集群迁移

#先导出所有索引名称

curl http://10.10.10.1:9200/_cat/indices?v |awk '{print $3}' >/root/es_migrate.txt

#集群迁移脚本(该脚本包括了迁移settings、analyzer、Mapping、data),可按需修改

vim qianyi.sh

#!/bin/bash

# 读取文件
file="/root/es_migrate.txt"

for line in $(cat $file); do
  elasticdump \
     --input=http://10.10.10.1:9200/$line \
     --output=http://10.10.10.2:9200/$line \
     --type=settings \
     --limit=4000
  elasticdump \
     --input=http://10.10.10.1:9200/$line \
     --output=http:/10.10.10.2:9200/$line \
     --type=analyzer \
     --limit=4000
  elasticdump \
     --input=http://10.10.10.1:9200/$line \
     --output=http://10.10.10.2:9200/$line \
     --type=mapping \
     --limit=4000  
  elasticdump \
     --input=http://10.10.10.1:9200/$line \
     --output=http://10.10.10.2:9200/$line \
     --type=data \
     --limit=4000
    echo "正在迁移: $line" >>/root/migrate.log
done < "$file"

#授权脚本

chmod 755 qianyi.sh

#执行迁移脚本,执行前可以将slave端的索引全部删除掉

sh /root/qianyi.sh

#slave端验证执行结果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2123753.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

协议头,wireshark,http

目录 协议头 ip头 udp头 mac层 网络工具 telnet wireshark Http 一、HTTP 协议介绍 二、HTTP 协议的工作过程 三、使用抓包工具抓取报文 四、获取到http请求报文&#xff1a; 五、http请求&#xff08;request&#xff09; &#xff08;一&#xff09;、认识URL 项…

Redis 入门 - 五大基础类型及其指令学习

经过前面Redis入门系列三篇文章学习&#xff0c;相信大家已经准备好学习新知识了&#xff0c;到这里也算是真正开始学习Redis了。学习了软件安装&#xff0c;客户端选择&#xff0c;那么接下来也应该来了解Redis有什么&#xff0c;能干什么。 我们在第一章中就说过&#xff0c…

线程的六种状态

优质博文&#xff1a;IT-BLOG-CN 线程的状态在Thread.State这个枚举类型中定义&#xff1a;共有6种状态&#xff0c;可以调用线程Thread种的getState()方法获取当前线程状态。 public enum State { /** * 新建状态(New)&#xff1a; * 当用new操作符创建一个线程时&#…

C++第五节 - this指针、构造函数、析构函数

一、类对象的存储方式 只保存成员变量&#xff0c;成员函数存放在公共的代码段 注意点&#xff1a; #include<iostream> using namespace std; class A { public:void PrintA(){cout << _a << endl;} private:char _a; }; int main() {class A a;cout <…

CSS“多列布局”(补充)——WEB开发系列35

多列布局是一种非常常见的布局方式&#xff0c;适用于内容丰富的页面&#xff0c;如新闻网站、杂志或博客。 一、CSS多列布局概述 CSS多列布局允许我们将内容分成多个垂直列&#xff0c;使页面布局更加灵活和多样化。多列布局的主要属性包括 ​​column-count​​、​​column…

django学习入门系列之第十点《A 案例: 员工管理系统4》

文章目录 6 部门管理&#xff08;原始方式&#xff09;6.6 添加界面的导入&#xff08;数据库&#xff09;6.7 删除按键的应用6.8 编辑按键的应用6.81 传值的另一种方式 6.9 提交按键的应用 往期回顾 6 部门管理&#xff08;原始方式&#xff09; 6.6 添加界面的导入&#xff…

E32.【C语言 】练习:蓝桥杯题 懒羊羊字符串

1.题目 【问题描述】 “懒羊羊”字符串是一种特定类型的字符串&#xff0c;它由三个字符组成&#xff0c;具有以下特点: 1.字符串长度为 3. 2.包含两种不同的字母。 3.第二个字符和第三个字符相同 换句话说&#xff0c;“懒羊羊”字符串的形式应为 ABB&#xff0c;其中A和B是不…

【python2C】算法基础:计时比较

不断改进代码&#xff0c;是学习进步必经之路。 判断代码优劣&#xff0c;在空间允许的情况下&#xff0c;计时就是最可靠的标尺。 打表不算&#xff0c;人脑不算 1.对于答案较为固定的题&#xff0c;预先算出所有可能的答案表&#xff0c;然后对应输入查找答案&#xff0c;从…

【OpenGL 002】着色器 GLSL 语言及GLFW代码案例

文章目录 1.GLSL语言简介本节案例 code 1 2.GLSL的数据类型① 向量(Vector)- 向量重组示例- 向量重组禁忌 3.GLSL的输入输出本节案例 code 2 4.着色器示例5.Uniform本节案例 code 3 通过第一节 【OpenGL 001】Ubuntu 搭建 GLFW 环境及其相关测试 demo 想必已经搭建好了GLFW环境…

『功能项目』GameObject对象池 - 第三职业【39】

本章项目成果展示 我们打开上一篇38管理器基类的项目&#xff0c; 本章要做的事情是利用对象池制作第三个职业——魔法师 在GameRoot对象下创建空物体 重命名为PoolRoot 将GameRoot拖拽至预制体 创建脚本&#xff1a; 编写脚本&#xff1a;PoolManager.cs using UnityEngine;…

使用豆包MarsCode 编写 Node.js 全栈应用开发实践

以下是「豆包MarsCode 体验官」优秀文章&#xff0c;作者狼叔。 欢迎更多用户使用豆包MarsCode 并分享您的产品使用心得及反馈、创意项目开发等&#xff0c;【有奖征集&#xff5c;人人都是豆包MarsCode 测评官&#xff01;】活动正在火热进行中&#xff0c;欢迎大家投稿参加&a…

【Python报错已解决】 SyntaxError: invalid syntax

&#x1f3ac; 鸽芷咕&#xff1a;个人主页 &#x1f525; 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想&#xff0c;就是为了理想的生活! 文章目录 前言一、问题描述1.1 报错示例1.2 报错分析1.3 解决思路 二、解决方法2.1 方法一&#xff1a;修复缺失的括号或引号2.…

甘肃五仁月饼:传统风味,舌尖上的乡愁

在中秋佳节的美食画卷中&#xff0c;甘肃食家巷五仁月饼以其独特的魅力占据着重要的一席之地。甘肃五仁月饼&#xff0c;那朴实无华的外表下&#xff0c;藏着无尽的美味与情怀。它的饼皮金黄酥脆&#xff0c;散发着淡淡的麦香&#xff0c;仿佛在诉说着古老的制作工艺。轻轻咬上…

Java:动态代理

Java&#xff1a;动态代理 什么是代理 代理模式 是一种设计模式&#xff0c;它为其他对象提供了一种代理以控制对这个对象的访问。代理对象通常包装实际的目标对象&#xff0c;以提供一些附加的功能&#xff08;如延迟加载、访问控制、日志记录等&#xff09;。我们一般可以使…

C++中的内存管理和模板初识

一、内存管理 1.1内存区域的划分 1.1.1内存划分区域图示 1.1.1补&#xff1a;堆和栈都可以进行动态分配和静态分配吗&#xff1f; 不是的&#xff0c;堆无法进行静态分配&#xff0c;只能动态分配&#xff1b;栈可以利用_alloca动态分配&#xff0c;但是分配的空间不能用fre…

基于Logistic-Map混沌序列的数字信息加解密算法matlab仿真,支持对文字,灰度图,彩色图,语音进行加解密

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 基于Logistic-Map混沌序列的数字信息加解密算法matlab仿真,系统包含GUI操作界面&#xff0c;系统支持对文字,灰度图,彩色图,语音进行加解密。 2.测试软件版本以及…

项目运行插件-日志管理

日志管理 项目运行时模块提供了项目日志收集&#xff0c;检索和保存查询方案等功能。 体验地址&#xff1a; http://119.163.197.219:13456/view/runtime/index.html#/log/aioLogPage 沟通加QQ群 &#xff1a; 908377977 gitee 开源地址 &#xff1a; https://gitee.com/aio…

打印文档时,只有图片中的文本不清晰该如何处理

最近打印东西的时候&#xff0c;发现只有图片中的文本并不清晰&#xff0c;就想研究一下如何改善这个问题。 打印机是佳能的 MF113w&#xff0c;一个不错的多功能激光黑白打印机&#xff0c;支持无线打印。唯一问题就是每次 DHCP 分配 IP 到期后&#xff0c;这款打印机就会亮错…

AI提质增效率赋能工业产品质检,基于高精度YOLOv5全系列参数【n/s/m/l/x】模型开发构建工业生产场景下PCB电路板缺陷问题智能化分割检测识别分析系统

在PCB电路板的生产制造过程中&#xff0c;质量检测是确保产品质量、维护品牌形象的关键环节。然而&#xff0c;传统的人工检测方式依赖于经验丰富的工人师傅通过光学显微镜等设备进行逐块检查&#xff0c;这不仅劳动强度大、效率低下&#xff0c;而且受限于人的主观判断、视力疲…

《华为 eNSP 模拟器安装教程》

1.电脑安装环境要求&#xff1a; 检查电脑是否安装过 eNSP 和依赖软件&#xff0c;如果有&#xff0c;请全部卸载。 安装软件列表&#xff1a; 2.软件安装&#xff1a; 安装 WinPcap&#xff1a; 打开安装包&#xff0c;单击【Next】 单击【I Agree】 单击【Install】 单击【…