【FusionInsight 迁移】HBase从C50迁移到6.5.1(01)迁移概述

news2024/11/6 3:13:24

【FusionInsight 迁移】HBase从C50迁移到6.5.1(01)迁移概述

  • HBase从C50迁移到6.5.1(01)迁移概述
    • 迁移范围
    • 迁移前的准备
      • HDFS文件检查
      • 确认HBase迁移目录
      • 确保数据落盘
      • 停止老集群HBase服务
      • 停止新集群HBase服务

HBase从C50迁移到6.5.1(01)迁移概述

项目上最近全新部署了FusionInsight HD 6.5.1大数据集群,并且希望将老集群FusinInsight HD C50的所有业务都迁移到新集群上。由于在老集群C50上的HDFS、HBase中存在有大量的业务数据,因此将业务从C50迁移到6.5.1的过程中,就需要将C50上的业务数据同步迁移到新集群6.5.1上。

迁移范围

  • 迁移方向
    • 从老集群FusinInsight HD C50迁移数据到新集群FusionInsight HD 6.5.1。
  • 迁移场景
    • 生产实施,HDFS、HBase数据迁移。
  • 迁移方式
    • 离线迁移
  • 影响范围
    • 离线数据迁移,需要完成所有存量数据的迁移,迁移完成后做数据验证及业务切换。

迁移前的准备

在做数据迁移前需要做一些必要的准备工作。

使用admin用户登录到需要迁移数据的老集群FusinInsight C50的Manager。

登录成功后进入到Manager的主界面。

HDFS文件检查

在HDFS服务的status界面查看是否有missing block。

如果存在missing block,则需要登录集群客户端,执行命令:

hdfs fsck /

查看并分析具体的原因。

确认HBase迁移目录

迁移前还需要确认需要迁移的具体目录,可以通过HDFS Web UI进行查看。

以及:

各个目录的说明如下:

路径说明
/hbase/.tmp当对表做创建或者删除操作的时候,会将表move到该tmp目录下,然后再去做处理操作。
/hbase/WALs被HLog实例管理的WAL文件。
对于每个HregionServer,日志目录中都包含一个对应的子目录
在每个子目录下有多个HLog文件(因为日志滚动)。
/hbase/archive存储表的归档和快照,HBase在做Split或者compact操作完成之后,会将HFile移到archive目录中,然后将之前的HFile删除掉,该目录由HMaster上的一个定时任务定期去清理。存储表的归档和快照具体目录:/hbase/archive/data/default/表名/region名/列族名/fd2221d8d1ae4e579c21882f0ec4c5a5
/hbase/corrupt损坏的日志文件,一般为空。
/hbase/dataHBase存储数据的核心目录。
/hbase/data/default该目录存储所有用户数据表/hbase/data/default/表名。
/hbase/data/hbase该目录存储了存储了HBase的namespace、meta和acl三个系统级表。
- /hbase/data/hbase/namespace
namespace中存储了HBase中的所有namespace信息,包括预置的hbase和default。
- /hbase/data/hbase/meta
meta表存储了所有Region信息的列表
- /hbase/data/hbase/acl
acl则是表的用户权限控制
/hbase/hbase.id集群的唯一ID。
/hbase/hbase.version集群的文件格式版本信息。
/hbase/oldWALs当/hbase/WALs中的HLog文件被持久化到存储文件中,不再需要日志文件时,它们会被移动到/hbase/oldWALs目录。

由于迁移过程只需要迁移HBase的数据,因此只需要迁移/hbase/data目录即可。

确保数据落盘

在数据迁移前,需要确保老集群FusinInsight HD C50上的HBase的所有表的数据已全部落入磁盘。

可以通过客户端,进入hbase shell客户端,对HBase的所有表都进行flush操作:

flush tablename

或者通过hdfs命令检查/hbase/WALs目录为空,或者大小为0:

hdfs dfs -du -h /hbase

停止老集群HBase服务

在迁移过程中,为了保证数据的完整性、一致性,防止因增量数据的产生而导致HDFS目录结构的变化,需要确保老集群FusinInsight HD C50上的HBase服务处于停止状态,因此,迁移时间点应该选在无业务数据产生的时间段。

停止新集群HBase服务

因为数据迁移会覆盖新集群FusinInsight HD 6.5.1上的HBase的数据,因此需要确保新集群的HBase的所有数据可删除、可覆盖,并且同样需要停止HBase服务。

使用admin用户登录到新集群FusinInsight HD 6.5.1的Manager,并在HBase服务界面,点击停止按钮停止HBase服务。

HBase服务停止后,点击完成按钮。

如果新集群中的HBase已经有数据,或者数据比较重要,也可以备份一下原有数据。

hdfs dfs -cp /hbase /hbase_bak
hdfs dfs -ls /hbase

备份完成后的文件如下:

至此,迁移前的准备工作就完成了,接下来就可以实施迁移工作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/983700.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

L1-063 吃鱼还是吃肉(Python实现) 测试点全过

前言: {\color{Blue}前言:} 前言: 本系列题使用的是,“PTA中的团体程序设计天梯赛——练习集”的题库,难度有L1、L2、L3三个等级,分别对应团体程序设计天梯赛的三个难度。更新取决于题目的难度,…

如何在opensuse build service (obs)打包deb包用于分发各个发行版

1.打开网页 https://build.opensuse.org/ 注册账号 创建home project 创建项目 需要配置需要打包的镜像如debian12 ubuntu等 先配置整体home仓库的全部 ​由于是home的,可能不同的项目有些不需要,可以在项目中禁用一些,再配置某个项目需要…

c语言 4.0

💂 个人主页: 程序员爱摸鱼🤟 版权: 本文由【程序员爱摸鱼】原创、在CSDN首发、需要转载请联系博主💬 如果文章对你有帮助、欢迎关注点赞收藏(一键三连)哦💅 想寻找共同成长的小伙伴,可以互粉哦 💬文章目录…

如何用Python机器学习、深度学习提升气象、海洋、水文领域实践能力!!!

Python是功能强大、免费、开源,实现面向对象的编程语言,能够在不同操作系统和平台使用,简洁的语法和解释性语言使其成为理想的脚本语言。除了标准库,还有丰富的第三方库,Python在数据处理、科学计算、数学建模、数据挖…

测试用例设计方法真的很重要啊

记得我刚入职到部门的第一个星期,除了去熟悉公司部门的一些业务流程,就是去看我将要去测的系统的系统说明书,然后去熟悉各种业务流程,自己还是有点放不开,虽然之前也在一家公司实习过,主要是功能测试&#…

Apache HTTPD 多后缀解析漏洞复现

Apache HTTPD 支持一个文件拥有多个后缀,并为不同后缀执行不同的指令。比如,如下配置文件: AddType text/html .html AddLanguage zh-CN .cn 其给.html后缀增加了media-type,值为text/html;给.cn后缀增加了语言&…

vue 弹框中包含avue-curd /el-table第一次点击样式正常 再次点击表格序号列和其他列错位

1.首先这里点击时获取接口数据需要等数据返回之后再打开弹框 2.给表格使用v-if 参数就是和弹框的参数一样 弹框显示再重新渲染表格就OK了

超低保证金!揭秘期权卖方的保证金是多少?

很多期权老手交易一段时间后,开始对期权卖方有了兴趣。“对于期权卖方的保证金是一笔不低的费用,如果是在分仓平台注册的账户,保证金是固定在大概在3000-4000元一张了。下文介绍超低保证金!揭秘期权卖方的保证金是多少&#xff1f…

LeetCode刷题笔记【23】:贪心算法专题-1(分发饼干、摆动序列、最大子序和)

文章目录 前置知识贪心算法的本质什么时候用贪心算法?什么时候不能用贪心?贪心算法的解题步骤 455.分发饼干题目描述解题思路代码 376. 摆动序列题目描述解题思路代码 53. 最大子序和题目描述暴力解法动态规划贪心算法 总结 前置知识 贪心算法的本质 贪心的本质是选择每一阶…

Android文字识别-阿里云OCR调用

0,阿里云OCR有在线识别接口,直接用httpPOST调用就能实现,开发起来很快捷。识别率还蛮好,摄像头斜着拍也能识别出来。实测识别时间单次在2s左右,普通使用使能满足需求的。 1,在阿里云页面先注册申请免费试用…

工作失误合集,这个月的工资被扣没咯!

俗话说“马有失蹄,人有失足”,不管是程序员还是其他行业,在工作的的时候即便是职场老手也有失手的时候。 工作中出现纰漏不可避免,但是总有那么些人秀的即使是工作出错,也错的惊为天人。今天就带大家来看看那些在工作…

C语言嵌入式系统编程注意事项之内存操作

C语言嵌入式系统编程注意事项之内存操作 在嵌入式系统的编程中,常常要求在特定的内存单元读写内容,汇编有对应的MOV指令,而除C/C以外的其它编程语言基本没有直接访问绝对地址的能力 数据指针 在嵌入式系统的编程中,常常要求在特…

04-JVM对象创建深度剖析

上一篇:03-JVM内存模型剖析与优化 对象创建的主要流程: 1.类加载检查 虚拟机遇到一条new指令时,首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用,并且检查这个符号引用代表的类是否已被加载、解析和初始化过。如果没有…

别看了!亚马逊选品工具全都在这儿了(上)

Tool哥翻遍了全网资料,找了30款亚马逊选品工具,几乎囊括了各种主流、小众的选品工具,而且会一直更新,直接收藏就完事儿了~ Amztracker AMZ Tracker(抓客)官网 | 亚马逊关键词|亚马逊选品数据分析工具|亚马…

vue2.X 中使用 echarts5.4.0实现项目进度甘特图

vue2.X 中使用 echarts5.4.0实现项目进度甘特图 效果图&#xff1a; 左侧都是名称&#xff0c;上面是时间&#xff0c;当中的内容是日志内容 组件&#xff1a; gantt.vue <template><div id"main" style"width: 100%; height: 100%"></…

Lumion 和 Enscape 应该选择怎样的笔记本电脑?

Lumion 和 Enscape实时渲染对配置要求高&#xff0c;本地配置不够&#xff0c;如何快速解决&#xff1a; 本地普通电脑可一键申请高性能工作站&#xff0c;资产安全保障&#xff0c;供软件中心&#xff0c;各种软件插件一键获取&#xff0c;且即开即用&#xff0c;使用灵活&am…

电力4G变倍云台摄像头低功耗测试对比

4G变倍云台摄像头是一种智能化的视频监控摄像头设备。具有4G无线通信和无线网络摄像头的功能&#xff0c;同时还集成了变焦、变倍、云台等多种功能&#xff0c;适用于各种场景的视频监控。 以下是主要的特点和功能&#xff1a; 支持4G无线网络通信&#xff0c;远距离实时监控&…

1.3 BEV开源数据集介绍

本文来自自动驾驶之心知识星球的国内首个BEV感知全栈系列学习教程 文章目录 BEV开源数据集介绍&#xff1a;KITTIBEV开源数据集介绍&#xff1a;nuScenesBEV开源数据集介绍&#xff1a;Waymo BEV开源数据集介绍&#xff1a;KITTI 传感器位置 KITTI数据怎么采集&#xff1f; 通…

qt nodeeditor编译安装

目录 1. 下载源码 2. Qt creator编译源码 2.1 编译debug模式 &#xff08;MinGW&#xff09; 2.2 编译release模式 &#xff08;MinGW&#xff09; 1. 下载源码 https://github.com/paceholder/nodeeditor/archive/refs/tags/3.0.10.zip 2. Qt creator编译源码 解压文件…

面试中的身体语言:非语言信息的重要性

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…