HBase snapshot+replication 测试

news2024/9/22 21:17:55

一、背景
画像标签服务(CDP)是核心服务,被公司其他系统如现金、电商、风控等核心业务调用。异常的话,影响范围大。

二、目标
存量数据测试通过 snapshot 迁移。增量数据测试通过 replication 同步。

三、测试
方案二测试,两个独立HBase集群,snapshot+replication
(1)存量数据迁移 (snapshot)
1、同步数据到目标hbase集群

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-snapshot test_20240315_1 \
-copy-from hdfs://10.9.21.38:8020/hbase \
-copy-to hdfs://10.9.21.38:8020/hbase_new \
-mappers 1 \
-bandwidth 128

在这里插入图片描述
在这里插入图片描述
以上命令产生的 Yarn 任务:
在这里插入图片描述
2、在目标hbase集群上查询数据

restore_snapshot 'test_20240315_1'
scan 'test'

在这里插入图片描述
(2)增量数据同步 (replication)
1、原集群上执行。增加从集群。

add_peer '1', CLUSTER_KEY => "10.9.109.203:2181:/hbase_new"
list_peers

在这里插入图片描述
2、原集群上执行。修改表属性,设置复制目标从集群。

alter 't2024',{NAME => 'cf1' , REPLICATION_SCOPE=>'1'}

在这里插入图片描述
3、原集群上执行。写入数据。
在这里插入图片描述
4、从集群上执行。从集群确认数据同步成功。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2036924.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

LabVIEW电流互感器测试系统

开发了基于LabVIEW的光电式电流互感器测试系统的开发过程。通过系统设计、硬件选型及软件实现的详细描述,展示了该系统如何有效地进行电流互感器的性能测试。 项目背景 电流互感器是电力系统中不可或缺的一部分,用于监测和控制电流流动,确保…

Ubuntu基础使用-适合新手的讲解

目录 一、基础操作 1. 终端重要热键 2. 基础命令 3. 通配符 二、文件与目录 1. 2.等价 3.帮助指令 4.当前路径 更改路径 5.创建与删除文件夹 6.创建与删除文件 7.重定向(写入,追加写入) 8.查看文件内容 9.wc指令 10.复制&…

Haproxy知识点

目录 负载均衡 四层负载均衡 七层负载均衡 HAproxy简介 Haproxy的基本配置 haproxy基本部署 haproxy热处理 SOCAT工具 haproxy的算法 haproxy的静态算法 static-rr 基于权重的轮询调度 first haproxy的动态算法 roundrobin leastconn 其他算法 SOURCE url_pa…

微调大语言模型知识

在自然语言处理领域,大语言模型(Large Language Models, LLMs)展示了卓越的能力。了解这些模型的特点及微调方法可以帮助更好地应用它们。 大语言模型概述 大语言模型的定义 大语言模型(LLM)是用于理解和生成自然语言…

大语言模型与多模态大模型loss计算

文章目录 前言一、大语言模型loss计算1、loss计算代码解读2、构建模型输入内容与label标签3、input_ids与labels格式 二、多模态大模型loss计算方法1、多模态loss计算代码解读2、多模态输入内容2、大语言模型输入内容3、图像embending如何嵌入文本embeding 前言 如果看了我前面…

C++ 适配器 stack

不了解适配器的读者可以先去看一看这一篇博客:C 适配器-CSDN博客 栈数据结构介绍 我们平时洗碗的时候,叠成一层层的碗最后只能从上面往下面开始拿;平时箱子里面叠的衣服,也是只能从上面慢慢拿。先放进去的东西后拿出来&#xff…

【STM32嵌入式系统设计与开发拓展】——15_ADC

一、问题集结 1、ADC? (Analog to Digital Converter)即模数转换器,用来将模拟信号转换为数字信号. 模数转换器 2、什么是模拟量? 如温度,湿度等随着时间逐步逐步连续变化的量 3、什么是数字量? 如我们单片机处理的信…

Spring自动注册-自定义标签解析

创建实体 定义一个XSD文件描述组件内容 创建BeanDefinitionParser接口的实现类,用来解析XSD文件中的定义和组件定义。 创建NamespaceHandlerSupport实现类,目的是将组件注册到Spring容器中。 编写spring.handlers和spring.schemas文件,默认位…

Layui——实现弹出层中的form表单验证(lay-verify不生效)

目录 分析原因 完整版修改后的代码 完整版原代码 参考文章: 1、http://t.csdnimg.cn/64KdG2、http://t.csdnimg.cn/CUTPa3、http://t.csdnimg.cn/iHAIO 分析原因 添加部门时,部门名称不能为空,添加不成功,也没有任何提示&#…

使用ITextRenderer导出PDF后无法打开问题,提示‘无法打开此文件‘

依赖如下 <!-- https://mvnrepository.com/artifact/org.xhtmlrenderer/flying-saucer-pdf --> <dependency><groupId>org.xhtmlrenderer</groupId><artifactId>flying-saucer-pdf</artifactId><version>9.1.22</version> &l…

96、QT 实现LED圆形指示灯控件

代码实现更改控件样式表的颜色和形状等 //QLabel控件变成圆形LED指示灯样式表 const QString QLabel_LED_Circle_SheetStyle_Red "min-width: 20px; min-height: 20px;max-width:20px; max-height: 20px;border-radius: 10px; background:red";//红色 const QStrin…

[C++][opencv]基于opencv实现photoshop算法色相和饱和度调整

【测试环境】 vs2019 opencv4.8.0 【效果演示】 【核心实现代码】 HSL.hpp #ifndef OPENCV2_PS_HSL_HPP_ #define OPENCV2_PS_HSL_HPP_#include "opencv2/core.hpp" using namespace cv;namespace cv {enum HSL_COLOR {HSL_ALL,HSL_RED,HSL_YELLOW,HSL_GREEN,HS…

告别繁琐!2024年PDF转CAD工具大推荐

如果你是装修设计师收到的却是被阉割了的PDF&#xff0c;不要破防。现在有不少工具可以直接实现PDF转CAD再也不需要你费心重画哦。今天&#xff0c;我们就来聊聊2024年大家都在用的几款PDF转CAD工具&#xff0c;看看它们是如何改变我们的设计工作的。 1.福昕PDF转换大师 链接…

springboot整合mybatis以及mybatis-plus 开发

一、springboot整合mybatis 1.注解版 1.1 导入坐标 <dependencies><!--mybatis坐标--><dependency><groupId>org.mybatis.spring.boot</groupId><artifactId>mybatis-spring-boot-starter</artifactId><version>2.2.2</…

39、Python之面向对象:对象属性解析:MRO不够用,补充3个方法

引言 在前面的文章中&#xff0c;我们谈及Python在继承关系&#xff0c;尤其是多继承中&#xff0c;一个对象的属性的查找解析顺序。由于当时的语境聚焦于继承关系&#xff0c;所以只是简要提及了属性解析顺序同方法的解析顺序&#xff0c;而方法的解析顺序&#xff0c;在Pyth…

16.1 深度学习基础

欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;欢迎订阅相关专栏&#xff1a; 工&#x1f497;重&#x1f497;hao&#x1f497;&#xff1a;野老杂谈 ⭐️ 全网最全IT互联网公司面试宝典&#xff1a;收集整理全网各大IT互联网公司技术、项目、HR面试真题.…

Java 数据结构入门示例

通过我们适合初学者的数据结构指南&#xff08;包含说明性示例&#xff09;深入了解 Java 世界。 理解结构对于软件开发至关重要。Java是学习数据结构的理想选择&#xff0c;因为它的语法简单&#xff0c;应用范围广泛&#xff0c;从移动应用开发到大数据分析。 让我们仔细看看…

Lingo保姆级安装教程及新手快速入门指南

一、软件介绍 Lingo 18.0是一款功能强大的数学建模软件&#xff0c;功能齐全&#xff0c;建模速度快&#xff0c;是求解优化模型的最佳选择&#xff0c;深受广大用户的喜爱。它有一套完整继承的软件包&#xff0c;可以用于构建和编辑问题的完全功能环境&#xff0c;具有建模速…

【前端VUE】npm i 出现版本错误等报错 简单直接解决命令

前端vue npm i 安装时出现 报错原因 在新版本的npm中&#xff0c;默认情况下&#xff0c;npm install遇到冲突的peerDependencies时将失败。 解决办法 使用--force或--legacy-peer-deps可解决这种情况。 --force 会无视冲突&#xff0c;并强制获取远端npm库资源&#xff0…

【C++ 面试 - 基础题】每日 3 题(十五)

✍个人博客&#xff1a;Pandaconda-CSDN博客 &#x1f4e3;专栏地址&#xff1a;http://t.csdnimg.cn/fYaBd &#x1f4da;专栏简介&#xff1a;在这个专栏中&#xff0c;我将会分享 C 面试中常见的面试题给大家~ ❤️如果有收获的话&#xff0c;欢迎点赞&#x1f44d;收藏&…