Hbase资源隔离操作指南

news2024/9/24 5:30:31

1.检查集群的环境配置

1.1 HBase版本号确认>= 5.11.0

引入rsgroup的Patch:

[HBASE-6721] RegionServer Group based Assignment - ASF JIRA

RegionServer Group based Assignment

社区支持版本:2.0.0

引入rsgroup的CDH版本 5.11.0

https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_fixed_in_511.html

  1. 确认rsgroup功能已激活

打开HBase Shell, 输入 get_rsgroup ‘default’,

如果未激活rsgroup, 则显示如下图:

如果已激活,则显示如下图:

  1. 如果没有激活rsgroup, 则需要在hbase-site.xml中加入以下配置,重启HMaster(以下示例同时也打开了限流开关)

<property>

   <name>hbase.quota.enabled</name>

   <value>true</value>

 </property>

<property>

<name>hbase.coprocessor.master.classes</name>

<value>org.apache.hadoop.hbase.rsgroup.RSGroupAdminEndpoint</value>

</property>

<property>

<name>hbase.master.loadbalancer.class</name>

<value>org.apache.hadoop.hbase.rsgroup.RSGroupBasedLoadBalancer</value>

</property>

在CM上加入位置如下:

新建rsgroup

hbase> add_rsgroup 'my_group'

获取rsgroup信息

  • 列出所有的rsgroup

hbase(main):004:0> list_rsgroups

REGIONSERVER GROUPS 

t1

default

2 row(s) in 0.0130 seconds

  • 获取rsgroup的信息,包括绑定的服务器和表格列表

hbase> get_rsgroup 'default'

  • 获取region server属于哪个rsgroup

hbase(main):003:0> get_server_rsgroup 'bj01-tst-hadoop08.vivo.lan:60020'

t1

  • 获取htable属于哪个rsgroup

hbase(main):005:0> get_table_rsgroup 't1'

default

1 row(s) in 0.0120 seconds

添加机器到指定的rsgroup

添加机器只能先加到default group, 然后再迁移到其他的rsgroup。

加到default group前,先关掉集群的balance, 可以减少系统的自动分配region数量(如果没有正在splitting的region, 可能不会分配region)

hbase(main):006:0> balance_switch false

true

0 row(s) in 0.0280 seconds

观察web UI上出现小黄条:

 添加机器,然后执行移动到指定rsgroup的操作:

hbase(main):036:0> move_servers_rsgroup 't1',['bjthq-bi-dn0028.vivo.lan:60020',]

再用get_rsgroup检查下是否添加成功。

 最后记得打开balance开关

hbase(main):010:0> balance_switch true

然后检查webUI中小黄条消失。

移动htable到指定的rsgroup

hbase(main):031:0> move_tables_rsgroup 't1',['t1_tbl',]

再用get_rsgroup检查下是否添加成功。

删除rsgroup

必须先把rsgroup内的资源全部迁走后才能删除rsgroup

依次执行:

hbase(main):031:0> move_tables_rsgroup 'default',['t1_tbl',]

hbase(main):036:0> move_servers_rsgroup 'default',['bjthq-bi-dn0028.vivo.lan:60020', …]

hbase(main):038:0> remove_rsgroup ‘t1’

参考:大数据开发:HBase资源隔离的解决方案 - 简书

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/376915.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

高通平台开发系列讲解(Sensor篇)Gsensor基础知识

文章目录 一、什么是SENSOR?二、Sensor的分类及作用三、Gsensor的工作原理及介绍3.1、常见Gsensor3.2、Gsensor的特性沉淀、分享、成长,让自己和他人都能有所收获!😄 📢本篇文章将介绍 Sensor 基础 一、什么是SENSOR? 传感器(英文名称:sensor )是一种检测装置,能感…

【Windows】U盘用完不能直接拔的原因?

小时候刚开始学习使用电脑时&#xff0c;总是被告知&#xff0c;用完U盘之后&#xff0c;一定要在电脑上先安全弹出USB设备之后才能拔掉&#xff0c;那时候就一直不明白为什么要这么做&#xff0c;而且最气的是有时候点击了安全弹出&#xff0c;结果被告知“正在使用无法弹出”…

换了固态硬盘需要重装系统吗?教你如何实现不重装系统!

电脑大家都用过嘛&#xff0c;如果您的计算机装的还是机械硬盘&#xff0c;想必阁下肯定是修身养性的高手&#xff0c;因为在这个浮躁的社会中&#xff0c;是很少有人能够忍受5分钟甚至更久的开机时间的&#xff0c;不仅开机慢&#xff0c;应用程序的响应速度也很慢&#xff0c…

STM32开发(16)----CubeMX配置DMA

CubeMX配置DMA前言一、什么是DMA&#xff1f;二、实验过程1.CubeMX配置2.代码实现3.实验结果总结前言 本章介绍使用STM32CubeMX对DMA进行配置的方法&#xff0c;DMA的原理、概念和特点&#xff0c;配置各个步骤的功能&#xff0c;并通过串口DMA传输实验方式验证。 一、什么是…

华为OD机试题,用 Java 解【最短耗时】问题

最近更新的博客 华为OD机试题,用 Java 解【停车场车辆统计】问题华为OD机试题,用 Java 解【字符串变换最小字符串】问题华为OD机试题,用 Java 解【计算最大乘积】问题华为OD机试题,用 Java 解【DNA 序列】问题华为OD机试 - 组成最大数(Java) | 机试题算法思路 【2023】使…

关于IB学习,大学申请需要了解什么?

越来越多的孩子选择高中上IB课程&#xff0c;然而在IB学习中&#xff0c;会遇到很多问题&#xff0c;尤其是大学申请的问题&#xff0c;很多人还不是很了解。这里小编给大家整理了详细的解答。另外&#xff0c;还罗列了关于IB考试之后的相关问题&#xff0c;希望都能帮到学习IB…

pytorch入门6--数据分析(pandas)

pandas是基于Numpy构建的&#xff0c;提供了众多比NumPy更高级、更直观的数据处理功能&#xff0c;尤其是它的DataFrame数据结构&#xff0c;可以用处理数据库或电子表格的方式来处理分析数据。 使用Pandas前&#xff0c;需导入以下内容&#xff1a; import numpy as np from …

数据结构与算法之冒泡排序(含改进版)

目录冒泡排序概念代码实现时间复杂度代码改进冒泡排序概念 冒泡排序&#xff08;Bubble Sort&#xff09;是一种简单的排序算法。它重复地遍历要排序的数列&#xff0c;一次比较两个元素&#xff0c;如果他们的顺序错误就把他们交换过来。遍历数列的工作是重复地进行直到没有再…

产品新说 | 指标的异常检测怎么做,能更好配合业务变化(二)

前言&#xff1a;上期分享我们提到了指标异常检测实践要素中的三个方面&#xff1a;以面对业务变动为前提&#xff0c;确定业务波动是周期性还是非周期性&#xff0c;进而选对算法&#xff1b;通过确认业务的常规指标&#xff0c;确定异常方向进行监测&#xff08;上基带 / 下基…

【夏虫语冰】Win10局域网下两台电脑无法ping通: 无法访问目标主机

文章目录1、简介2、修改高级共享设置3、启用防火墙规则4、局域网内的其他主机访问NAT模式下的虚拟机4.1 虚拟机网络设置4.2 访问测试4.2.1 http测试4.2.2 curl测试4.2.3 telnet测试4.2.4 端口占用测试5、其他结语1、简介 ping 192.168.31.134ping主机ip时&#xff0c;访问无法…

华为OD机试模拟题 用 C++ 实现 - 学校运动会(2023.Q1)

最近更新的博客 【华为OD机试模拟题】用 C++ 实现 - 最多获得的短信条数(2023.Q1)) 文章目录 最近更新的博客使用说明学校运动会题目输入输出示例一输入输出示例一输入输出Code使用说明 参加华为od机试,一定要注意不要完全背诵代码,需要理解之后模仿写出,通过率才会高…

Python--深入浅出的装饰器--2

前言如果上一章没怎么看懂&#xff0c;那么本章就放弃吧。好了&#xff0c;本章一起看看装饰器的另一种用法&#xff0c;带参数的装饰器。废话总结一下&#xff0c;经过前一章的学习&#xff0c;其实不难看出&#xff0c;装饰器的模板其实就是在此基础上&#xff0c;我们可以肆…

推荐几个实用的在线教程(建议收藏)

hello&#xff0c;大家好&#xff0c;我是木荣君。作为一名技术人员&#xff0c;工作中熟练使用各种管理及设计工具是一项必备的技能。今天给大家分享一下我工作中经常查看和学习的几个在线教程地址。供大家参考学习&#xff0c;建议收藏&#xff0c;真的很实用&#xff01; Gi…

IEEE Fellow李海洲:远渡重洋,万里求索,“机器智能对话”是毕生所求

一直来到实叻坡&#xff0c;乜事无。上山来做工&#xff0c;伯公“多隆”保平安。——潮州过番歌 所谓“过番”&#xff0c;指早期潮州人外出务工&#xff0c;乘坐小船历经七天七夜到达东南亚谋生&#xff0c;“实叻坡”是马来语“Selat”的音译词&#xff0c;便是指“新加坡”…

djvu批量转换为pdf的工具和djvu阅读器(附下载链接)

简介 DjVuToy是一款美观易用、功能强大的DjVu处理工具&#xff0c;DjVuToy官方版功能包括图像文件转DjVu&#xff0c;支持PDG、BMP、GIF等格式。转换的同时可以进行OCR&#xff0c;生成双层DjVu。可以插入、删除、移动、旋转多页DjVu中的页面。还可以将多个DjVu文件合并成一个&…

《数据库系统概论》学习笔记——第一章:绪论

教材为数据库系统概论第五版&#xff08;王珊&#xff09; 第一章基本就纯概念了&#xff0c;考试基本就考简答题啥的。概念还是比较多&#xff0c;平时没事就看看记一下&#xff0c;重点看一些有比较的部分&#xff0c;比如文件管理和数据库的区别&#xff0c;各种数据模型之间…

阶段十:总结专题(第七章:分布式篇)

阶段十&#xff1a;总结专题&#xff08;第七章&#xff1a;分布式篇&#xff09;Day-第七章&#xff1a;分布式篇1. CAP 定理**CAP 定理****不一致的产生**<font color #FF0000>**保证一致性**<font>**保 CP 失 A****保 AP 失 C****一致性级别**2. Paxos 算法**Pa…

c++之引用

目录 引用的概念 引用做函数参数 引用的本质 常引用 引用的概念 在c中新增加了引用的概念&#xff0c;引用可以看作一个已定义变量的别名。 引用的语法&#xff1a;Type &name var; int main() {int a 10;int &b a;printf("b%d\n", b);printf(&quo…

three.js学习:给obj模型设置发光并解决渲染变暗问题

需求描述&#xff1a; 使用obj模型和mtl材质绘制地图&#xff0c;为地图边界添加发光边界线。 实现思路&#xff1a; 借助three.js的OutlinePass管道和Raycaster光线投射实现发光线条 实现步骤&#xff1a; 1、引入相关js文件 EffectComposer&#xff1a;用于实现three.js…

单片机电路设计中的10个难点

单片机是嵌入式系统的核心元件&#xff0c;使用单片机的电路要复杂得多&#xff0c;但在更改和添加新功能时&#xff0c;带有单片机的电路更加容易实现&#xff0c;这也正是电器设备使用单片机的原因。那么在单片机电路的设计中需要注意的难点有哪些&#xff1f;一、单片机上拉…