Hbase1.3:Hbase基础架构、Hbase基础架构角色:Master、Region Server、Zookeeper、HDFS

news2024/11/16 22:29:49

Hbase1.3:Hbase基础架构、Hbase基础架构角色:Master、Region Server、Zookeeper、HDFS

  • Hbase基础架构
  • Hbase基础架构角色
    • 1)Master
    • 2)Region Server
    • 3)Zookeeper
    • 4)HDFS

Hbase基础架构

Hbase架构里面,区分出了两种角色,老大和小弟的概念。因为Hbase是分布式的结构,自然也会有,即Master和Region Server,总体架构如下:
请添加图片描述

Hbase基础架构角色

1)Master

实现类为HMaster,负责监控集群中所有的RegionServer实例。主要作用如下:
①管理元数据表格hbase:meta,接收用户对表格创建修改删除的命令并执行
②监控region是否需要进行负载均衡,故障转移和region拆分。通过启动多个后台线监控实现上述功能:
Ⅰ:LoadBalancer负载均衡器:
周期性监控region分布在regionServer上面是否均衡,由参数hbase.balancer.period控制周期时间,默认5分钟。
Ⅱ:CatalogJanitor元数据管理器:
定期检查和清理hbase:meta中的数据。meta表后面再研究。
Ⅲ:MasterProcWAL master预写日志处理器:
把master需要执行的任务记录到预写日志WAL中,如果master宕机,让bacpupMaster读取日志继续干。master的操作都是先写日志,再执行对应操作。

2)Region Server

Region Server实现类为HRegionServer,主要作用如下:
①负责数据cell的处理,例如写入数据put,查询数据get
②拆分合并region的实际执行者,有master监控,有regionServer执行

3)Zookeeper

HBase通过Zookeeper来做master的高可用
记录RegionServer的部署信息、并且存储在有meta表的位置信息。
Hbase对于数据的读写操作是直接访问Zookeeper的,在2.3版本推出Master Registry模式(主注册表模式,默认是直接访问Zookeeper的),客户端安可以直接访问master。使用此功能,会加大对master的压力,减轻对Zookeeper的压力。

4)HDFS

HDFS为HBase提供最终的底层数据存储服务,同时为HBase提供高容错的支持。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/439015.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ubuntu18.04手动安装网卡驱动,重启系统后,驱动消失的解决方案

ubuntu18.04手动安装网卡驱动,重启系统后,驱动消失的解决方案 文章目录 ubuntu18.04手动安装网卡驱动,重启系统后,驱动消失的解决方案 1.问题描述2.问题分析3.解决方案(使用 Netplan 配置网络) 参考&#x…

XXL-JOB介绍

一、介绍 1.1、什么是XXL-JOB XXL-JOB是一个分布式任务调度平台,用于解决分布式系统中定时任务执行问题 1.2、架构图 二、部署 2.1、源码部署 2.1.1、下载源码 gitee下载地址 github下载地址 2.1.2、初始化数据库 2.1.3、修改数据库配置 2.1.4、将xxl-job-admi…

Java泛型--Java中的E、T、?

🍁 先说结论: T、E、K、V、?本质都是通配符。用于定义泛型类、泛型方法、泛型接口…换成其他字母也行,只是这几个字母是一种编码约定。T,即type,表示一个具体的Java类型E,即element,…

2023测试人必备60个实用测试工具推荐,让你成为测试大咖

目录 引言 一、测试管理工具 二、接口测试工具 三、性能测试工具 四、C/S自动化工具 五、白盒测试工具 六、代码扫描工具 七、持续集成工具 八、网络测试工具 九、app自动化工具 十、web安全测试工具 绵薄之力 引言 无论你是一名资深测试人员还是刚入行的新手&…

大数据实战 --- 世界新冠疫情数据分析

目录 开发环境 数据描述 功能需求 数据准备 统计计算 Hbase Hive 分析数据 开发环境 HadoopHiveSparkHBase 启动Hadoop:start-all.sh 启动zookeeper:zkServer.sh start 启动Hive: nohup hiveserver2 1>/dev/null 2>&1 &…

基于多种流量检测引擎识别pcap数据包中的威胁

在很多的场景下,会需要根据数据包判断数据包中存在的威胁。针对已有的数据包,如何判断数据包是何种攻击呢? 方法一可以根据经验,对于常见的WEB类型的攻击,比如SQL注入,命令执行等攻击,是比较容…

Radzen Blazor Studio 2.84 Crack

Radzen Blazor Studio 是一种桌面工具,它使 开发人员 能够创建漂亮的商业 Blazor 应用程序。快速地。 开放技术栈 没有供应商锁定。生成的源代码是人类可读的,您可以使用免费工具构建它。 Radzen 由流行的开源技术——ASP.NET Core、Blazor、Bootstrap …

Handler消息机制

App中一般多会有多个线程,多线程之间难免需要进行通信。开发中线程通信用的最多的就是Handler,另外还有,例如子线程进行数据处理,在主线程中进行UI更新。 当然了除了Handler这种通信方式外,线程间的通信还有其他几种方…

在线免费把Markdown格式文件转换为PDF格式

用CSDN的MarkDown编辑器在线转换 CSDN的MarkDown编辑器说实话还是挺好用的。 导出PDF操作步骤,图文配合看: 在MD编辑模式下写好MarkDown文章或者直接把要转换的MarkDown贴进来; 使用预览模式,然后在预览文件上右键选择打印&…

pycuda 安装出错解决

执行:pip install pycuda 出现:Building wheel for pycuda (PEP 517) … error 使用:pip install pycuda --no-binary :all: 不解决问题。 从源码编译 1、下载 pycuda-2021.1.tar.gz 2、tar xfz pycuda-2021.1.tar.gz 3、cd pycuda-20…

LNMP的部署

一、编译安装Nginx 服务 1、编译安装Nginx 服务的操作步骤 systemctl stop firewalld systemctl disable firewalld setenforce 01.1 安装依赖包 yum -y install pcre-devel zlib-devel gcc gcc-c make1.2 创建运行用户 useradd -M -s /sbin/nologin nginx1.3 编译安装 cd…

Shell编程(三)grep sed awk文本处理三剑客

上一章: Shell编程(二)_做测试的喵酱的博客-CSDN博客 一、ps命令 指令: ps作用: 主要是查看服务器的进程信息选项含义: -e:等价于 ‘-A’ ,表示列出全部的进程 -f:显示全部的列&am…

【珍藏版】SWAT模型十七项热点融合技术呈现,提升SWAT模型应用创新点

本次共十七个实践案例 1)遥感产品和SWAT模型快速建模 2)基于水文响应单元(HRU)的水资源时空分布特征 3)基于自定义流域与河道的SWAT模型建模与分析 4)子流域划分原理及其对模型不确定性的影响 5)坡度划分原理及其对模型不确定性的影响 6)DEM数据空…

站在程序猿的角度理解:UDP 协议

哈喽,大家好~我是你们的老朋友: 保护小周ღ,本期为大家带来的是 网络基础原理中的 UDP 协议,从什么协议?,认识 UDP 协议,UDP 的报文格式,UDP 传输大文件时的策略,以及 UD…

蓝库云|制造业该如何利用WMS仓库管理系统赋能企业发展

在数字化时代,制造业需要更加高效、智能、灵活地管理仓库,以满足市场的需求。WMS仓库管理系统作为一种先进的仓库管理工具,蓝库云认为WMS系统可以帮助制造企业实现数字化转型升级,提高仓库管理效率,降低成本&#xff0…

HuggingFace过去七天最流行的AI模型一览——预训练大模型绝对王者

HuggingFace是目前最火热的AI社区,很多人称之为AI模型的GitHub。包括Google、微软等很多知名企业都在上面发布模型。 HuggingFace简介:https://www.datalearner.com/blog/1051636550099750 而HuggingFace上提供的流行的模型也是大家应当关注的内容。本…

ChatGPT4写贪吃蛇游戏(Notion)[pygame的学习]

这里我使用的是Notion写出来的贪吃蛇,开始使用百度的文心一言来试下效果,生成了好几次的代码都是有bug,所以生成代码这块还得是ChatGPT。这篇主要就是了解下pygame库的一些方法,当然在没有安装这个库的,需要先安装&…

【浅谈 new 与 delete】

目录: 前言new 与 delete内置类型自定义类型operator new 与 operator deletenew 和 delete 实现原理定位new 总结 前言 打怪升级:第39天 在C语言中,我们动态申请内存的方法是使用malloc函数,它的同胞兄弟还有calloc 和realloc&a…

php使用tcpdf,通过html生成的pdf文件,合同章(图片)错位?需要怎么解决

php使用tcpdf,通过html生成的pdf文件,合同章有错位?需要怎么解决? 1、html下的排版正确,如图: 2、html代码,如图 3、生成pdf后的文件,如图 $pdf->Image(),计算一下x、…

【QT】详细介绍Qt的窗口属性:Qt::WA_DeleteOnClose属性

目录 1. close()2. WA_DeleteOnClose属性3. 测试3.1 设置了 Qt::WA_DeleteOnClose 属性3.2 未设置 Qt::WA_DeleteOnClose 属性 4. 测试代码 1. close() 当我们创建一个窗口(MainWindow, Widget, Dialog, QMessageBox, 等等)后,我们一般会调用…