大数据----32.hbase高可用的演示

news2024/11/25 12:45:22

1、概述:Hbase的优缺点和适用场景

优点:HBase 底层基于HDFS存储,高可用、高扩展、强一致性,支持上亿级别数据。

10亿数据 性能测试结果

  1. 写性能:集群吞吐量最大可以达到70000+ ops/sec,延迟在几个毫秒左右。网络带宽是主要瓶颈,如果将千兆网卡换成万兆网卡,吞吐量还可以继续增加,甚至达到目前吞吐量的两倍。

  2. 读性能:很多人对HBase的印象可能都是写性能很好、读性能很差,但实际上HBase的读性能远远超过大家的预期。集群吞吐量最大可以达到26000+,单台吞吐量可以达到8000+左右,延迟在几毫秒~20毫秒左右。IO和CPU是主要瓶颈。

  3. Range 扫描性能:集群吞吐量最大可以达到14000左右,系统平均延迟在几毫秒~60毫秒之间(线程数越多,延迟越大);其中IO和网络带宽是主要瓶颈。

缺点:

占用内存很大,且鉴于建立在为批量分析而优化的HDFS上,导致读取性能不高

2、高可用

HBase集群如果只有一个master,一旦master出现故障,将导致整个集群无法使用,所以在实际的生产环境中,需要搭建HBase的高可用,也就是让HMaster高可用,也就是需要再选择一个或多个节点也作为HMaster,但是只有一个是active,其他的都为backup master当active的master宕机时,从backup master中选举一个作为active。

zookeeper管理节点实例:

当前的集群中是通过zookeeper来进行项目的管理节点的;
他管理: hadoop06;(主节点)hadoop07(从节点); hadoop08(从节点)
我们的hbase的原数据都是存储到zookeeper中的;
在这里插入图片描述
原数据存储位置:
在这里插入图片描述

在这里插入图片描述
这个时候我们看到他的数据是存储在hadoop07上的;
在这里插入图片描述
现在如果我们把hadoop07上的 hbase进行关闭;把他上面的zookeeper关闭;
那么出现的效果就是zookeeper会把hadoop08上进行存储元数据;
在这里插入图片描述
通过命令结束 他上面的进程;
在这里插入图片描述
这个时候由zookeeper来管理;直接让hadoop08来管理元数据
在这里插入图片描述
在这里插入图片描述

如果这个时候再一次启动我们的hbase和zookeeper 看看结果;
在这里插入图片描述
[root@hadoop07 bin]# ./hbase-daemon.sh start regionserver

在这里插入图片描述

已经启动:
在这里插入图片描述
但是看到的结果我们的hadoop08还是作为元数据来进行:
在这里插入图片描述
如果想再次返回给hadoop07; 就需要再hadoop08上进行结束那两个进程;然后后面启动;同上面一样; (也可以不对我们的zookeeper关闭)
在这里插入图片描述
在这里插入图片描述
[root@hadoop08 bin]# ./hbase-daemon.sh start regionserver
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这个时候他就会把这个元数据放到hadoop07上;

hbase高可用的例子:

在这里插入图片描述
如果hadoop06这个节点突然死掉了; 那么zookeeper就会通过选举机制来从新现在一个主节点; 即使hadoop06启动了;他也不会把主给到他;

那么我们怎样设置高可用的hbase那?
需要之前的操作
在这里插入图片描述
然后再我们要进行接替的节点上进行启动:
现在的主节点是 hadoop06;
我们在hadoop07的节点上启动备用节点:

[root@hadoop07 bin]# ./hbase-daemon.sh start master
在这里插入图片描述
这个地方是在主节点上进行环境变量的设置;没有同传给其他的两个节点; 需要我们自己手共来进行启动; 简单的话;就把hadoop上的文件同传到其他节点:
在这里插入图片描述
使用web就可以访问:
在这里插入图片描述

这个时候如果hadoop06的这个节点上的服务器死掉了;就会自动的hadoop07就会接管他的主节点:
在这里插入图片描述
这个时候访问就访问不到hadoop06:
在这里插入图片描述

这个时候 hadoop7就接管了hadoop06的主节点:
在这里插入图片描述

以上就实现了我们的高可用;
如果你还是想让hadoop06做主节点:

在hadoop06上进行启动主节点即可;
[root@hadoop06 ~]# hbase-daemon.sh start master

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

注意: 为了命令的执行好;可以同传我们的环境变量的文件到其他的两台机器中去;
scp –r /etc/profile hadoop07:/usr/
scp –r /etc/profile hadoop08:/usr/’
更新环境变量
source /etc/profile‘’
即可

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1311963.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

摄影预约小程序制作实战教程

在如今的移动互联网时代,小程序成为了各行业推广和服务的重要工具之一。而对于摄影行业来说,一个专业的摄影预约小程序无疑是提高服务质量和用户体验的关键。 为了让大家更便捷地制作摄影预约小程序,本文将介绍一种使用【乔拓云】第三方制作平…

钉钉机器人发送表格

背景: 由于每次发送excel连接,不太好看,想着简单的表格直接用消息的方式发送在群里,就想着弄一个直接发送的表格信息,但是钉钉官网是没有的。 我估计钉钉的开发人员也没有想过,会有人钻空子,用markdown发送…

天翼云盘秒变硬盘分享

https://cloud.189.cn/web/share?codeAvUnqaj6NNza(访问码:wf4r)y 以下介绍为作者开发的单机版软件,可用于Windows环境中将天翼云盘挂载为本地硬盘,确实可以达到本地硬盘的使用感知,对于多终端数据副本一…

【RocketMQ】顺序消费消息实现原理分析

一、顺序消息概述 1.1、什么是顺序消息 顺序消息是指对于一个指定的 Topic ,消息严格按照先进先出(FIFO)的原则进行消息发布和消费,即先发布的消息先消费,后发布的消息后消费。 1.2、顺序消息的类型 全局顺序消息 …

【网络安全】网络防护之旅 - 对称密码加密算法的实现

🌈个人主页:Sarapines Programmer🔥 系列专栏:《网络安全之道 | 数字征程》⏰墨香寄清辞:千里传信如电光,密码奥妙似仙方。 挑战黑暗剑拔弩张,网络战场誓守长。 目录 😈1. 初识网络安…

性能提升100%、存储节约50%!猕猴桃游戏搭载OceanBase开启云端手游新篇章

近日,武汉灵动在线科技有限公司(以下简称“灵动在线”)与 OceanBase 达成合作,旗下品牌猕猴桃游戏的“游戏用户中心(微信小程序)”和“BI 分析报表业务系统“两大关键业务系统全面接入 OB Cloud 云数据库&a…

中国企业领袖年会在京举行,天雨设计左明龙应邀出席参加

12月9-11日,第二十一届中国企业领袖年会在中国大饭店隆重举行。本届领袖年会以“致敬长期主义”为主题,逾百名世界500强、中国500强和行业领军企业家受邀汇聚一堂,共话中国经济未来。北京天雨盛世文化传媒有限公司(以下简称“天雨…

Ubuntu如何安装KVM

环境: 联想E14笔记本 Ubuntu20.04 问题描述: Ubuntu如何安装KVM 解决方案: 1.验证CPU是否支持硬件虚拟化 rootst-ThinkPad-E14:~# grep -Eoc (vmx|svm) /proc/cpuinfo 162.检查 VT 是否在 BIOS 中启用 安装 apt install cpu-checker …

软件设计师——软件工程(二)

📑前言 本文主要是【软件工程】——软件设计师——软件工程的文章,如果有什么需要改进的地方还请大佬指出⛺️ 🎬作者简介:大家好,我是听风与他🥇 ☁️博客首页:CSDN主页听风与他 &#x1f304…

利用svm进行模型训练

一、步骤 1、将文本数据转换为特征向量 : tf-idf 2、使用这些特征向量训练SVM模型 二、代码 from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.svm import SVC from sklearn.m…

如何有效利用餐厅预约小程序推广餐厅品牌

随着餐饮行业竞争的加剧,餐厅订座预约成为了吸引顾客的一种重要方式。而微信小程序作为移动互联网的重要入口之一,为餐厅提供了一个方便快捷的预约平台。本文将介绍如何使用乔拓云平台等第三方小程序制作平台来开发餐厅订座预约微信小程序。 首先&#x…

jmeter,跨线程调用cookie

结构目录 一、线程组1 1、创建登录的【HTTP请求】,并配置接口所需参数; 2、创建【正则表达式提取器】,用正则表达式提取cookie字段; 3、创建【调试取样器】,便于观察第2步提取出的数据; 4、创建【BeanSh…

nodejs微信小程序+python+PHP的驾照理论模拟考试系统-计算机毕业设计推荐

从角色上分为用户和管理员两部分,用户功能主要是在前台,主要内容首页,注册登录, 模拟考试,论坛,公告信息 ,个人中心,考试记录,错图记录等功能,后台部分主要给…

【Spark精讲】Spark Shuffle详解

目录 Shuffle概述 Shuffle执行流程 总体流程 中间文件 ShuffledRDD生成 Stage划分 Task划分 Map端写入(Shuffle Write) Reduce端读取(Shuffle Read) Spark Shuffle演变 SortShuffleManager运行机制 普通运行机制 bypass 运行机制 Tungsten Sort Shuffle 运行机制…

群晖(Synology)云备份的方案是什么

群晖云备份方案就是在本地的 NAS 如果出现问题,或者必须需要重做整列的时候,保证数据不丢失。 当然,这些是针对有价值的数据,如果只是电影或者不是自己的拍摄素材文件,其实可以不使用云备份方案,因为毕竟云…

Unity Mono加密解决方案

Unity Mono 是 Unity 引擎默认的脚本运行时环境,在游戏开发中扮演着重要的角色。Mono 由跨平台的开源 .NET 框架实现,它允许开发者使用 C# 等编程语言编写游戏逻辑。凭借简单易用的开发环境和高效的脚本编译速度,得到了众多游戏的青睐。 在 …

打工人副业变现秘籍,某多/某手变现底层引擎-Stable Diffusion 模特假人换服装、换背景、换真人

给固定人物换背景或者换服装,需要用到一个Stable Diffusion扩展插件,就是sd-webui-segment-anything。 sd-webui-segment-anything 不仅可以做到抠图的效果,也能实现之多蒙版的效果。 什么是蒙版 图片蒙版是一种用于调节图像修改程度以及进行局部调整的工具。它通常分为四种…

Elasitcsearch--解决CPU使用率飙升

原文网址:Elasitcsearch--解决CPU使用率飙升_IT利刃出鞘的博客-CSDN博客 简介 本文介绍如何解决ES导致的CPU使用率飙升的问题。 问题描述 线上环境 Elasticsearch CPU 使用率飙升常见问题如下: Elasticsearch 使用线程池来管理并发操作的 CPU 资源。…

分布式块存储 ZBS 的自主研发之旅|元数据管理

重点内容 元数据管理十分重要,犹如整个存储系统的“大黄页”,如果元数据操作出现性能瓶颈,将严重影响存储系统的整体性能。如何提升元数据处理速度与高可用是元数据管理的挑战之一。SmartX 分布式存储 ZBS 采用 Log Replication 的机制&…

Processon的使用以及流程图的绘制

目录 一、ProcessOn 1.2 官方网站 门诊流程图 会议OA流程图 药库采购入库流程图 ​住院流程图 二、Axure自定义元件库 2.1 新建元件库 2.2 自定义元件 2.3 添加元件库 一、ProcessOn ProcessOn是一款在线的流程图、思维导图、组织结构图、网络拓扑图等多种图表类型…