【大数据离线开发】7.2 搭建HBase环境

news2024/11/15 12:49:37

7.2 搭建HBase的环境

准备工作：

解压Hbase安装包
[root@bigdata111 tools]# tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training/

设置Hadoop的环境变量 vi ~/.bash_profile
HBASE_HOME=/root/training/hbase-1.3.1
export HBASE_HOME

PATH=$HBASE_HOME/bin:$PATH
export PATH	

生效环境变量：source ~/.bash_profile

7.2.1 搭建HBase的本地模式

特点：不需要HDFS，把数据直接存在操作系统Linux上

HBase本地模式配置

参数文件配置参数参考值备注
.bash_profileHBASE_HOME/root/training/hbase-1.3.1
hbase-env.shJAVA_HOME/root/training/jdk1.8.0_14428行
hbase-site.xmlhbase.rootdirfile:///root/training/hbase-1.3.1/data数据保存的目录
首先创建为本地文件

hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144

hbase-site.xml

<property>
	<name>hbase.rootdir</name>
	<value>file:///root/training/hbase-1.3.1/data</value>
</property>

启动HBase命令：start-hbase.sh————仅仅只启动HMaster

停止HBase命令：stop-hbase.sh

在这里插入图片描述

hbase shell 命令进入数据库

在这里插入图片描述

在这里插入图片描述

7.2.2 搭建HBase的伪分布模式

特点

  • 也是一台机器，需要一个zookeeper、一个HMaster、一个RegionServer

  • 需要启动hadoop环境：start-hdfs.sh

HBase伪分布模式配置

参数文件配置参数参考值备注
.bash_profileHBASE_HOME/root/training/hbase-1.3.1
hbase-env.shJAVA_HOME/root/training/jdk1.8.0_14428行
同上HBASE_MANAGES_ZKtrue第129行注释打开
使用HBase自带的Zookeeper
hbase-site.xmlhbase.rootdirhdfs://192.168.157.111:9000/hbaseHBase对应的HDFS目录
同上hbase.cluster.distributedtrue是一个分布式环境
同上hbase.zookeeper.quorum192.168.157.111指定ZK的地址
同上dfs.replication1
regionservers192.168.157.111指定从节点所在的地址

参数配置

hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144

129 export HBASE_MANAGES_ZK=true

hbase-site.xml

<!--HBase对应的HDFS目录-->
<property>
	<name>hbase.rootdir</name>
	<value>hdfs://192.168.157.111:9000/hbase</value>
</property>

<!--是一个分布式环境-->
<property>
	<name>hbase.cluster.distributed</name>
	<value>true</value>
</property>

<!--指定ZK的地址-->
<property>
	<name>hbase.zookeeper.quorum</name>
	value>192.168.157.111</value>
</property>

<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

regionservers

192.168.157.111

启动命令与本地模式一样，但是启动的服务不一样

在这里插入图片描述

可以同本地模式一样在本地操作，也可以在网页上查看，配置的hdfs网址

在这里插入图片描述

可以通过打开ZooInspector文件夹中的zookeeper-dev-ZooInspector.jar文件（JVM打开方式）

点击连接设置

  • connet String ：ip:2181
  • session Timeout：5000

7.2.3 搭建HBase的全分布模式和HA

7.2.3.1 搭建HBase的全分布

需要机器及其配置：

bigdata112：HMaster、ZooKeeper

bigdata113：RegionServer

bigdata114：RegionServer

注意：每台机器的时间同步，可以使用 date -s 11/22/2016 设置时间

如果时间不同步：

  1. Hadoop：执行MR出错
  2. HBase：RegionServer会自动停止

准备工作：

在主节点上进行操作

  • 启动hadoop环境：start-dfs.sh
  • 上传hbase.tar.gz文件到主节点上
  • 解压：tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training/

在每台机器上同步设置环境变量

设置Hadoop的环境变量 vi ~/.bash_profile
HBASE_HOME=/root/training/hbase-1.3.1
export HBASE_HOME

PATH=$HBASE_HOME/bin:$PATH
export PATH	

生效环境变量：source ~/.bash_profile

主机参数配置

hbase-env.sh

28 export JAVA_HOME=/root/training/jdk1.8.0_144

129 export HBASE_MANAGES_ZK=true

hbase-site.xml

参数文件配置参数参考值
.bash_profileHBASE_HOME/root/training/hbase-1.3.1
hbase-env.shJAVA_HOME/root/training/jdk1.8.0_144
同上HBASE_MANAGES_ZKtrue
hbase-site.xmlhbase.rootdirhdfs://192.168.157.111:9000/hbase
同上hbase.cluster.distributedtrue
同上hbase.zookeeper.quorum192.168.157.111
同上dfs.replication2
同上hbase.master.maxclockskew180000
regionservers192.168.157.113
192.168.157.114
<!--HBase对应的HDFS目录-->
<property>
	<name>hbase.rootdir</name>
	<value>hdfs://192.168.157.112:9000/hbase</value>
</property>

<!--是一个分布式环境-->
<property>
	<name>hbase.cluster.distributed</name>
	<value>true</value>
</property>

<!--指定ZK的地址-->
<property>
	<name>hbase.zookeeper.quorum</name>
	value>192.168.157.112</value>
</property>

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>	

<!--允许集群各个节点的时间误差的最大值，单位是毫秒-->
<property>
	<name>hbase.master.maxclockskew</name>
	<value>180000</value>
</property>

regionservers

192.168.157.113
192.168.157.114

文件分发

把安装目录复制到从节点上（可以删掉doc文件下面所有的xml文件）

  • scp -r hbase-1.3.1/ root@bigdata113:/root/training
  • scp -r hbase-1.3.1/ root@bigdata114:/root/training

启动Hbase：start-hbase.sh

在这里插入图片描述

7.2.3.2 搭建HA

不需要单独搭建，使用HBase自带的zookeeper

HBase的HA架构

在这里插入图片描述

  • 配置参数：hbase.zookeeper.quorum

  • 在某个从节点单独启动HMaster：hbase-daemon.sh start master

在这里插入图片描述

在这里插入图片描述

当bigdata112死掉的时候，bigdata114就会成为主节点 ，从节点的一些信息也会显示，因为我们的客户端都是连接zookeeper的

7.2.3.3 比较各种模式下HBase在ZK中保存的数据

在这里插入图片描述

伪分布和全分布模式主要区别是在 rs

全分布和HA模式主要区别是在 backup-masters

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/359439.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

37、基于51单片机乒乓球比赛系统设计

37、基于51单片机乒乓球比赛系统设计

摘要 乒乓球游戏电路是一个对输入信号、输入时机正确与否的8个LED表示乒乓球球台和乒乓球&#xff0c;用数码管模拟显示器&#xff0c;显示比赛局数比分和每局玩家得分的电路。电路并不复杂&#xff0c;整体分为两个模块&#xff1a;一&#xff0c;游戏主模块&#xff1b;二&a…
阅读更多...
excel图表技巧：如何制作自动刷新的动态喜报

excel图表技巧：如何制作自动刷新的动态喜报

临近年关&#xff0c;各企业进入节日营销大战&#xff0c;每天都需要对销售数据进行统计分析&#xff0c;同时为了鼓励及带动新品的销售气氛&#xff0c;还会制作鼓励销售人员士气的喜报。今天就来分享使用Excel如何快速制作可以自动更新数据的喜报&#xff0c;非常方便哦&…
阅读更多...
c语言编程规范 第四部分

c语言编程规范 第四部分

5、禁止头文件循环依赖头文件循环依赖&#xff0c;指a.h包含b.h&#xff0c;b.h包含c.h&#xff0c;c.h包含a.h之类导致任何一个头文件修改&#xff0c;都导致所有包含了a.h/b.h/c.h的代码全部重新编译一遍。而如果是单向依赖&#xff0c;如a.h包含b.h&#xff0c;b.h包含c.h&a…
阅读更多...
单例模式设计（面试题）

单例模式设计（面试题）

1、static修饰变量规则static修饰的静态成员属于 类而不是对象&#xff0c;所有的对象共享一份静态成员数据&#xff0c;所以不占用类的空间static修饰的成员&#xff0c;定义类的时候&#xff0c;必须分配空间static修饰的静态成员数据 必须类中定义 类外初始化静态成员变量可…
阅读更多...
CentOS7安装MariaDB步骤

CentOS7安装MariaDB步骤

文章目录1.配置MariaDB yum源2.安装MariaDBMariaDB数据库管理系统是MySQL的一个分支&#xff0c;主要由开源社区在维护&#xff0c;采用GPL授权许可。 MariaDB的目的是完全兼容MySQL&#xff0c;包括API和命令行&#xff0c;使之能轻松成为MySQL的代替品。 CentOS 6 或早期的版…
阅读更多...
0基础成功转行Python自动化测试工程师，年薪30W+，经验总结都在这（建议收藏）

0基础成功转行Python自动化测试工程师，年薪30W+，经验总结都在这（建议收藏）

两年前的决定我觉得还是非常正确的&#xff0c;就是自学了python&#xff0c;然后学习了自动化测试、性能测试、框架、持续集成&#xff0c;同时也把前面的软件测试基础知识全部补全了。目前的收入还比较满意&#xff0c;月入2W&#xff08;仅代表个人收入&#xff09;,13薪&am…
阅读更多...
技术团队管理要求 网文节选要点，内部培训用

技术团队管理要求 网文节选要点，内部培训用

业务线开发级别分布 技术开发 高级技术开发 技术专家 p6p7 团队专家 p7 单团队 10人小团队 领域专家 p8 多团队 2-5 10人小团队&#xff0c;技术顶峰&#xff0c;业务和管理能力都不能弱。 商业或者业务leader p8 p9&#xff0c;商业模式设计和商业成功。业务能力和管…
阅读更多...
用神经辐射场在大场景中漫游

用神经辐射场在大场景中漫游

目录 前言 介绍 背景 改进 NeRF 以编码大型场景 在训练数据中获得足够的观点 动态对象移除 应用 结论 参考 前言 最近一直在做NeRF相关工作&#xff0c;偶然看到台湾智慧实验室一篇文章&#xff08;Hovering Around a Large Scene with Neural Radiance Field Taiwan …
阅读更多...
系列三、docker相关指令

系列三、docker相关指令

一、docker指令 1.1、查看docker详细信息 docker info 1.2、查看docker版本 docker version 1.3、帮助命令 docker --help 二、images指令 2.1、查看本地仓库中有哪些镜像 docker images 2.2、下载新的镜像 # 语法 docker pull 镜像名:版本号# 案例 docker pull mysql…
阅读更多...
详解CanNM配置-CanNmPnEnabled参数有什么用？

详解CanNM配置-CanNmPnEnabled参数有什么用？

总目录链接==>> AutoSAR入门和实战系列总目录 @学前问答： CanNmPnEnabled是什么含义？ CanNmPnEnabled会对接收NM PDU 有什么影响 CanNmAllNmMessagesKeepAwake是干嘛的？ 文章目录 1 CanNmPnEnable配置解析2 答疑解析1 CanNmPnEnable配置解析 CanNmPnEnable配置的参…
阅读更多...
camera 硬件基本知识

camera 硬件基本知识

参考博客&#xff1a;1.【Camera专题】Qcom-你应该掌握的Camera调试技巧2_c枫_撸码的日子的博客-CSDN博客_outputpixelclock 2.浩瀚之水_csdn的博客_CSDN博客-深度学习,嵌入式Linux相关知识汇总,Caffe框架领域博主 3.一个早起的程序员的博客_CSDN博客-FPGA,PCIe应用实战,PCI-E…
阅读更多...
windows 系统 同时安装启动 多个版本的 MySQL

windows 系统 同时安装启动 多个版本的 MySQL

目录一 安装MySQL8.01.0 下载MySQL8.0版本1.1 配置配置文件1.2 注册服务1.3 修改密码二 安装MySQL5.72.0 下载MySQL5.7版本2.1 配置配置文件2.2 注册服务2.3 启动服务并修改密码在同一台 windows 上安装不同版本的MySQL, 这里表示环境干净未安装MySQL的教程.如安装过请先百度搜…
阅读更多...
jvm监控进程内存分布

jvm监控进程内存分布

线上经常内存爆满&#xff0c;导致设备掉线&#xff0c;进行排查14894 进程ip Pidjstat -gcutil 14894 1000 -1 jvm 内存分布%jmap -histo:live 14894 | head -50 jvm 存活的实例对象 前50个jmap -histo:live 14894 >> heap.txt jvm 存活的实例对象 输出成文件jmap -dump…
阅读更多...
操作系统线程

操作系统线程

进程那一章&#xff0c;我们留下了一个问题 第一个cpu调用进程&#xff0c;进程调用i/o设备&#xff0c;主动进入ready 队列 第二个cpu将程序执行时间平均分时&#xff0c;进程执行时间到 第三个fork函数&#xff0c;我们上一章的lab有实践&#xff0c;可以看出是父进程主动条用…
阅读更多...
数字化转型下的园区运营如何才能智慧起来？推荐快鲸智慧园区系统

数字化转型下的园区运营如何才能智慧起来？推荐快鲸智慧园区系统

在数字化转型深入推动的背景下&#xff0c;“大数据”、“互联网”等技术不断推动着传统产业&#xff0c;园区运营所产生的业务数据与日俱增。数据作为数字化转型的核心要素&#xff0c;如果不对其进行分析整理&#xff0c;从中提取有价值的信息&#xff0c;数据的价值便无法得…
阅读更多...
CS144-Lab1

CS144-Lab1

实验架构 TCP实施中模块和数据流的排列 : [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pmRfy6Va-1676857163260)(null)] 字节流是Lab0。TCP的工作是通过不可靠的数据报网络传输两个字节流(每个方向一个)&#xff0c;以便写入连接一侧套接字的字…
阅读更多...
在superset中快速制作报表或仪表盘

在superset中快速制作报表或仪表盘

在中小型企业&#xff0c;当下需要快速迭代、快速了解运营效果的业务&#xff0c;急需一款开源、好用、能快速迭代生产的报表系统。 老板很关心&#xff0c;BI工程师很关心&#xff0c;同时系统开发人员也同样关心&#xff0c;一个好的技术选型往往能够帮助公司减少很多成本&a…
阅读更多...
软件持续测试的未来题】

软件持续测试的未来题】

测试是软件开发生命周期(SDLC)的重要组成部分。SDLC 的每个阶段都应包含测试&#xff0c;以获得更快的反馈并提高产品质量。如果以有效的方式实施和使用测试自动化&#xff0c;那么它可以为您带来出色的结果&#xff0c;而持续测试是正确的方法.。预计在2018-2023 年的预测期内…
阅读更多...
CCNP350-401学习笔记（251-300题）

CCNP350-401学习笔记（251-300题）

251、 Which IPv6 OSPF network type is applied to interface Fa0/0 of R2 by default? A. multipointB. broadcast C. Ethernet D. point-to-point 252、Which EIGRP feature allows the use of leak maps? A. neighborB. Stub C. offset-list D. address-family 253、W…
阅读更多...
IMS应用领域｜IMS连接器系统使自动驾驶成为可能

IMS应用领域｜IMS连接器系统使自动驾驶成为可能

IMS连接器系统使自动驾驶成为可能极高的创新力和绝对的产品质量&#xff1a;作为高频接插件接口的创新性开发合伙人&#xff0c;我们的产品满足汽车工业对信息娱乐、娱乐、远程信息处理技术、车载电脑和智能汽车天线等不同产品解决方案的多种要求。我们为确保系统的可靠性做出了…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023