十分钟入门HBase特性与安装部署

news2024/10/9 14:22:35

1.写在前面

        目前Hadoop生态的大数据组件都有一个其本身擅长的领域,并且目前看来,这个领域相对较窄,所以各位学生在大数据相关活动中,难免会有技术交集,最近学生在做离线数仓项目的时候,采用kylin技术组件,能够快速根据维度和度量指标获得结果,kylin依赖Hbase的数据存储,这里简单讲解一下Hbase的相关特性和安装部署流程。

其他大数据相关组件可以参照本栏目其他文章,kylin组件后续安排


2.Hbase介绍及特性

1)HBase是BigTable的开源java版本。是建立在HDFS之上,提供高可靠性、高性能、列存储、可伸缩、实时读写NoSQL的数据库系统

2)HBase仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务

3)主要用来存储结构化和半结构化的松散数据

4)Hbase查询数据功能很简单,不支持join等复杂操作,不支持复杂的事务(行级的事务)

5)Hbase中支持的数据类型:byte[]

6)Hbase支持横向扩展,即增加服务器达到增加存储和处理能力

7)Hbase表的特点:,可以存上十亿行,上百万列;面向列,面向列(族)的存储和权限控制,列(族)独立检索;稀疏,对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏


 3. Hbase应用场景

对象存储、时序数据、推荐画像、时空数据、Cube OLAP(kylin)、消息订单、Feeds流、NewSQL等


4. 强调

1)因为Hbase不支持join,故不适合做数仓存储

2)不同于Hive,有较快的查询能力,可以直接对接业务系统,但对复杂事务支持不够

3)Hbase是一种在Hadoop之上的NoSQL 的Key/value数据库

对象存储、时序数据、推荐画像、时空数据、Cube OLAP(kylin)、消息订单、Feeds流、NewSQL等


5. 安装部署

安装版本:hbase 2.1.0

上传安装包至 /export/software

解压安装包

tar -xvzf hbase-2.1.0.tar.gz -C ../server/

5.1 修改HBase配置文件

cd /export/server/hbase-2.1.0/conf
vim hbase-env.sh

# 第28行
export JAVA_HOME=/export/server/jdk1.8.0_333/
export HBASE_MANAGES_ZK=false

 修改hbase-site.xml

<configuration>

 <!-- HBase数据在HDFS中的存放的路径 -->
        <property>
            <name>hbase.rootdir</name>
            <value>hdfs://node1:8020/hbase</value>
        </property>
        <!-- Hbase的运行模式。false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面 -->
        <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
        </property>
        <!-- ZooKeeper的地址 -->
        <property>
            <name>hbase.zookeeper.quorum</name>
            <value>node1,node2,node3</value>
        </property>
        <!-- ZooKeeper快照的存储位置 -->
        <property>
            <name>hbase.zookeeper.property.dataDir</name>
            <value>/export/server/zookeeper-3.4.6/data</value>
        </property>
        <!--  V2.1版本,在分布式情况下, 设置为false -->
        <property>
            <name>hbase.unsafe.stream.capability.enforce</name>
            <value>false</value>
        </property>
</configuration>

配置环境变量

# 配置Hbase环境变量
vim /etc/profile
export HBASE_HOME=/export/server/hbase-2.1.0
export PATH=$PATH:${HBASE_HOME}/bin:${HBASE_HOME}/sbin

#加载环境变量
source /etc/profile

复制jar

cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/

修改conf下regionservers文件

#删除localhost
node1
node2
node3

分发安装包与配置文件

cd /export/server
scp -r hbase-2.1.0/ node2:$PWD
scp -r hbase-2.1.0/ node3:$PWD
scp -r /etc/profile node2:/etc
scp -r /etc/profile node3:/etc


在node2和node3分别加载环境变量
source /etc/profile


6、启动hbase 

#进入onekey目录下,栏目下有文章介绍一键启动
# 启动ZK一键启动
./start-zk.sh

# 启动hadoop
start-dfs.sh

# 启动hbase
start-hbase.sh

7、验证Hbase是否安装成功

# 启动hbase shell客户端
hbase shell


# 输入status
status

8、UI界面访问

http://node1:16010

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/135714.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【MySQL进阶教程】 存储引擎详细介绍

前言 本文为 【MySQL进阶教程】 存储引擎 相关知识介绍&#xff0c;下边具体将对MySQL体系结构&#xff0c;存储引擎介绍&#xff0c;存储引擎特点&#xff08;包含&#xff1a;InnoDB、MyISAM、Memory的特点及对比&#xff09;&#xff0c;存储引擎选择等进行详尽介绍~ &…

学习SpringCloudAlibaba(一)

一、为什么使用SpringCloud Alibaba 有了spring cloud这个微服务的框架&#xff0c;为什么又要使用spring cloud alibaba这个框架了&#xff1f; 最重要的原因在于spring cloud中的几乎所有的组件都使用Netflix公司的产品&#xff0c;然后在其基础上做了一层封装。然而Netfli…

走过 2022

“听过很多道理&#xff0c;依然过不好这一生”。每年写年终总结也是。但是审视自己在过去一年的表现依然是必需的。“吾日三省吾身”&#xff0c;更好的当然是每天都有所反思。世间很多事都离不开反馈&#xff0c;写总结就是一个很好的反馈。经历了过去荒诞的一年&#xff0c;…

开源虚拟机 qemu 安装以及使用方法 (helloos.img)

这篇文章里有 30Day Make OS 光盘的内容&#xff0c;感谢博主 https://blog.csdn.net/monster663/article/details/115919391 链接&#xff1a;https://pan.baidu.com/s/18dz8CuOxN21EAIU3os2KpA 提取码&#xff1a;qwer qemu 牛啤&#xff01; 从 https://www.qemu.org/down…

【阶段一】Python快速入门05篇:高级特性、pip工具、模块的使用、类(class)与异常处理

本篇的思维导图: 高级特性 列表生成式 现在有一个列表,你需要对该列表中的每个值求平方,然后将结果组成一个新列表。 描述 代码

分享101个PHP源码,总有一款适合您

链接&#xff1a;https://pan.baidu.com/s/1Jh2STRXhYU92KyGuaz_rsQ?pwdjvks 提取码&#xff1a;jvks PHP源码 分享101个PHP源码&#xff0c;总有一款适合您 下面是文件的名字&#xff0c;我放了一些图片&#xff0c;文章里不是所有的图主要是放不下...&#xff0c;大家下载…

VMware安装银河麒麟V10桌面版虚拟机

VMware安装银河麒麟V10桌面版虚拟机 第一章 VMware安装银河麒麟V10桌面版虚拟机 文章目录VMware安装银河麒麟V10桌面版虚拟机安装环境一、iso下载二、安装步骤1.创建虚拟机2.启动虚拟机&#xff0c;并安装操作系统安装环境 提示&#xff1a;虚拟机安装需要较大的磁盘空间&…

Java——使用多线程从list中不重复地取出数据并进行处理,给多线程任务添加单项任务计时和总耗时

Java——使用多线程从list中不重复地取出数据并进行处理&#xff0c;给多线程任务添加单项任务计时和总耗时一、最简版-无参数传递1.创建业务类&#xff0c;实现Runnable接口2.创建线程&#xff0c;实例化自己创建的业务类并调用3.运行结果二、加强版-有参数传递1.创建业务类&a…

第8季1:海思平台OSD的理论基础

以下内容源于朱有鹏嵌入式课程的学习与整理&#xff0c;如有侵权请告知删除。 一、OSD概述 1、区域管理模块 “OSD”是“on screen display”的缩写&#xff0c;即在屏幕上播放。 用户需要在视频中叠加OSD或者色块&#xff0c;来显示一些特定信息&#xff0c;比如通道号、时…

浅谈Java并发

Java并发是比较难的知识点&#xff0c;难于对并发的理解。并发要从操作系统和硬件层面去理解&#xff0c;才会比较深入&#xff0c;而不单单是从编程语言的逻辑去理解。 首先对于并发要清楚的几点&#xff1a; 线程可能在任何时刻被切换。 计算机只对硬件指令保证原子性。 CP…

关于一名资深Java程序员在移动端的进阶之路

目录 那年刚毕业 初识移动端 H5开始入门 微信小程序开发 未来的目标(唯有热爱&#xff0c;可抵这岁月漫长) 既然进来了&#xff0c;就帮我点亮五星好评吧&#xff0c;你的五星就是对我最大的支持和鼓励…… https://bbs.csdn.net/topics/611387335 今天呢&#xff0c;就借…

Prometheus配合 alertmanager 使用企业微信告警(坑已平!!!)

部署Prometheus 和 Alertmanager略 安装包部署prometheusGrafananode_exporter_争取不加班&#xff01;的博客-CSDN博客 prometheus监控报警部署Alertmanager_争取不加班&#xff01;的博客-CSDN博客 配置企业微信报警 首先使用企业微信创建一个企业 然后点击头像&#xff…

C++进阶 map和set

作者&#xff1a;小萌新 专栏&#xff1a;C进阶 作者简介&#xff1a;大二学生 希望能和大家一起进步&#xff01; 本篇博客简介&#xff1a;简单介绍C中map和set容器 map和set关联式容器树形结构与哈希结构键值对setset的介绍set的定义方式方式一&#xff1a; 构造一个某类型的…

声纹图-声谱图-js之wavesurfer.js(配置、事件、方法中文版翻译)

配置信息 optiontypedefaultEnglish descriptiontranslateaudioRatefloat1Speed at which to play audio. Lower number is slower.播放音频的速度。数值越低&#xff0c;速度越慢。audioContextobjectnoneUse your own previously initialized AudioContext or leave blank.n…

挺进2023 年的JavaScript 框架

瞥见未来的美妙之处在于&#xff0c;道路永远不会完全清晰。我们可以观察趋势&#xff0c;观察创新并尝试规划路线。更好的是&#xff0c;我们可以成为这些创新的一部分来指导方向。但没有什么是确定的。 2022 年发布了大量推动 Web 开发的重大版本。我们看到了 Astro 和 Svel…

Jetson NX + yolov5 v5.0 + TensorRT加速+调用usb摄像头

上一篇笔记记录了如何使用yolov5使用usb摄像头使用权重进行测试,测试效果如下 本篇文章具体操作步骤如下就可以了&#xff0c;切记版本要对应 &#xff0c;我产生这个错误的原因就是版本问题&#xff0c;成功转换但是还是卡顿&#xff0c;估计是硬件usb问题&#xff0c;加速以后…

2023年最值得学习的10大编程语言

作为一名程序员&#xff0c;我们的目标之一就是学习新技术和编程语言&#xff0c;但是你应该学习哪些语言呢&#xff1f;由于学习一门编程语言既需要时间又需要耐心&#xff0c;因此您应该学习一门值得付出努力的语言&#xff1b;我的意思是&#xff0c;它可以帮助你获得更好的…

2023前端必会手写面试题整理

实现一个compose函数 组合多个函数&#xff0c;从右到左&#xff0c;比如&#xff1a;compose(f, g, h) 最终得到这个结果 (...args) > f(g(h(...args))). 题目描述:实现一个 compose 函数 // 用法如下: function fn1(x) {return x 1; } function fn2(x) {return x 2; } …

UTF-8编码

阅读该文章之前&#xff0c;请阅读以下两篇文章&#xff0c;了解GBK编码和Unicode编码&#xff1a; GBK编码的理解_sgmcy的博客-CSDN博客 Unicode编码的理解_sgmcy的博客-CSDN博客 UTF的意思是&#xff1a;Unicode Transformation Format 。也就是Unicode 转换格式。可见&am…

python初级教程七 JSON 数据解析

JSON 数据解析 JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。 Python3 中可以使用 json 模块来对 JSON 数据进行编解码&#xff0c;它包含了两个函数&#xff1a; json.dumps(): 对数据进行编码。 json.loads(): 对数据进行解码。 在 json 的编解码过程…