基于飞腾平台的Hbase的安装配置

news2024/11/23 21:05:04
    【写在前面】 飞腾开发者平台是基于飞腾自身强大的技术基础和开放能力,聚合行业内优秀资源而打造的。该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域,包含了应用使能套件、软件仓库、软件支持、软件适配认证四大板块,旨在共享尖端技术,为开发者提供一个涵盖多领域的开发平台和工具套件。 点击这里开始你的技术升级之旅吧

image.png​​

本文分享至飞腾开发者平台《飞腾平台Hbase2.4.9安装配置手册》

1 介绍

  HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。

2 环境要求

2.1 硬件要求

  硬件要求如下表所示。

项目说明
CPUFT-2000+/64服务器
网络无要求
存储无要求
内存无要求

2.2 操作系统要求

  操作系统要求如下表所示。

项目说明
CentOS8
Kernel4.18.0-193.el8.aarch64

2.3 软件环境要求

  软件环境要求如下表所示。

项目说明
JDK11.0.11
Maven3.3.9
Protpbuf2.6.1
Hadoop3.2.2

3 安装与配置步骤

3.1 基本环境

  因为HBase 是以 HDFS 作为底层存储文件系统的,所以Hadoop 是部署Hbase的基础。而JDK是 Hadoop 和 HBase 运行的环境,两者都采用 Java 语言实现,它们的守护进程都运行在JVM下,因此在安装Hbase前,确保系统中存在已经部署好的Hadoop以及JDK。明确Hadoop与JDK的版本与储存路径。本文使用的是Hadoop3.2.2和JDK11.0.11. 要部署的Hbase版本是2.4.9。

3.2 下载Hbase

  1)下载Hbase安装包:

    a)http://archive.apache.org/dist/hbase/2.4.9/ 官网

    b)https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.4.9/ 清华镜像网站

  注*:在下载Hbase安装包时,要选择编译好的,可以直接使用的压缩包,如下图所示:

image.png

  2)解压压缩包

>>tar -zxvf hbase-2.4.9-bin.tar.gz

  3)查看解压后的文件,并查看Hbase版本判断是否可用

image.png

>>bin/hbase version

  执行命令后,输出信息如下图所示:

image.png

  出现Hbase以及对应的版本号则说明已经安装成功。

3.3 添加Hbase权限

>> sudo chown -R XXX ./hbase

注*:执行此命令的作用是将hbase下的所有文件的所有者改为XXX,XXX是当前用户的用户名(也有教程说是运行Hadoop的账户)。因此该命令存疑,在不清楚用户名的情况下可省略该步骤。

3.4 将Hbase添加至环境变量

  编辑位于/etc目录下的profile文件

>> vim /etc/profile

  将以下代码追加至文件尾部

export HBASE_HOME=/GSH/Hadoop-Hbase/hbase-2.4.9

export PATH=\$PATH:\$HBASE_HOME/bin

  保存后,执行命令使上述代码生效:

>> source /etc/profile

3.5 Hbase配置

3.5.1 单机模式配置

  Hbase相关的配置文档存储在解压目录的conf文件夹下

  1)编辑位于/root/GSH/Hadoop-Hbase/hbase-2.4.9/conf下的hbase-env.sh

>> vim hbase-env.sh

  配置jdk路径:

export JAVA_HOME=/opt/jdk-11.0.11

  配置HBASE_MANAGES_ZK为true,表示由hbase自己管理zookeeper:

export HBASE_MANAGERS_ZK=true

image.png

  配置完成后保存并退出。

  2)编辑位于/root/GSH/Hadoop-Hbase/hbase-2.4.9的hbase-site.xml:

>> vim hbase-site.xml

  将如下代码添加至hbase-site.xml文件中:

<configuration>

    <property>

        <name>hbase.rootdir</name>

        <value>file:///root/GSH/Hadoop-Hbase/hbase-2.4.9/tmp</value>

    </property>

</configuration>

  设置属性hbase.rootdir,用于指定HBase数据的存储位置,防止每次重启系统丢失数据。

  保存并退出。

3.5.2 伪分布式模式配置

  1)对/root/GSH/Hadoop-Hbase/hbase-2.4.9/conf下的hbase-env.sh内容更新:

>> vim hbase-env.sh

  配置HBASE_CLASSPATH:

export HBASE_CLASSPATH=/root/GSH/Hadoop-Hbase/hadoop3.2.2/conf

image.png

  保存并退出。

  2)对/root/GSH/Hadoop-Hbase/hbase-2.4.9/conf下的hbase-site.xml内容更新:

>> vim hbase-site.xml

  将<configuration>与</configuration>之间的内容修改成如下代码:

<property>  
    <name>hbase.rootdir</name>  
    <value>hdfs://localhost:9000/hbase</value>  
</property>  
<property>  
    <name>hbase.cluster.distributed</name>  
    <value>true</value>  
</property>
<property>
    <name>hbase.tmp.dir</name>
    <value>./tmp</value>
</property>
<property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
</property>

image.png

  hbase.rootdir用于指定HBase的存储目录,hbase.cluster.distributed设置集群处于分布式模式,hbase.tmp.dir指定本地文件系统tmp目录。

4 启动Hbase

4.1 启动Hadoop

  切换至/root/GSH/Hadoop-Hbase/hadoop-3.2.2目录下,启动Hadoop:

>> start-all.sh

  执行启动命令后,出现如下图所示输出信息说明启动成功

image.png

  也可以使用jps命令查看是否启动成功:

>> jps

  出现NameNode, NodeManager等进程说明启动成功,如下图所示

image.png

4.2 启动Hbase

  切换回到安装Hbase的目录:

>> cd /root/GSH/Hadoop-Hbase/hbase-2.4.9

  启动Hbase:

>> bin/start-hbase.sh

  执行后的输出信息如下图所示:

image.png

  输入命令jps:

>> jps

看到如下界面说明Hbase启动成功:

image.png

4.3 关闭Hbase

  关闭Hbase:

>> bin/stop-hbase.sh

5 Hbase Shell基础命令

  在命令行中输入hbase shell即可进入hbase shell命令行

  1)创建表

  create '表名' , '属性1' , '属性2'....

>> create 'student', 'name','grade','course'

  2)查看表结构

>> describe 'student'

  3)添加数据

  HBase中用put命令添加数据,注:一次只能为一个表的一行数据的一个列,也就是一个单元格添加一个数据,

  HBase的表中会有一个系统默认的属性作为行键,无需自行创建,默认为put命令操作中表名后第一个数据。

  插入姓名为“GSH”的数据:

>> put 'student','1001','name','GSH'

  1001就是默认的行键,它对应了一个表中某一个独一无二的数据,可以理解为“学号”,“身份证号”等等。将GSH的“math”属性设置为90:

>> put 'student','1001','course:math','90'

  4)查看数据

    a)Get

>> get 'student','1001'

  查看student表中1001号的数据

    b)Scan

>> scan 'student

  查看student表中所有数据

  5)删除数据

    a)delete

>> delete 'student','1001','name'

  删除student表中1001行name列的数据

    b)deleteall

>> deleteall 'student','95001'

  删除student表中的1001行的全部数据

  6)删除表

  需停止表的可用性,再删除表

>> disable 'student'

>> drop 'student'

推荐阅读

  • 基于飞腾平台的Spark移植与安装
  • 基于飞腾平台的Kafka移植与安装

欢迎广大开发者来飞腾开发者平台获取更多前沿技术文档及资料

如开发者在使用飞腾产品有任何问题可通过在线工单联系我们


版权所有。飞腾信息技术有限公司 2023。保留所有权利。

未经本公司同意,任何单位、公司或个人不得擅自复制,翻译,摘抄本文档内容的部分或全部,不得以任何方式或途径进行传播和宣传。

商标声明

Phytium和其他飞腾商标均为飞腾信息技术有限公司的商标。

本文档提及的其他所有商标或注册商标,由各自的所有人拥有。

注意

本文档的内容视为飞腾的保密信息,您应当严格遵守保密任务;未经飞腾事先书面同意,您不得向任何第三方披露本文档内容或提供给任何第三方使用。

由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,飞腾在现有技术的基础上尽最大努力提供相应的介绍及操作指引,但飞腾在此明确声明对本文档内容的准确性、完整性、适用性、可靠性的等不作任何明示或暗示的保证。

本文档中所有内容,包括但不限于图片、架构设计、页面布局、文字描述,均由飞腾和/或其关联公司依法拥有其知识产权,包括但不限于商标权、专利权、著作权等。非经飞腾和/或其关联公司书面同意,任何人不得擅自使用、修改,复制上述内容。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2044608.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

人脸操作:从检测到识别的全景指南

人脸操作&#xff1a;从检测到识别的全景指南 在现代计算机视觉技术中&#xff0c;人脸操作是一个非常重要的领域。人脸操作不仅包括检测图像中的人脸&#xff0c;还涉及到人脸识别、表情分析、面部特征提取等任务。这些技术在各种应用中发挥着关键作用&#xff0c;从社交媒体…

Windows Server 2016 Standard 将程序加入开机自启动

分3步 1 打开“启动”文件夹&#xff1a;在Windows的搜索栏中输入“shell:startup”&#xff0c;点击搜索结果中的 “启动” 文件夹即可打开。 2 在启动文件夹中&#xff0c;右键点击空白区域&#xff0c;选择“新建”->“快捷方式”。 3 将 “程序的快捷方式” 添加到启动…

IP转地理位置:3个好用免费开源库代码及数据库对比体验详解

最近在做一个IP定位显示国家省市功能&#xff0c;在全网找了一圈&#xff0c;也每个安装体验过&#xff0c;测试他的数据库精准度。 本人是用PHP的第三方库&#xff0c;整理以下使用过的ip定位转地理位置库。 ip定位转地理位置库 1.itbdw/ip-database&#xff1a; **gihub地…

Qt 系统相关 - 网络与音视频

目录 一、Qt 网络 1. UDP Socket 1.1 核心 API 概览 1.2 回显服务器 1.3 回显客户端 2. TCP Socket 2.1 核心 API 概览 2.2 回显服务器 2.3 回显客户端 3. HTTP Client 3.1 核心 API 3.2 代码示例 二、Qt 音视频 1. Qt 音频 1.1 核心API概览 1.2 示例 2. Qt 视…

Java面试八股之请简述消息队列的发布订阅模式

请简述消息队列的发布订阅模式 发布订阅&#xff08;Publish-Subscribe&#xff0c;简称 Pub/Sub&#xff09;模型是一种消息传递模式&#xff0c;它在组件之间提供了高度的解耦和灵活性。这种模式广泛应用于分布式系统、事件驱动架构以及消息队列系统中。下面是发布订阅模型的…

什么是核心交换机?这样回答太到位了

号主&#xff1a;老杨丨11年资深网络工程师&#xff0c;更多网工提升干货&#xff0c;请关注公众号&#xff1a;网络工程师俱乐部 你们好&#xff0c;我的网工朋友。 无论是企业内部通信还是对外服务&#xff0c;稳定高效的数据传输都是成功的关键。 在这个背景下&#xff0c…

A-CSPO课程概念澄清和实操:假定(Assumptions)、实验(Experiments)、假设(Hypotheses)

“确保你把这当作一个实验。” “我们的工作假设是客户想要这个。” 这些场景熟悉吗&#xff1f;你的团队&#xff08;或整个组织&#xff09;可能会经常混淆假定(Assumptions)、实验(Experiments)和假设(Hypotheses)等术语&#xff0c;这会造成混乱。 让我们澄清一下每一个…

JAVA社会校招人力资源招聘系统小程序源码

解锁职场新篇章&#xff0c;揭秘“社会校招人力资源招聘系统”的奥秘 一、引言&#xff1a;为何社会校招需要数字化升级&#xff1f; 在这个信息爆炸的时代&#xff0c;企业面临着前所未有的招聘挑战&#xff1a;如何从海量简历中精准筛选出合适的人才&#xff1f;如何高效管…

SQLAlchemy 中使用 GroupBy 和 Sum 导致重复计数的问题及解决方法

在 SQLAlchemy 中使用 GroupBy 和 Sum 时&#xff0c;有时会遇到重复计数或意外的查询结果。这通常是因为在聚合查询中没有正确地指定聚合函数或 GroupBy 条件&#xff0c;导致结果集没有按预期方式分组。 1、问题背景 在使用 SQLAlchemy 进行数据查询时&#xff0c;用户在尝试…

入门 - vue整个过程的生命周期详解

生命周期概念 Vue的生命周期就是vue实例从创建到销毁的全过程&#xff0c;也就是new Vue()开始就是vue生命周期的开始。Vue 实例有⼀个完整的⽣命周期&#xff0c;也就是从开始创建、初始化数据、编译模版、挂载Dom->渲染、更新->渲染、卸载 等⼀系列过程&#xff0c;称…

无人机灯光含义的详解!!!

一、LED指示灯和状态指示灯 LED指示灯&#xff1a;通常位于飞行器的头部机臂上&#xff0c;用于显示无人机的当前状态。 状态指示灯&#xff1a;位于尾部机臂上&#xff0c;提供更多关于无人机状态的信息。 红绿黄灯交替闪烁 表示无人机正在进行系统自检。稍等片刻&#xf…

Mybatis获取主键自增的方法

原本的方法 使用原本的JDBC去获取主键自增的方法如下图所示&#xff1a; 在这段代码中&#xff0c;通过连接对象 conn 的 prepareStatement 方法创建了一个PreparedStatement对象&#xff0c;并将SQL语句和 RETURN_GENERATED_KEYS 常量作为参数传递给该方法。这意味着执行SQL…

使用 Python 创建 Windows 程序列表生成器:从安装程序到配置文件

在当今的数字时代&#xff0c;我们的计算机上安装了数不胜数的程序。但是&#xff0c;您是否曾想过如何快速获取所有已安装程序的列表&#xff0c;并将其转化为可用的配置文件&#xff1f;今天&#xff0c;我们将探讨如何使用 Python 创建一个强大的工具&#xff0c;它不仅可以…

StarRocks Lakehouse 快速入门——Apache Paimon

StarRocks Lakehouse 快速入门指南为您提供了湖仓技术概览&#xff0c;旨在帮助您迅速掌握其核心特性、独特优势和应用场景。本指南将指导您如何高效地利用 StarRocks 构建解决方案。文章末尾&#xff0c;我们集合了来自阿里云、饿了么、喜马拉雅和同程旅行等行业领导者在 Star…

【私有云场景案例分享①】高效的集群管理能力

一、前言 设备的管理对企业至关重要&#xff0c;会影响生产效率、成本控制和竞争力。然而&#xff0c;企业在设备管理上面临设备数量多、设备分布广、维护成本高等挑战。DeviceKeeper设备管理网站作为解决方案&#xff0c;可以通过远程设备监控、远程设备维护和包体共享等功能…

制造业MES系统源码,前端框架:vue.js,后端框架:springboot 功能模块包括:生产计划管理、物料管理、工艺管理、设备管理、

MES系统功能模块解析&#xff0c;MES系统源码 MES系统是一种用于协调和优化制造过程的信息管理系统&#xff0c;可以帮助企业实现生产计划的顺利执行&#xff0c;并提供全面的生产监控和数据分析功能。 MES系统常见的功能模块包括生产计划管理、物料管理、工艺管理、设备管理…

如何把Phalcon 集成到PhpStorm里面

一 背景 按照上一篇文章里面写的Phalcon 创建项目过程中的一些坑, 最终我们在终端可以基于Phalcon命令创建对应的开发项目。但在这个过程中,存在一个问题:那就是写代码的时候,发现Phalcon对应的依赖提示都没有,如下: 从上面这个截图来看,就能发现,Phalcon的啥…

音频剪辑在线工具哪个好?分享5款简单易上手的音频剪辑工具

暑期的泰山人山人海&#xff0c;游客们纷纷涌向这座名胜古迹。站在巍峨的泰山之巅&#xff0c;望着脚下绵延的群山和眼前无边的云海&#xff0c;人们不禁会想要记录下这一刻的声音。 但泰山的风声、游客的喧哗声、还有自然与人文的杂音交织在一起&#xff0c;要想将这声音中的…

【人工智能】 使用线性回归预测波士顿房价 paddlepaddle 框架 飞桨

一、简要介绍 经典的线性回归模型主要用来预测一些存在着线性关系的数据集。 回归模型可以理解为:存在一个点集,用一条曲线去拟合它分布的过程。如果拟合曲线是一条直线,则称为线性回归。 如果是一条二次曲线,则被称为二次回归。 线性回归是回归模型中最简单的一种。 本…

机房监控系统,全面监控机房动力环境实时报警@卓振思众

在现代企业运营中&#xff0c;机房作为计算机系统的核心支撑平台&#xff0c;承载着关键数据和应用的稳定运行。因此&#xff0c;保障机房环境的安全和设备的正常运行至关重要。【卓振思众】机房监控系统&#xff0c;作为一种先进的智能管理工具&#xff0c;正是为了实现这一目…