【大数据工具】HBase 集群搭建与基本使用

news2024/12/22 20:26:14

HBase 集群搭建

HBase 安装包下载地址:https://archive.apache.org/dist/hbase/

安装 HBase 的前提:

  • ZooKeeper 集群 OK
  • Hadoop 集群 OK

1. HBase 集群安装

1. 将 HBase 软件包上传至 Hadoop0 解压并重命名

  • 使用 FileZilla 将 hbase-1.3.1-bin.tar.gz 上传至 Hadoop0 的 /software/ 目录下

  • 解压 hbase-1.3.1-bin.tar.gz,并重命名解压后的文件夹

[root@hadoop0 ~]# cd /software/
[root@hadoop0 software]# tar -zxvf hbase-1.3.1-bin.tar.gz
[root@hadoop0 software]# mv hbase-1.3.1 hbase

2. 添加环境变量

# /etc/profile,添加完source加载一下使其生效
export HBASE_HOME=/software/hbase
export PATH=.:$PATH:$HBASE_HOME/bin

3. 修改配置文件

操作路径: $HBASE_INSTALL/conf

(1)修改 hbase-env.sh

  • 可在命令模式下通过 / 进行查找,false 代表使用的是外置的 zookeeper,true 代表使用的是 hadoop 自带的 zookeeper
[root@hadoop0 conf]# vi hbase-env.sh
export JAVA_HOME=/software/jdk/
export HBASE_MANAGES_ZK=false

(2)修改 hbase-site.xml

  • 注意 hdfs://hadoop0:8020/hbase 的端口和 hadoop 保持一致,hadoop 没有配置端口默认是 8020,配置了一般配置 9000 端口
[root@hadoop0 conf]# vi hbase-site.xml
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop0:8020/hbase</value>
</property> <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop0,hadoop1,hadoop2</value>
</property>
<property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/software/zk</value>
</property>

(3)修改 regionservers(存放的 region server 的 hostname)

[root@hadoop0 conf]# vi regionservers
hadoop1
hadoop2

(4)复制 Hadoop0 中的 hbase 文件夹到 Hadoop1、Hadoop2 中,在 Hadoop0 中执行如下命令:

[root@hadoop0 conf]# scp -r /software/hbase hadoop1:/software/
[root@hadoop0 conf]# scp -r /software/hbase hadoop2:/software/

(5)配置从节点环境变量

  • 复制 Hadoop0 中的 /etc/profile 到 Hadoop1、Hadoop2 中,在 Hadoop1、Hadoop2 上执行 source /etc/profile;或直接修改 Hadoop1 和 Hadoop2 的环境变量配置文件
scp /etc/profile hadoop1:/etc/
scp /etc/profile hadoop2:/etc/

2. 启动/停止 HBase 集群

1. 三台服务器分别启动 ZooKeeper

  • 配置了环境变量,不需要切到 zk 的 bin 目录下
# 切到zk的安装目录下的bin目录中
cd /software/zk/bin
zkServer.sh start
# 启动完查看下状态:
zkServer.sh status

2. 在 Hadoop0 上启动 Hadoop(Hadoop2 和 Hadoop3 就一块启动了)

# start-all是把hdfs和yarn都启动了
start-all.sh
# 查看状态:
jps

3. 启动 HBase(hadoop0 启动即可)

start-hbase.sh
# 退出HBase:
stop-hbase.sh

启动完成查看进程情况

  • HBase:主从架构式的集群
  • 主节点:HMaster
  • 从进程:HRegionServer

3. 查看 HBase 的 webUI 界面

172.16.15.100:16010

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/618540.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

pytorch中Dataloader读取数据太慢的问题

文章目录 pytorch中Dataloader读取数据太慢的问题1. 方法2. 方法3. 解决方法&#xff1a;提取加载数据 pytorch中Dataloader读取数据太慢的问题 数据读取的速度远远大于GPU训练的速度&#xff0c;导致整个训练流程中有大部分时间都在等待数据发送到GPU&#xff0c;在资源管理器…

七年磨一剑!苹果王炸产品Vision Pro诞生,未来已来

这是第一款「不见却可透见」的苹果产品 等了整整七年&#xff01;2023年6月5日&#xff0c;WWDC23大会上&#xff0c;苹果发布首款头显Vision Pro&#xff0c;Vision Pro 可以算是苹果公司自 2015 年 Apple Watch 首次亮相以来最大的硬件产品发布&#xff0c;或许它会彻底改变数…

【深度学习】BERT变种—百度ERNIE 1.0

ERNIE: Enhanced Representation through Knowledge Integration是百度在2019年4月的时候&#xff0c;基于BERT模型&#xff0c;做的进一步优化&#xff0c;在中文的NLP任务上得到了state-of-the-art的结果。 ERNIE 是百度开创性提出的基于知识增强的持续学习语义理解框架&…

苹果又一黑科技产品 Apple Vision Pro,正式问世!

公众号关注 “GitHubDaily” 设为 “星标”&#xff0c;每天带你逛 GitHub&#xff01; 在电影《钢铁侠》中&#xff0c;托尼通过简单的手势动作&#xff0c;配合空间中的虚拟界面&#xff0c;成功将贾维斯创造出来。 当时片中的这个镜头&#xff0c;让无数科幻迷为之疯狂&…

pyspark数据输入

学习目标&#xff1a; 现在只需要知道PDD是一个数据集。 【运行实例&#xff08;1&#xff09;】&#xff1a; from pyspark import SparkConf, SparkContext # conf:创建对象&#xff1b;Sparkconf&#xff1a;创建入口&#xff1b;setMaster&#xff1a;运行方式&#xff1…

chatgpt赋能python:Python如何输出两个值

Python如何输出两个值 在Python编程中&#xff0c;经常需要输出多个值。下面我们来介绍几种常用的方法。 方法一&#xff1a;使用逗号分隔符 使用逗号分隔符可以在一行代码中输出多个值。例如&#xff1a; a, b 1, 2 print(a, b) # 输出 1 2在输出时&#xff0c;多个值之…

图解未成年人个人信息保护要求(附下载)

未成年人互联网普及率持续提升。据2023年中国互联网络信息中心发布的第51次《中国互联网络发展状况统计报告》数据&#xff0c;2021年我国未成年人互联网普及率达96.8%&#xff1b;截至2022年12月&#xff0c;使用过短视频的青少年群体占比65.6%&#xff0c;未成年人已成网络参…

【Linux:进程间信号】

文章目录 1 生活角度的信号2 技术应用角度的信号3 信号的产生3.1 由系统调用向进程发信号3.1.1 signal3.1.2 kill3.1.3 raise 3.2 由软件条件产生信号3.3 硬件异常产生信号3.4 通过终端按键产生信号3.5 总结思考一下 4 信号的保存4.1信号其他相关常见概念4.2在内核中的表示4.3 …

如何评价 Facebook 发布的数字货币 Libra?

一句话总结&#xff1a;Libra 最大的亮点&#xff0c;在于它是 Facebook 做的。 随着数字货币市场的迅速发展&#xff0c;各类加密货币层出不穷。然而&#xff0c;在这个领域中&#xff0c;Facebook 所推出的 Libra 显得尤为引人关注。那么&#xff0c;Libra 到底有何特点&…

专家助阵!IoTDB X EMQ 智慧工厂主题 Meetup 讲师曝光!

期待已久的智慧工厂主题 Meetup 活动将在 4 天后线下线上同步举办&#xff01; 天谋科技将联手 EMQ&#xff0c;通过数据基础设施平台的核心技术与实践经验分享&#xff0c;提供流程协同、运营提效、生产质量保障等智能制造目标的可行方案。快来在推文结尾预约直播&#xff0c;…

【大数据工具】Flink集群搭建

Flink 集群安装 1. 单机版 Flink 安装与使用 1、下载 Flink 安装包并上传至服务器 下载 flink-1.10.1-bin-scala_2.11.tgz 并上传至 Hadoop0 /software 下 2、解压 [roothadoop0 software]# tar -zxvf flink-1.10.1-bin-scala_2.11.tgz3、创建快捷方式 [roothadoop0 soft…

100天精通Python(可视化篇)——第90天:Pyecharts可视化神器基础入门

文章目录 专栏导读一、pyecharts 介绍1. 简介2. 版本说明 二、pyecharts 特点三、pyecharts 安装四、基本步骤五、快速开始1. 数据准备1&#xff09;类别数据2&#xff09;时间数据3&#xff09;颜色数据4&#xff09;地理数据5&#xff09;世界人口数据6&#xff09;选择数据7…

Netty核心源码剖析(三)

1.Pipeline,Handler和HandlerContext创建源码剖析 1.1.三者的关系 1>.每当ServerSocket创建一个新的连接,就会创建一个Socket,对应的就是目标客户端; 2>.每一个新创建的Socket都将会分配一个全新的ChannelPipeline(以下简称pipeline); 3>.每一个ChannelPipeline内…

LKY_OfficeTools 一键优雅的安装并激活你的Office

何为优雅&#xff1f; 说到Office办公软件 相信都不陌生&#xff0c;一般包括Word、Excel、PowerPoint默认三件套&#xff0c;和Outlook、OneNote、Access。 几乎每台电脑都会配置的 但大多数的情况下 都是先去软件仓库下载 Office 然后使用激活工具去激活Office 这种操作听起…

国内首款医疗大语言模型MedGPT发布,专业医疗标注数据成关键

5月25日&#xff0c;国内互联网医院、慢病管理平台医联今日正式发布了自主研发的基于Transformer架构的国内首款医疗大语言模型——MedGPT。 与通用型的大语言模型产品不同&#xff0c;MedGPT主要致力于在真实医疗场景中发挥实际诊疗价值&#xff0c;实现从疾病预防、诊断、治疗…

机器学习 day14 ( 神经网络,计算机视觉中的引用:人脸识别和汽车识别)

神经网络的发展 最开始的动机&#xff1a;是通过构建软件来模拟大脑&#xff0c;但今天的神经网络几乎与大脑的学习方式无关 我们依据大脑中的神经网络&#xff0c;来构建人工神经网络模型。左图中&#xff1a;一个神经元可以看作一个处理单元&#xff0c;它有很多的输入/树突…

图论与算法(6)最小生成树

1. 带权图及实现 1.1 带全图概述 带权图是一种图形结构&#xff0c;其中图中的边具有权重或成本。每条边连接两个顶点&#xff0c;并且具有一个与之关联的权重值&#xff0c;表示了两个顶点之间的某种度量、距离或成本。 带权图可以用邻接矩阵或邻接表来表示。邻接矩阵是一个…

集成电路(芯片)中VCC、VDD、VSS、GND和AGND等概念

IC芯片 Integrated Circuit Chip 即集成电路芯片&#xff0c;是将大量的微电子元器件(晶体管、电阻、电容、二极管等) 形成的集成电路放在一块塑基上&#xff0c;做成一块芯片。目前几乎所有看到的芯片&#xff0c;都可以叫做 IC芯片 。 SOP与DIP SOP(Small Outline Package…

浅谈备考 系统架构师

这里写自定义目录标题 准备步骤考试形式考试内容学习考试内容训练考试内容其他觉得好的同类参考资料2023年度计算机技术与软件专业技术资格&#xff08;水平&#xff09;考试工作计划 第一次产生萌芽的时候三年前&#xff0c;当初备考没有想过要评职称或者成为什么人才&#xf…

antd3和dva-自定义组件初始化值的操作演示和自定义组件校验

前言 在antd3 (react)版和dva下,好像有的项目使用的是getFieldDecorator来获取表单的值的,现在就遇到了一个问题,getFieldDecorator针对antd自带的组件实现效果很好,除去一个form.item只能有一个getFieldDecorator的限制,其他都很好用,但是假如是自定义组件或者说在getFieldDec…