ubuntu上安装HBase伪分布式-2024年08月04日

news2025/1/19 2:39:21

ubuntu上安装HBase伪分布式-2024年08月04日

  • 1.HBase介绍
  • 2.HBase与Hadoop的关系
  • 3.安装前言
  • 4.下载及安装
  • 5.单机配置
  • 6.伪分布式配置

1.HBase介绍

HBase是一个开源的非关系型数据库，它基于Google的Bigtable设计，用于支持对大型数据集的实时读写访问。HBase有以下几个特点：高可靠性、高性能、面向列的存储以及可伸缩性。

2.HBase与Hadoop的关系

Hadoop是一个分布式计算框架，用于存储和处理大规模数据集。它包括Hadoop分布式文件系统（hdfs）和MapReduce编程模型，可以在集群中进行数据存储和处理。

HBase可以与Hadoop一起使用，以提供一个完整的数据处理解决方案。Hadoop用于存储和处理大规模数据，而HBase用于实时访问和查询这些数据。在实际应用中，可以将HBase作为Hadoop生态系统的一部分使用，以满足不同的数据处理需求。

3.安装前言

1.要想安装HBase首先你的ubuntu上得安装了Java环境，安装了 Hadoop并且已经配置好了伪分布式模式。
2.安装HBase前先查询你安装的hadoop的版本，然后再去查一下和它匹配的HBase的版本。如果想知道 HBase最新的版本兼容性消息，可以自己去 Apache HBase官网进行查看 Apache HBase官网配置版本要求https://hbase.apache.org/book.html#basic.prerequisites
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
我的hadoop版本是2.10.2，根据上2张表，那我我可以用的hbase就有2.5、2.6、2.3、2.4这几个任选就行，这里再选择国内镜像https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/ ，我选择2.4，主要原因就是时间，选个不要太近又不太远的。
在这里插入图片描述

4.下载及安装

1.使用国内镜像下载
在这里插入图片描述
2.下载下来后是放在主文件夹下的下载文件夹里的
在这里插入图片描述
3.解压命令

sudo tar -zxvf hbase-2.4.18-bin.tar.gz

4.将解压后的文件移动到/usr/local下

sudo mv hbase-2.4.18 /usr/local/

5.重命名hbase-2.4.18为hbase

sudo mv ./hbase-2.4.18 ./hbase

在这里插入图片描述
6.把文件权限给hadoop账户

sudo chown -R hadoop ./hbase

7.测试是否能用

/usr/local/hbase/bin/hbase version

在这里插入图片描述

5.单机配置

1.找到自己的 JAVA_HOME的值

echo $JAVA_HOME

在这里插入图片描述
2.在 HBase的文件目录下，conf文件夹中放的是配置文件。我们需要更改 hbase-env.sh文件，把 JAVA_HOME环境变量指定到本机的JDK目录。

cd /usr/local/hbase/conf
sudo vim hbase-env.sh

打开后修改JAVA_HOME为自己的变量，并且把#去掉

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

在这里插入图片描述
然后找到export HBASE_MANAGES_ZK=true把前面的#去掉
在这里插入图片描述
3.编辑完成后，使用 source命令使配置生效

source hbase-env.sh

4.编辑配置文件 /etc/profile，添加 hbase环境变量 HBASE_HOME。

cd ~
sudo vim /etc/profile

添加代码

export HBASE_HOME=/usr/local/hbase      
export PATH=$PATH:$HBASE_HOME/sbin:$HBASE_HOME/bin

5.编辑完成后保存并退出，使用 source命令使配置生效

source /etc/profile

6.测试时候安装成功,显示大致如下图即可，单机配置完成

hbase version

在这里插入图片描述

6.伪分布式配置

1.打开 hbase-env.sh文件，

cd /usr/local/hbase/conf
sudo vim hbase-env.sh

找到对应配置，去掉前面的‘#’，并修改为对应路径。

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HBASE_CLASSPATH=/usr/local/hbase/conf
export HBASE_MANAGES_ZK=true

在这里插入图片描述
执行source /etc/profile，让配置生效

source /etc/profile

2.编辑 hbase-site.xml文件，将需要配置的信息写入 configuration标签内。

cd /usr/local/hbase/conf
sudo vim hbase-site.xml

假设当前 Hadoop集群运行在伪分布式模式下，在本机上运行，且NameNode运行在9000端口的情况下。修改 hbase.rootdir，指定 HBase数据在 HDFS上的存储路径；没有则添加，有则修改，将属性 hbase.cluter.distributed设置为 true。

        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>

在这里插入图片描述
3.接下来，我们测试伪分布式模式是否配置成功。

cd $HADOOP_HOME
./sbin/start-dfs.sh
jps

执行jps后正常应该显示如下图，展示secondarynamenode,namenode,jps.datanode四个节点，但是如果你缺少了datanode,去看下日志，多半是你数据没清除，造成lnitialization failed for Block pool错误，解决方法就是使用./sbin/stop-all.sh命令先停止集群，然后把data目录下的所有内容删除，不知道目录在哪的,打开 hdfs .-site.xml文件中配置的dfs.data.dir目录。删除后，执行./bin/hdfs namenode -format重新格式化NameNode。然后再启动集群，再执行jps，保证4个节点都在才进行下一步。
在这里插入图片描述
4.启动 HBase伪分布式环境

cd $HBASE_HOME
./bin/start-hbase.sh
jps

执行jps后应显示如下图，看到 HMaster、HRegionServer、HQuorumPeer结点，则 HBase启动成功。
在这里插入图片描述
5.停止运行的命令

./bin/stop-hbase.sh

6.查看 HDFS

cd $HADOOP_HOME
./bin/hdfs dfs -ls /

在 HDFS中，多了一个/hbase目录，用来保存 HBase的数据。
在这里插入图片描述
到这一步，HBase伪分布式模式已经配置成功，关闭 Hadoop就行了。
注意，操作 Hadoop和 HBase的执行顺序是：启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1976921.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

rust读取csv文件，匹配搜索字符

rust读取csv文件，匹配搜索字符

1.代码 use std::fs::File; use std::io::{BufRead, BufReader}; use regex::{Regex};fn main() {let f File::open("F:\\0-X-RUST\\1-systematic\\ch2-fileRead\\data\\test.csv").unwrap();let mut reader BufReader::new(f);let re Regex::new("45asd&qu…
阅读更多...
Stable Diffusion绘画 | 文生图-采样器使用说明

Stable Diffusion绘画 | 文生图-采样器使用说明

webui 1.9.3版本中&#xff0c;采样器分为“采样方法”、“调度类型”两个选项。 因为采样器选项多&#xff0c;所以需要做一个筛选&#xff0c;保留图像生成效果好的采样器。 老派采样器 可以选择砍掉的采样器&#xff1a; DDIMPLMS 最为推荐保留的采样器&#xff1a; Eul…
阅读更多...
Python 实现股票指标计算——LON

Python 实现股票指标计算——LON

LON - 铁龙长线 1 公式 LC : REF(CLOSE,1); VID : SUM(VOL,2)/(((HHV(HIGH,2)-LLV(LOW,2)))*100); RC : (CLOSE-LC)*VID; LONG : SUM(RC,0); DIFF : SMA(LONG,10,1); DEA : SMA(LONG,20,1); LON : DIFF-DEA; LONMA : MA(LON,10); LONT : LON, COLORSTICK; 2 数据准备…
阅读更多...
03 库的操作

03 库的操作

目录 创建查看修改删除备份和恢复查看连接情况 1. 创建 语法 CRATE DATABASE [IF NOT EXISTS] db_name [create_specification [, create_specification] …] create_specification:  CHARACTER SET charset_name  CPLLATE collation_name 说明&#xff1a; 大写的标识关键…
阅读更多...
C语言函数传参

C语言函数传参

文章目录 &#x1f34a;自我介绍&#x1f34a;函数传参之值传递&#x1f34a;函数传参之地址传递&#x1f34a;函数传参之数组 你的点赞评论就是对博主最大的鼓励 当然喜欢的小伙伴可以&#xff1a;点赞关注评论收藏&#xff08;一键四连&#xff09;哦~ &#x1f34a;自我介绍…
阅读更多...
SQL中的窗口函数

SQL中的窗口函数

1.窗口函数简介 窗口函数是SQL中的一项高级特性&#xff0c;用于在不改变查询结果集行数的情况下&#xff0c;对每一行执行聚合计算或者其他复杂的计算&#xff0c;也就是说窗口函数可以跨行计算&#xff0c;可以扫描所有的行&#xff0c;并把结果填到每一行中。这些函数通常与…
阅读更多...
注入类漏洞挖掘指南

注入类漏洞挖掘指南

1. 注入攻击类 1.1 SQL注入 漏洞描述&#xff1a; 所谓SQL注入&#xff0c;就是通过把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串&#xff0c;最终达到欺骗服务器执行恶意的SQL命令。具体来说&#xff0c;它是利用现有应用程序&#xff0c;将&#xff08;恶意…
阅读更多...
elasticsearch的学习（一）：使用postman实现增删改查

elasticsearch的学习（一）：使用postman实现增删改查

简介&#xff1a; elasticsearch的基本的概念和通过postman来实现增删改查 elasticsearch 一个分布式的&#xff0c;restful风格的搜索和数据分析引擎&#xff0c;可以近乎实时的存储&#xff0c;检索数据&#xff0c;具有高扩展性&#xff0c;可以扩展到上百台服务器&#…
阅读更多...
使用.NET NativeAOT模式开发hyper-v平台uefi上windbg调试引擎心得

使用.NET NativeAOT模式开发hyper-v平台uefi上windbg调试引擎心得

引用 这篇文章的目的是介绍一款实验性的Uefi项目基于.NET NativeAOT模式实现的运行在Windows Hyper-V虚拟机上的windbg调试引擎开发心得 文章目录 引用简介NativeAOT模式动态接口的多态继承绑定实现方式分析NativeAOT模式运行时栈回溯实现方式分析模拟vcruntime实现的c异常捕获…
阅读更多...
江科大/江协科技 STM32学习笔记P17

江科大/江协科技 STM32学习笔记P17

文章目录 一、TIM输入捕获输入捕获与输出比较的关系频率测量测频法测周法 输入捕获的电路异或门的执行逻辑 输入捕获通道主从触发模式输入捕获基本结构PWMI基本结构输入捕获模式测频率main.c 输入捕获模式测占空比main.c 一、TIM输入捕获 输入捕获与输出比较的关系 在输出比较中…
阅读更多...
C语言第13篇

C语言第13篇

1.下面程序是计算n个数的平均值,请填空.______ #include<stdio.h> void main( ) { int i,n; float x,avg0.0; scanf("%d",&n); for(i0;i<n;i) { scanf("%f",&x); avgavg______; } avg________; printf("avg%f\n",avg); } A) …
阅读更多...
[Git][分支管理][上]详细讲解

[Git][分支管理][上]详细讲解

目录 1.理解分支2.创建分支3.切换分支4.合并分支5.删除分支 1.理解分支 感性理解&#xff1a;分支可以理解为平行宇宙&#xff0c;但是在用户需要的时候&#xff0c;可以将两个平行宇宙合并&#xff0c;此时两个平行宇宙的效果将会"叠加"理性理解&#xff1a;每次提…
阅读更多...
树、二叉树、森林的转换

树、二叉树、森林的转换

一、树和二叉树的转换 1、 2、 二、森林二叉树的转换 1、 2、
阅读更多...
springboot医嘱管理系统-计算机毕业设计源码16053

springboot医嘱管理系统-计算机毕业设计源码16053

摘 要 随着医疗信息化水平的不断提升&#xff0c;医嘱管理作为医院日常运营中不可或缺的一环&#xff0c;其重要性日益凸显。传统的医嘱管理方式往往存在效率低下、易出错等问题&#xff0c;已无法满足现代医疗服务的快速发展需求。因此&#xff0c;基于Spring Boot框架开发的…
阅读更多...
MySQL-InnoDB引擎

MySQL-InnoDB引擎

目录 逻辑存储结构 架构 概述 内存结构 Buffer Pool&#xff08;缓冲池&#xff09; Change Buffer&#xff08;更改缓冲区&#xff09; Adaptive Hash Index&#xff08;自适应hash索引&#xff09; Log Buffer&#xff08;日志缓冲区&#xff09; 磁盘结构 System T…
阅读更多...
基于CUDA12.1+CUDNN8.9+PYTORCH2.3.1,实现自定义数据集训练

基于CUDA12.1+CUDNN8.9+PYTORCH2.3.1,实现自定义数据集训练

目录 0 结果预览 1 核心点 2 参考链接 0 结果预览 1 核心点 yolo命令行CL需要将虚拟环境的yolo程序加入系统路径。 遇到conda install 失效问题&#xff0c;重建新的虚拟环境&#xff0c;再进行安装。 whl可以下载好后再安装。 pip install F:\tool\ai\torch-2.3.1cu…
阅读更多...
使用VM安装K8S

使用VM安装K8S

VM 部署K8S 前言 本次使用VM搭建k8s&#xff0c;由于搭建流程复杂&#xff0c;在此记录。 需提前安装好VM&#xff08;可参考&#xff1a;VM安装&#xff09;&#xff0c;起两台虚拟机(模拟master和worker)&#xff0c;且VM里已安装好Docker&#xff08;可参考&#xff1a;D…
阅读更多...
GO语言 4 收集器

GO语言 4 收集器

劳苦功高的数组 声明数组并访问其元素 以下数组不多不少正好包含 8 个元素 var planets [8]string同一个数组中的每个元素都具有相同的类型&#xff0c;比如以上代码就是由 8 个字符串组成&#xff0c;简称字符串数组。 数组的长度可以通过内置的 len 函数确定。在声明数组…
阅读更多...
03。仓颉程序结构

03。仓颉程序结构

1&#xff0c;什么是 仓颉的“源代码”、“源文件”&#xff1f; ~通常以 “ .cj ” 为后缀的文本文件里面包含的仓颉代码&#xff0c;我们称为仓颉源代码、源文件。 / / test.txt --------------- test.cj 2&#xff0c;什么是 “ 作用域” &#xff1f;“嵌套作…
阅读更多...
C/C++关键字大全

C/C++关键字大全

目录 一、const 二、static 三、#define 和 typedef 四、#define 和 inline 五、#define 和 const 六、new 和 malloc 七、const 和 constexpr 八、volatile 九、extern 十、前置 和后置 十一、atomic 十二、struct 和 class 一、const 1、const 关键字可用于定义…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023