linux下搭建Hbase分布式数据库

news2024/11/20 14:41:57

文章目录

  • Hbase概念
  • 1.安装Hbase
    • 1.jdk的配置
    • 2.安装hbase
  • 2.启动和操作
    • 1.启动服务
    • 2 **web-ui访问地址:`http://node01:16010/master-status`**
  • 3.简单的操作
    • 1.连接 HBase
    • 2.帮助命令
    • 3.创建一张表 create a table
    • 4.使用查看表是否存在
    • 5.describe 查看表描述
    • 6.put命令插入数据到表
    • 7. scan 查看所有的数据
    • 8.get获取单行数据
    • 9.删除表需要先禁用(disable)表再删除(drop)
    • 10.退出hbase shell
    • 11.停止hbase

Hbase概念

HBase是一个分布式、面向列的开源数据库,其基于Hadoop的分布式文件系统(HDFS)进行存储。它既具有分布式、可扩展、高可靠性等优点,也具备NoSQL、schema-free、实时访问等特性。HBase遵循Google BigTable的计算模型,可以用于存储非常大的数据集,适用于不断积累的数据,提供高效地实时读写访问。HBase作为Hadoop生态系统中的一个重要组成部分,可与Hadoop及其它组件如Hive、Pig、Storm等相互配合,构建具有高性能、可靠性和扩展性的大数据处理平台。

1.安装Hbase

1.jdk的配置

在这里不在赘述。

2.安装hbase

解压安装包

$ tar xzvf hbase-2.5.1-bin.tar.gz
$ cd hbase-2.4.0/

配置HBASE_HOME环境变量

vi /etc/profile
export HBASE_HOME=/opt/bigdata/hbase-2.5.1
export PATH=$PATH:$HBASE_HOME/bin
source /etc/profile

修改hbase-env.sh
最好使用jdk1.8,配置jdk8的路径

export JAVA_HOME=/usr/jdk64/jdk1.8.0_112

修改hbase-site.xml
默认不用修改。

2.启动和操作

1.启动服务

bin/start-hbase.sh

启动成功:

[root@node01 conf]# start-hbase.sh
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/bigdata/hadoop-2.6.5/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/bigdata/hbase-2.5.1/lib/client-facing-thirdparty/log4j-slf4j-impl-2.17.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
running master, logging to /opt/bigdata/hbase-2.5.1/logs/hbase-root-master-node01.out
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/bigdata/hadoop-2.6.5/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/bigdata/hbase-2.5.1/lib/client-facing-thirdparty/log4j-slf4j-impl-2.17.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
2023-04-16 07:03:20,996 INFO  [main] master.HMaster (HMaster.java:main(3289)) - STARTING service HMaster
2023-04-16 07:03:21,001 INFO  [main] util.VersionInfo (VersionInfo.java:logVersion(112)) - HBase 2.5.1
2023-04-16 07:03:21,001 INFO  [main] util.VersionInfo (VersionInfo.java:logVersion(112)) - Source code repository git://buildbox.localdomain/home/apurtell/tmp/RM/hbase revision=894ac15342ae9ac1e0d7c827c00fda4b83627758
2023-04-16 07:03:21,001 INFO  [main] util.VersionInfo (VersionInfo.java:logVersion(112)) - Compiled by apurtell on Mon Oct 17 15:41:08 PDT 2022
2023-04-16 07:03:21,001 INFO  [main] util.VersionInfo (VersionInfo.java:logVersion(112)) - From source with checksum 57c1d2c9c03f18d35860e6733447968d1711dae96b0b7d35b2d1e029a5d91423cf65a6063cfbe3b736907b7b20fb94d82a443b65982f4c973a72fb71cd7f2e47

2 web-ui访问地址:http://node01:16010/master-status

在这里插入图片描述

3.简单的操作

1.连接 HBase

hbase shell

启动报错

  • 错误1
    版本不兼容 需要换版本
 hbase shell
LoadError: load error: irb/completion -- java.lang.IncompatibleClassChangeError: Implementing class
  require at org/jruby/RubyKernel.java:974
  require at uri:classloader:/METAINF/jruby.home/lib/ruby/stdlib/rubygems/core_ext/kernel_require.rb:54
   <main> at classpath:/jar-bootstrap.rb:42
  • 错误2
[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

解决方法

#hadoop目录下存在老版本jline:
cd $HADOOP_HOME/share/hadoop/yarn/lib
rm -f jline-0.9.94.jar

2.帮助命令

hbase(main):030:0> help 

常用命令


#命令组 COMMAND GROUPS:
Group name: general
Commands: processlist, status, table_help, version, whoami
# ddl表定义语言  Group name: ddl
  Commands: alter, alter_async, alter_status, 
  create, 
  describe, disable, disable_all, drop, drop_all, enable, enable_all, exists, get_table, is_disabled, is_enabled, list, list_regions, locate_region, show_filters
#数据库 Group name: namespace
  Commands: 
  alter_namespace, 
  create_namespace, 
  describe_namespace, 
  drop_namespace, list_namespace, list_namespace_tables

#操作语言 Group name: dml
  Commands: 
  append, 
  count, 
  delete, deleteall, get, get_counter, get_splits, incr, 
  put, #插入数据
  scan, #查询
  truncate #删除表数据

3.创建一张表 create a table

hbase(main):009:0* create 'user','cf'
Created table user
Took 0.7635 seconds                                                                                                                                                                                                    
=> Hbase::Table - user

4.使用查看表是否存在

hbase(main):010:0> list 'user'
TABLE                                                                                                                                                                                                                  
user                                                                                                                                                                                                                   
1 row(s)
Took 0.0328 seconds                                                                                                                                                                                                    
=> ["user"]

5.describe 查看表描述

hbase(main):012:0> describe 'user'
Table user is ENABLED                                                                                                                                                                                                  
user                                                                                                                                                                                                                   
COLUMN FAMILIES DESCRIPTION                                                                                                                                                                                            
{NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_
VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BL
OCKCACHE => 'true', BLOCKSIZE => '65536'}                                                                                                                                                                              
1 row(s)
Took 0.1756 seconds 

6.put命令插入数据到表

hbase(main):013:0> put 'user','1','cf:username','elite'
Took 0.1000 seconds                                                             
hbase(main):014:0> put 'user','1','cf:age','22'
Took 0.0052 seconds                                                             
hbase(main):015:0> put 'user','1','cf:address','xxpro'
Took 0.0047 seconds 

7. scan 查看所有的数据

One of the ways to get data from HBase is to scan. Use the scan command to scan the table for data. You can limit your scan, but for now, all data is fetched.

hbase(main):016:0> scan 'user'
ROW                   COLUMN+CELL                                               
 1                    column=cf:address, timestamp=1681776414492, value=xxpro   
 1                    column=cf:age, timestamp=1681776404658, value=22          
 1                    column=cf:username, timestamp=1681776395675, value=elite  

8.get获取单行数据

hbase(main):024:0> scan 'user'
ROW                       COLUMN+CELL                                                             
 1                        column=cf:address, timestamp=1681776414492, value=xxpro                 
 1                        column=cf:age, timestamp=1681776404658, value=22                        
 1                        column=cf:username, timestamp=1681776540360, value=elite2               
 2                        column=cf:address, timestamp=1681776520152, value=xx2pro                
 2                        column=cf:age, timestamp=1681776533412, value=24                        
 2                        column=cf:username, timestamp=1681776546625, value=elite2               
2 row(s)
Took 0.0144 seconds                                                                               
hbase(main):025:0> get 'user','2'
COLUMN                    CELL                                                                    
 cf:address               timestamp=1681776520152, value=xx2pro                                   
 cf:age                   timestamp=1681776533412, value=24                                       
 cf:username              timestamp=1681776546625, value=elite2                                   
1 row(s)
Took 0.0069 seconds                                             

9.删除表需要先禁用(disable)表再删除(drop)

If you want to delete a table or change its settings, as well as in some other situations, you need to disable the table first, using the disable command. You can re-enable it using the enable command.

#创建表
hbase(main):031:0> create 'test','cf'
Created table test
Took 0.7353 seconds                                                                               
=> Hbase::Table - test
#看表描述是enabled状态
hbase(main):032:0> desc 'test'
Table test is ENABLED                                                                             
test                                                                                              
COLUMN FAMILIES DESCRIPTION                                                                       
{NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false',
 KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL
 => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON
_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN
 => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536'}                   
1 row(s)
Took 0.0253 seconds 
# 直接删除表提示  Table test is enabled. Disable it first.                                                                            
hbase(main):033:0> drop 'test'

ERROR: Table test is enabled. Disable it first.

Drop the named table. Table must first be disabled:
  hbase> drop 't1'
  hbase> drop 'ns1:t1'

Took 0.0192 seconds     
#禁用表                                                                          
hbase(main):035:0> disable 'test'
Took 0.4833 seconds         
# 删除表                                                                      
hbase(main):036:0> drop 'test'
Took 0.2657 seconds  

10.退出hbase shell

quit

11.停止hbase

$ ./bin/stop-hbase.sh

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/428326.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

jmeter插件的安装

前言 jmeter常用的插件有很多&#xff0c;本身安装的jmeter是没有安装插件的工具&#xff0c;需要下载一个jar包&#xff0c;通过插件安装工具去安装jmeter插件plugins-manager.jar这个jar包就是用来安装jmeter插件的jar把这个jar包下载后放到jmeter的lib/ext目录下重启jmeter…

C++语法(16)---- 多态

https://blog.csdn.net/m0_63488627/article/details/130106690?spm1001.2014.3001.5501https://blog.csdn.net/m0_63488627/article/details/130106690?spm1001.2014.3001.5501 目录 1. 多态的概念 2.多态的实现 1.虚函数 2.多态条件 得到的多态条件 特殊条件 3.虚函…

Socks5代理和IP代理

Socks5代理和IP代理是常用的网络代理服务&#xff0c;它们为用户提供了匿名访问和保护隐私的功能。在本文中&#xff0c;我们将介绍这两种代理的基本概念和工作原理&#xff0c;并展示如何编写一个简单的代理服务器。 一、什么是Socks5代理和IP代理&#xff1f; Socks5代理…

[操作系统安全]SetUID与Capability权能

问题一、解释“passwd”, “sudo” , “ping”等命令为什么需要 setuid位&#xff0c;去掉s位试运行&#xff0c;添加权能试运行。 1、为什么需要setuid位&#xff1a; 首先明确setuid的作用是&#xff1a;执行该设置后&#xff0c;文件执行时将以文件拥有者的身份执行&#xf…

C++【栈队列(3种)反向迭代器】

文章目录一、容器适配器二、栈&#xff08;一&#xff09;栈定义&#xff08;二&#xff09;栈使用接口&#xff08;三&#xff09;栈模拟实现(1) 栈模拟实现解析(2) 栈模拟实现代码(3) 栈模拟结果三、队列&#xff08;一&#xff09;普通队列&#xff08;1&#xff09;普通队列…

4、浅谈Makefile文件及其简单的使用知识

文章目录1、什么是Makefile&#xff1f;&#xff08;1&#xff09;makefile关系到了整个工程的编译规则。&#xff08;2&#xff09;makefile带来的好处就是——“自动化编译”&#xff08;3&#xff09;make是一个命令工具&#xff0c;是一个解释makefile中指令的命令工具2、为…

[FREERTOS]队列

1.什么是队列 队列也称消息队列&#xff0c;是一种常用于任务间通信的数据结构&#xff0c;队列可以在任务之间&#xff0c;中断和任务之间传递信息 2.传递信息为什么不用全局变量呢&#xff1f; 确实全局变量依然可以传递信息&#xff0c;但是如果全局变量改变的很频繁&#x…

网工必知—什么是堡垒机?-CCIE

什么是堡垒机&#xff1f; 网络工程师一定听过或用过所谓的“堡垒机”&#xff0c;那么堡垒机到底是什么呢&#xff1f; 堡垒机是一种跳板机制&#xff08;Jump Server&#xff09;&#xff0c;在一个特定的网络环境下&#xff0c;为了保障网络和数据不受来自外部和内部用户的…

flink 1.16 在centos安装 部署踩的坑

报错: 1 RESOURCES_DOWNLOAD_DIR : 这个错误是修改了 conf目录下 的 master 或 workers 等信息造成的. 2 修改了这个信息可能会造成输入密码的问题. 3 Could not connect to BlobServer at address localhost/127.0.0.1:39203 这个端口还会变化,这种问题可能是因为conf下的…

Python将Word文件中的内容写入Excel文件

在日常办公中我们经常需要将word文件中的数据写入Excel中&#xff0c;如果是手动一个一个进行复制粘贴&#xff0c;那将会非常的耗时且繁琐&#xff01; 遇到这种问题我们首先想到就是利用编程解决&#xff0c;今天我分享一个word转excel的小方法&#xff01; 首先我有一个wo…

常见漏洞扫描工具AWVS、AppScan、Nessus的使用

HVV笔记——常见漏洞扫描工具AWVS、AppScan、Nessus的使用1 AWVS1.1 安装部署1.2 激活1.3 登录1.4 扫描web应用程序1.4.1 需要账户密码登录的扫描1.4.2 利用录制登录序列脚本扫描1.4.3 利用定制cookie扫描1.5 扫描报告分析1.5.1 AWVS报告类型1.5.2 最常用的报告类型&#xff1a…

Microchip的10M以太网解决方案

&#xff08;以下所有图片均来源于Microchip官网&#xff09; 一 为什么需要10M车载以太网 目前车载百兆以太网&#xff08;100Base-T1&#xff09;和千兆以太网&#xff08;1000Base-T1&#xff09;技术较为成熟&#xff0c;但如果直接用100Base-T1/1000Base-T1来替代目前被广…

anaconda 创建虚拟环境 基本命令操作

下载好之后直接打开 anaconda prpmpt : 此时直接输入 &#xff1a;activate 不加环境名是直接进入到base环境中的 必须先进入到base环境中再使用后边的命令 &#xff1a; activate 直接进入base环境&#xff1a;如图&#xff1a;conda create -n 名字 python3.7 创建虚拟…

善用Embedding,我们来给文本分分类

你好&#xff0c;我是徐文浩。 上一讲里我们看到大模型的确有效。在进行情感分析的时候&#xff0c;我们通过OpenAI的API拿到的Embedding&#xff0c;比T5-base这样单机可以运行的小模型&#xff0c;效果还是好很多的。 不过&#xff0c;我们之前选用的问题的确有点太简单了。…

springboot服务端接口外网远程调试,并实现HTTP服务监听 - 内网穿透

文章目录前言1. 本地环境搭建1.1 环境参数1.2 搭建springboot服务项目2. 内网穿透2.1 安装配置cpolar内网穿透2.1.1 windows系统2.1.2 linux系统2.2 创建隧道映射本地端口2.3 测试公网地址3. 固定公网地址3.1 保留一个二级子域名3.2 配置二级子域名3.2 测试使用固定公网地址4. …

segment anything paper笔记

demo主页&#xff08;包含paper, demo, dataset&#xff09; 通过demo可以看到一个酷炫的效果&#xff0c;鼠标放在任何物体上都能实时分割出来。 segment anything宣传的是一个类似BERT的基础类模型&#xff0c;可以在下游任务中不需要再训练&#xff0c;直接用的效果。 而且…

增强领域的知识图谱

以下是一些近两年基于知识图谱做知识增强的顶会论文&#xff1a; "knowledge-enhanced hierarchical graph convolutional networks for intent detection" (acl 2021) "kg-bert: bert for knowledge graph completion" (emnlp 2019) "k-adapter: i…

C语言刷题--内存存储、操作符

魔王的介绍&#xff1a;&#x1f636;‍&#x1f32b;️一名双非本科大一小白。魔王的目标&#xff1a;&#x1f92f;努力赶上周围卷王的脚步。魔王的主页&#xff1a;&#x1f525;&#x1f525;&#x1f525;大魔王.&#x1f525;&#x1f525;&#x1f525; ❤️‍&#x1…

04-Mysql常用操作

1. DDL 常见数据库操作 # 查询所有数据库 show databases; # 查询当前数据库 select databases();# 使用数据库 use 数据库名;# 创建数据库 create database [if not exits] 数据库名; # []代表可选可不选# 删除数据库 drop database [if exits] 数据库名; 常见表操作 创建…

Nestjs实战干货-概况-中间件-Middleware

中间件 中间件是一个在路由处理程序之前被调用的函数。中间件函数可以访问请求和响应对象&#xff0c;以及应用程序的请求-响应周期中的next()中间件函数。下一个中间件函数通常由一个名为next的变量来表示。 Nest 中间件在默认情况下等同于Express中间件。下面是来自官方 exp…