Hbase数据库完全分布式搭建以及java中操作Hbase

news2024/10/3 6:34:25

文章目录

  • 1.基础的环境准备
  • 2.完全分布式 Fully-distributed
    • 2.1 配置文件hase-env.sh
    • 2.2 hbase-site.xml
    • 2.3 配置regionservers
    • 2.4 配置备用的master
    • 2.5 HDFS客户端配置
    • 2.6 启动
    • 2.7 通过页面查看节点信息
  • 3. java中客户端操作Hbase
    • 3.1 引入依赖
    • 3.2 初始化创建连接
    • 3.3 操作Hbase数据库
      • 3.3.1 创建表
      • 3.3.2 往创建的user表插入数据
      • 3.3.3 使用get 查询单条数据
      • 3.3.4 scan 查询数据
      • 3.3.5 删除数据
    • 3.4 关闭连接

1.基础的环境准备

基础的环境准备不在赘述，包括jdk安装，防火墙关闭，网络配置，环境变量的配置,各个节点之间进行免密等操作等。使用的版本2.0.5.

2.完全分布式 Fully-distributed

参考官方文档

分布式的部署，都是在单节点服务的基础配置好配置，直接分发到其他节点即可。

2.1 配置文件hase-env.sh

jdk路径的配置，以及不适用内部自带的zk.

export JAVA_HOME=/usr/java/default
export HBASE_MANAGES_ZK=false

2.2 hbase-site.xml

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://muycluster/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>node02,node03,node04</value>
  </property>
</configuration>

2.3 配置regionservers

配置集群regionserver的节点

node02
node03
node04

2.4 配置备用的master

conf/backup-masters

vi backup-masters
node03

2.5 HDFS客户端配置

官方提供三种方式进行配置

  • Add a pointer to your HADOOP_CONF_DIR to the HBASE_CLASSPATH environment variable in hbase-env.sh.

  • Add a copy of hdfs-site.xml (or hadoop-site.xml) or, better, symlinks, under ${HBASE_HOME}/conf, or

  • if only a small set of HDFS client configurations, add them to hbase-site.xml.
    一般我们都选择第二种，直接将hadoop-site.xml配置拷贝到 ${HBASE_HOME}/conf即可

2.6 启动

[root@node01 /]# start-hbase.sh
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/bigdata/hbase-2.0.5/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/bigdata/hadoop-2.6.5/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
running master, logging to /opt/bigdata/hbase-2.0.5/logs/hbase-root-master-node01.out
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/bigdata/hbase-2.0.5/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/bigdata/hadoop-2.6.5/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
node02: running regionserver, logging to /opt/bigdata/hbase-2.0.5/bin/../logs/hbase-root-regionserver-node02.out
node04: running regionserver, logging to /opt/bigdata/hbase-2.0.5/bin/../logs/hbase-root-regionserver-node04.out
node03: running regionserver, logging to /opt/bigdata/hbase-2.0.5/bin/../logs/hbase-root-regionserver-node03.out
node04: running master, logging to /opt/bigdata/hbase-2.0.5/bin/../logs/hbase-root-master-node04.out

2.7 通过页面查看节点信息

访问端口16010:http://node01:16010/master-status
节点信息

3. java中客户端操作Hbase

3.1 引入依赖

   <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>2.0.5</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-mapreduce</artifactId>
      <version>2.0.5</version>
    </dependency>

3.2 初始化创建连接

操作表Java API中主要提供了一个Admin对象进行表的 操作。

HBase schemas can be created or updated using the The Apache HBase Shell or by using Admin in the Java API.

   Configuration conf = null;
    Connection conn = null;
    //表的管理对象
    Admin admin = null;
    Table table = null;
    //创建表的对象
    TableName tableName = TableName.valueOf("user");
    @Before
    public void init() throws IOException {
        //创建配置文件对象
        conf = HBaseConfiguration.create();
        //加载zookeeper的配置
        conf.set("hbase.zookeeper.quorum","node02,node03,node04");
        //获取连接
        conn = ConnectionFactory.createConnection(conf);
        //获取对象
        admin = conn.getAdmin();
        //获取数据操作对象
        table = conn.getTable(tableName);
    }

3.3 操作Hbase数据库

3.3.1 创建表

 /**
     * 创建表 主要使用Admin对象进行表的创建
     * @throws IOException
     */
    @Test
    public void createTable() throws IOException {
        //定义表描述对象
        TableDescriptorBuilder tableDescriptorBuilder = TableDescriptorBuilder.newBuilder(tableName);
        //定义列族描述对象
        ColumnFamilyDescriptorBuilder columnFamilyDescriptorBuilder = ColumnFamilyDescriptorBuilder.newBuilder("cf".getBytes());
        //添加列族信息给表
        tableDescriptorBuilder.setColumnFamily(columnFamilyDescriptorBuilder.build());
        if(admin.tableExists(tableName)){
            //禁用表
            admin.disableTable(tableName);
            admin.deleteTable(tableName);
        }
        //创建表
        admin.createTable(tableDescriptorBuilder.build());
    }

3.3.2 往创建的user表插入数据

  @Test
    public void insert() throws IOException {
        Put put = new Put(Bytes.toBytes("row1"));
        put.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("name"),Bytes.toBytes("elite"));
        put.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("age"),Bytes.toBytes("22"));
        put.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("address"),Bytes.toBytes("gz"));
        table.put(put);
    }

插入数据

3.3.3 使用get 查询单条数据

 @Test
    public void get() throws IOException {
        Get get = new Get(Bytes.toBytes("row1"));
        //在服务端做数据过滤，挑选出符合需求的列
        get.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("name"));
        get.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("age"));
        get.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("address"));
        Result result = table.get(get);
        Cell cell1 = result.getColumnLatestCell(Bytes.toBytes("cf"),Bytes.toBytes("name"));
        Cell cell2 = result.getColumnLatestCell(Bytes.toBytes("cf"),Bytes.toBytes("age"));
        Cell cell3 = result.getColumnLatestCell(Bytes.toBytes("cf"),Bytes.toBytes("address"));
        System.out.print(Bytes.toString(CellUtil.cloneValue(cell1))+" ");
        System.out.print(Bytes.toString(CellUtil.cloneValue(cell2))+" ");
        System.out.print(Bytes.toString(CellUtil.cloneValue(cell3)));

    }

3.3.4 scan 查询数据

  /**
     * 获取表中所有的记录
     */
    @Test
    public void scan() throws IOException {
        Scan scan = new Scan();
        ResultScanner rss = table.getScanner(scan);
        for (Result rs: rss) {
            Cell cell1 = rs.getColumnLatestCell(Bytes.toBytes("cf"),Bytes.toBytes("name"));
            Cell cell2 = rs.getColumnLatestCell(Bytes.toBytes("cf"),Bytes.toBytes("age"));
            Cell cell3 = rs.getColumnLatestCell(Bytes.toBytes("cf"),Bytes.toBytes("address"));
            System.out.print(Bytes.toString(CellUtil.cloneValue(cell1))+" ");
            System.out.print(Bytes.toString(CellUtil.cloneValue(cell2))+" ");
            System.out.println(Bytes.toString(CellUtil.cloneValue(cell3)));
        }
    }

3.3.5 删除数据

 /**
     * 删除数据
     * @throws IOException
     */
    @Test
    public void delete() throws IOException {
        Delete delete = new Delete("row2".getBytes());
        table.delete(delete);
    }

3.4 关闭连接

 @After
    public void close(){
        try {
            table.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        try {
            admin.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        try {
            conn.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/436637.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Qt/QML编程学习之心得：D-BUS进程间通信（四）

Qt/QML编程学习之心得：D-BUS进程间通信（四）

Qt/QML应用编程最适合于一些触摸的嵌入式界面设计&#xff0c;那么GUI界面怎么与底层的设备通信&#xff0c;怎么与一个系统内其他模块通信的呢&#xff1f;这就不得不说一个很重要的设计模式&#xff1a;d-bus。 D-BUS是一个系统中消息总线&#xff0c;用于IPC/RPC。消息系统…
阅读更多...
vi编辑器的使用介绍

vi编辑器的使用介绍

vi编辑器的使用 vi的特点与运用场景vi的使用简易执行一个案例按键说明第一部分&#xff1a;命令模式的按键说明(光标移动、复制粘贴、查找替换)移动光标的方法查找与替换删除、复制与粘贴 第二部分&#xff1a;命令模式切换到输入模式的可以按键进入插入或替换的编辑模式 第三部…
阅读更多...
A100 Jeston TX1/TX2使用教程-介绍

A100 Jeston TX1/TX2使用教程-介绍

大家好&#xff0c;我是虎哥&#xff0c;经过一段时间的整理&#xff0c;终于完成了我自己算力盒子&#xff0c;A100系统的设计和研发&#xff0c;今天就来和大家聊聊这款针对TX1和TX2的入门级计算盒子的一些特性和功能。 一、EdgeBox_Umate_A100 算力盒子 A100 算力盒子是“玩…
阅读更多...
系统集成项目管理工程师 笔记（第五章：项目立项管理）

系统集成项目管理工程师 笔记（第五章：项目立项管理）

文章目录 5.1 项目建议 2225.2 项目可行性分析 224项目可行性研究内容&#xff1a;5.2.2 项目可行性研究阶段 227 5.4 项目招投标 229《中华人民共和国招标投标法实施条例》5.4.1 项目招标 2295.4.2 项目投标 2305.4.3 开标与评标 2345.4.4 选定项目承建方 235 5.5 项目合同谈判…
阅读更多...
实模式下内存访问

实模式下内存访问

虽然有了寄存器&#xff0c;但是数据和指令还是需要存储到内存中。通常情况下需要把数据从内存中放到寄存器中才能使用&#xff0c;同样的指令需要放到寄存器中才能被CPU执行。 所有的内存访问都需要段寄存器左移四位加上其他寄存器的值才能得到真正地址值。这是由于以前运行实…
阅读更多...
Unity使用ShaderGragh制作透明指针

Unity使用ShaderGragh制作透明指针

Unity使用ShaderGragh制作透明指针 1 概述2 使用环境3 制作流程3.1 创建一个ShaderGragh3.2 打开ShaderGraph编辑器3.3 编辑器界面介绍3.4 Shader节点和部分信息如下3.5 常用节点介绍3.6 使用Shader3.7 贴图规范 4 控制Shader旋转4.1 API介绍4.2 示例代码&#xff1a;3.9 Shade…
阅读更多...
Redis 6.0+ 的 ACL 机制

Redis 6.0+ 的 ACL 机制

目录 前言一、安装 Redis 服务二、创建 ACL 用户三、用户密码管理3.1 删除密码3.2 重置用户和密码 四、权限管理4.1 key 管理4.2 权限管理 五、ACL 用户存储5.1 配置文件实现5.2 外部 ACL 文件实现 前言 Redis 6.0 引入了 ACL 机制&#xff0c;类似 MySQL 一样全部权限管理&am…
阅读更多...
表单验证：自定义校验规则

表单验证：自定义校验规则

Element UI 为我们提供了表单校验规则&#xff0c;但业务需要&#xff0c;我们常常要自定义校验规则 需求 实现表单中一个输入框&#xff0c;不能输入大于30的数字 思路 hrml&#xff1a; 自定义校验规则&#xff1a; 约定的校验规则&#xff1a; 代码 <template&g…
阅读更多...
集群聊天服务器项目(一)——模块分层设计

集群聊天服务器项目(一)——模块分层设计

本项目对程序不同功能进行分层设计&#xff0c;分为网络层、业务层、和数据层。 C面向接口编程也就是面向抽象类&#xff0c;网络模块和业务模块尽量解耦。 网络层 网络层主要封装的是网络连接方面的一些功能&#xff0c;即socket相关操作,这里该项目采用的是muduo网络库作为…
阅读更多...
《Netty》从零开始学netty源码（三十九）之PoolSubPage的内存释放

《Netty》从零开始学netty源码（三十九）之PoolSubPage的内存释放

PoolSubPage.free PoolSubPage的内存释放相对来说比较简单&#xff1a; 首先根据段的偏移量bitmapIdx找到bitmap的long[]数组的索引q&#xff0c;将bitmap[q]这个long的二进制位的占用位r置为0&#xff0c;表示已经释放。如果PoolSubPage的段已经全部释放了&#xff0c;且池中…
阅读更多...
测试开发岗 - 常见面试题

测试开发岗 - 常见面试题

1. 什么是软件测试&#xff0c; 谈谈你对软件测试的了解 软件测试就是验证产品特性是否符合用户需求, 软件测试贯穿于软件的整个生命周期. >>> 那软件测试具体是什么呢 ? 就拿生活中的例子来说, 比如说我们去商场买衣服, 会有以下几个步骤 : 第一步: 我们会走进门店…
阅读更多...
【网络安全】命令执行漏洞

【网络安全】命令执行漏洞

命令执行漏洞 命令执行漏洞原理危害检测方法有回显检测方法; (分号) 从左到右执行| (管道符) 将见面命令的输入为后面命令的标准输入&(后台任务符号) 命令从左到右执行&&(与) 逻辑与&#xff0c;前面命令执行成功后才会执行||(或) 逻辑或&#xff0c;前面执行失败才…
阅读更多...
LeetCode算法小抄-- 图的遍历

LeetCode算法小抄-- 图的遍历

LeetCode算法小抄-- 图的遍历 图基本概念遍历广度优先算法(BFS)框架[111. 二叉树的最小深度](https://leetcode.cn/problems/minimum-depth-of-binary-tree/)[752. 打开转盘锁](https://leetcode.cn/problems/open-the-lock/)[773. 滑动谜题](https://leetcode.cn/problems/sli…
阅读更多...
文章伪原创生成器在线-文章伪原创工具免费入口

文章伪原创生成器在线-文章伪原创工具免费入口

文章自动生成器 在现代科技快速发展的时代中&#xff0c;自动化技术已经深入到了各个领域。而随着人工智能技术的提高&#xff0c;自动化技术在创意和写作领域越来越成熟。现在有一款名为“文章自动生成器”的软件&#xff0c;可以轻松地生成高质量的文章。 今天&#xff0c;我…
阅读更多...
STM32之MPU6050获取欧拉角

STM32之MPU6050获取欧拉角

STM32之MPU6050获取欧拉角 MPU6050MPU6050特点MPU6050电路图以及框图MPU6050框图MPU6050电路图 MPU6050相关寄存器电源管理寄存器1&#xff08;0x6B&#xff09;陀螺仪配置寄存器&#xff08;0x1B&#xff09;加速度计配置寄存器&#xff08;0x1C&#xff09;陀螺仪采样率分频寄…
阅读更多...
Vue中的ajax【Vue】

Vue中的ajax【Vue】

4. Vue 中的 ajax 4.1 解决开发环境 Ajax 跨域问题 方法一&#xff1a; 在vue.config.js中添加如下配置&#xff1a; devServer:{proxy:"http://localhost:5000" }说明&#xff1a; 优点&#xff1a;配置简单&#xff0c;请求资源时直接发给前端&#xff08;808…
阅读更多...
更懂业务的用友iuap平台，助力企业升级数智化底座

更懂业务的用友iuap平台，助力企业升级数智化底座

4月19日&#xff0c;一年一度的用友BIP技术大会如约而至。近千位来自三十个行业的企业家、CIO/CDO、企业主管、专家学者、媒体、分析师代表现场参与大会。伴随企业数智化推进&#xff0c;越来越多的企业需要升级数智底座平台。会上&#xff0c;用友介绍了更懂企业业务的用友BIP…
阅读更多...
Android 开发为什么会要用到组件化与插件化？好处在哪？

Android 开发为什么会要用到组件化与插件化？好处在哪？

对于开发者来说&#xff0c;写好代码的第一步就是具备良好的架构能力。但是这项基本的能力&#xff0c;也很少有人具备。就拿最常用的项目架构组件化来说&#xff0c;有多少人用过&#xff1f;又有谁去了解过组件化开发中真正会遇到的问题&#xff0c;以及如何解决&#xff1f;…
阅读更多...
Nacos 1.4.x 升级至 2.x 详细步骤及遇到的问题，亲测可行

Nacos 1.4.x 升级至 2.x 详细步骤及遇到的问题，亲测可行

此前使用的nacos版本是1.4.5&#xff0c;现在nacos最新版本为2.2.2&#xff0c;且修复了旧版本的一些安全问题&#xff0c;下面把详细的升级步骤记录一下&#xff0c;大家一起学习&#xff0c;亲测有效。 主要参考nacos官方升级文档&#xff1a;https://nacos.io/zh-cn/docs/v2…
阅读更多...
瑞吉外卖项目——读写分离

瑞吉外卖项目——读写分离

读写分离 读和写所有压力都由一台数据库承担&#xff0c;压力大数据库服务器磁盘损坏则数据丢失&#xff0c;单点故障 Mysql主从复制 介绍 MySQL主从复制是一个异步的复制过程&#xff0c;底层是基于Nysql数据库自带的二进制日志功能。 就是一台或多台MysQL数据库&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023