HBase---idea操作Hbase数据库并且映射到Hive

news2024/10/2 12:26:21

idea操作Hbase数据库并且映射到Hive

文章目录

  • idea操作Hbase数据库并且映射到Hive
  • idea操作Hbase数据库
    • 环境准备
    • 启动服务
    • 创建Maven工程
      • 在测试类中编写初始化方法
      • 在测试类中编写关闭方法
      • 在测试类中编写创建命名空间方法
      • 在测试类中编写创建表方法
      • 在测试类中编写查看表结构方法
      • 在测试类中编写插入数据方法
      • 在测试类中编写查询数据方法（get）
      • 在测试类中编写扫描数据方法（scan）
      • 在测试类中编写删除表方法
  • Hbase表映射成Hive表
    • 创建外部表
    • 查询

idea操作Hbase数据库

环境准备

再安装过Hadoop+Hive+zookeeper的实验机上

# 将hbase235/lib/下的jar包拷入到hive312/lib/下
# 如果有重复，选择不覆盖
[root@hadoop conf]# cp /opt/soft/hbase235/lib/* /opt/soft/hive312/lib/

# 将切换到hbase235/lib目录下
[root@hadoop conf]# cd /opt/soft/hbase235/lib/
# 将hive312/lib/guava-27.0-jre.jar复制到当前目录下
[root@hadoop lib]# cp /opt/soft/hive312/lib/guava-27.0-jre.jar ./

# 切换/opt/soft/hive312/conf/目录下
[root@hadoop conf]# cd /opt/soft/hive312/conf/
# 修改 hive-site.xml
[root@hadoop conf]# vim ./hive-site.xml

# 添加配置信息
<property>
  <name>hive.zookeeper.quorum</name>
  <value>192.168.95.150</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>192.168.95.150</value>
</property>
<property>
  <name>hive.aux.jars.path</name>
  <value>file:///opt/soft/hive312/lib/hive-hbase-handler-3.1.2.jar,file:///opt/soft/hive312/lib/zookeeper-3.4.6.jar,file:///opt/soft/hive312/lib/hbase-client-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5-tests.jar,file:///opt/soft/hive312/lib/hbase-server-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-protocol-2.3.5.jar,file:///opt/soft/hive312/lib/htrace-core-3.2.0-incubating.jar</value>
</property>

添加配置
在这里插入图片描述

启动服务

# 启动hadoop
[root@hadoop ~]# start-all.sh
# 启动zookeeper
[root@hadoop ~]# zkServer.sh start
# 启动hbase
[root@hadoop ~]# start-hbase.sh
# 启动hive
[root@hadoop ~]# nohup hive --service metastore &
[root@hadoop ~]# nohup hive --service metastore &

在这里插入图片描述

创建Maven工程

添加依赖

<dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>2.3.5</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-server</artifactId>
      <version>2.3.5</version>
    </dependency>

在测试类中编写初始化方法

初始化：添加hbase信息，连接数据库，hbase连接工厂

    @Before
    public void init() throws IOException {
        System.out.println("执行init()方法");
        config = HBaseConfiguration.create();
        config.set(HConstants.HBASE_DIR,"hdfs://192.168.95.150:9000/hbase");
        config.set(HConstants.ZOOKEEPER_QUORUM,"192.168.95.150");
        config.set(HConstants.CLIENT_PORT_STR,"2181");
        conn = ConnectionFactory.createConnection(config);
        admin = conn.getAdmin();
    }

在测试类中编写关闭方法

/*
*将连接关闭
*/
    @After
    public void close() throws IOException {
        System.out.println("执行close()方法");
        if (admin!=null)
            admin.close();
        if (conn!=null)
            conn.close();
    }

在测试类中编写创建命名空间方法

/*
    *
    * 创建命名空间*/
    @Test
    public void createNameSpace() throws IOException {
        NamespaceDescriptor bigdata = NamespaceDescriptor.create("bigdata").build();
        admin.createNamespace(bigdata);
    }

在测试类中编写创建表方法

/*
    * 创建表
    * */
    @Test
    public void createTable() throws IOException {
        //创建表的描述类
        TableName tableName = TableName.valueOf("bigdata:student");
        HTableDescriptor desc = new HTableDescriptor(tableName);

        //创建列族的描述
        HColumnDescriptor family1 = new HColumnDescriptor("info1");
        HColumnDescriptor family2 = new HColumnDescriptor("info2");
        desc.addFamily(family1);
        desc.addFamily(family2);

        admin.createTable(desc);*/

在测试类中编写查看表结构方法

    /*
    *查看表结构
     */
    @Test
    public void getAllNamespace() throws IOException {
        List<TableDescriptor> tableDesc = admin.listTableDescriptorsByNamespace("bigdata".getBytes());
        System.out.println(tableDesc.toString());
    }

在测试类中编写插入数据方法

/*
    *
    * 插入数据*/
    @Test
    public void insertData() throws IOException {
        Table table = conn.getTable(TableName.valueOf("bigdata:student"));
        Put put = new Put(Bytes.toBytes("student1"));
        put.addColumn("info1".getBytes(),"name".getBytes(),"zs".getBytes());
        put.addColumn("info2".getBytes(),"school".getBytes(),"njzb".getBytes());
   
        Put put2 = new Put(Bytes.toBytes("student2"));
        put2.addColumn("info1".getBytes(),"name".getBytes(),"zss".getBytes());
        put2.addColumn("info2".getBytes(),"school".getBytes(),"njzb".getBytes());

        Put put3 = new Put(Bytes.toBytes("student3"));
        put3.addColumn("info1".getBytes(),"name".getBytes(),"zsr".getBytes());
        put3.addColumn("info2".getBytes(),"school".getBytes(),"njzb".getBytes());

       List<Put> list = new ArrayList<>();
       list.add(put1);
       list.add(put2);
       list.add(put3);
       table.put(list);
    }

在测试类中编写查询数据方法（get）

 /*
    * 查询数据 get 查询
    * */
    @Test
    public void queryData() throws IOException {
        Table table = conn.getTable(TableName.valueOf("bigdata:student"));
        Get get = new Get(Bytes.toBytes("student1"));
        Result result = table.get(get);
        byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
        System.out.println("姓名："+Bytes.toString(value));
        value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school"));
        System.out.println("学校："+Bytes.toString(value));
    }

在测试类中编写扫描数据方法（scan）

/*
    * scan 扫描数据
    * */
    @Test
    public void scanData() throws IOException {
        Table table = conn.getTable(TableName.valueOf("kb21:student"));
        Scan scan = new Scan();
        ResultScanner scanner = table.getScanner(scan);
        for (Result result : scanner) {
            byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
            System.out.println("姓名："+Bytes.toString(value));
            value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school"));
            System.out.println("学校："+Bytes.toString(value));
            System.out.println(Bytes.toString(result.getRow()));
        }
    }

在测试类中编写删除表方法

    /*
    *删除表
    * */
    @Test
    public void deleteTable() throws IOException {
        //先禁用
        admin.disableTable(TableName.valueOf("bigdata:student"));
        //再删除
        admin.deleteTable(TableName.valueOf("bigdata:student"));
    }

Hbase表映射成Hive表

使用DataGrip连接Hive

创建外部表

主要外部表的字段需要和Hbase中的列形成映射

create external table student(
    id string,
    name string,
    school string
)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with
serdeproperties ("hbase.columns.mapping"=":key,info1:name,info2:school")
tblproperties ("hbase.table.name"="bigdata:student");

查询

select * from student

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/397669.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

tmall.product.match.schema.get( 获取匹配产品规则 )

tmall.product.match.schema.get( 获取匹配产品规则 )

&#xffe5;免费必须用户授权 ISV发布商品前&#xff0c;需要先查找到产品ID&#xff0c;这个接口返回查找产品规则入参规则 公共参数 请求地址: HTTP地址 http://gw.api.taobao.com/router/rest 公共请求参数: 公共响应参数: 点击获取key和secret 请求示例 TaobaoClient …
阅读更多...
ORACLE SQL格式化小数点

ORACLE SQL格式化小数点

ORACLE SQL格式化小数点 select CONCAT(TO_CHAR(0.00100,‘990.999’),‘%’) as a0 , CONCAT(TO_CHAR(1100,‘990.999’),‘%’) as a1 , CONCAT(TO_CHAR(0.236100,‘990.999’),‘%’) as a2 , CONCAT(TO_CHAR(0.0200100,‘990.999’),‘%’) as a3 , CONCAT(TO_CHAR(1.0310…
阅读更多...
状态机的Go语言实现版本

状态机的Go语言实现版本

一、状态机 1. 定义 有限状态机&#xff08;Finite-state machine, FSM&#xff09;&#xff0c;简称状态机&#xff0c;是表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型。 2. 组成要素 现态&#xff08;src state&#xff09;&#xff1a;事务当前所处的状…
阅读更多...
Java程序中空指针异常的最佳实践

Java程序中空指针异常的最佳实践

1、空指针问题 NullPointerException 是 Java 代码中最常见的异常&#xff0c;将其最可能出现的场景归为以下 5 种&#xff1a; 参数值是 Integer 等包装类型&#xff0c;使用时因为自动拆箱出现了空指针异常&#xff1b;字符串比较出现空指针异常&#xff1b;诸如 Concurren…
阅读更多...
新建vite+vue3+ts项目，以及解决过程中遇到的问题

新建vite+vue3+ts项目，以及解决过程中遇到的问题

目录 一、新建vitevue3ts项目 二、解决过程中遇到的问题 解决报错&#xff1a;Module ‘“xx.vue“‘ has no default export. 解决报错&#xff1a;Error [ERR_MODULE_NOT_FOUND]: Cannot find package ‘uuid’ imported from xxx的解决 解决报错&#xff1a;[plugin:vi…
阅读更多...
如何选择一款数据库？

如何选择一款数据库？

1主流数据库技术介绍常见的数据库模型主要分为SQL关系型数据库和NoSQL非关系型数据库。其中关系型数据库分为传统关系数据库和大数据数据库&#xff0c;非关系型数据库分为键值存储数据库、列存储数据库、面向文档数据库、图形数据库、时序数据库、搜索引擎存储数据库及其他&am…
阅读更多...
Java集合类

Java集合类

在了解Java集合类之前&#xff0c;我们必须首先了解java.util包&#xff0c;这个包提供了所有集合相关的接口和类。 集合是用来存储数据类型的一种数据结构&#xff0c;提到存储数据类型的数据结构我们最先想到的应该是数组&#xff0c;接下来我们简单回顾下Java中集合和数组的…
阅读更多...
Xilinx ZYNQ 7000 HDMI

Xilinx ZYNQ 7000 HDMI

High-Definition Multimedia Interface (HDMI) 参考xilinx application note XAPP460 HDMI来自High-Definition Multimedia Interface 高分辨率多媒体接口&#xff0c;多媒体一般包含图像和声音。 Transition Minimized Differential Signaling (TMDS) 是HDMI的物理层。 TMDS…
阅读更多...
春招冲刺（十一）：前端面试之网络总结

春招冲刺（十一）：前端面试之网络总结

网络总结 Q1: GET和POST的请求的区别 应用场景&#xff1a;Get是一个幂等请求&#xff0c;一般用于请求资源。post不是幂等请求&#xff0c;一般用于修改资源。缓存&#xff1a;Get请求一般缓存&#xff0c;Post一般不缓存报文格式&#xff1a;Get请求体一般为空&#xff0c;…
阅读更多...
【Linux】linux | 修改dns | 修改网卡dns

【Linux】linux | 修改dns | 修改网卡dns

一、说明1、业务需要&#xff0c;需要修改服务的dns的地址2、改成阿里的二、操作查询需要修改dns的网卡ifconfig说明1&#xff1a; 留意ens192&#xff0c;即网卡名称查看网卡配置文件信息cd /etc/sysconfig/network-scripts ll备份cp /etc/sysconfig/network-scripts/ifcfg-en…
阅读更多...
Advantest爱德万直流电源维修电压电流发生器ADCMT系列

Advantest爱德万直流电源维修电压电流发生器ADCMT系列

Advantest爱德万电源维修常见型号&#xff1a;ADCMT6240A/B&#xff1b;R6243/R6246&#xff1b;ADCMT系列。 维修品牌&#xff1a; 安捷伦Agilent/HP、泰克Tektronix、安立Anritsu、罗德施瓦茨、爱德万Advantest、艾法斯/马可尼IFR/Marconi、吉时利Keithley、日立Hitachi、 松…
阅读更多...
【BOOST C++】组件编程（2）-- 组件的设计原理

【BOOST C++】组件编程（2）-- 组件的设计原理

GitHub - ros2/demos at foxy 一、说明 为了研究ROS2的组件编程&#xff0c;首先要理解如何何为组件。组件本是微软的发明物体&#xff0c;但是在ubuntu上需要自己从底层实现&#xff0c;就说ROS2不用你写&#xff0c;但是就能看明白也是需要一点理论功底的。本篇按照COM内幕的…
阅读更多...
【2223sW3】LOG1

【2223sW3】LOG1

写在前面 好好学习&#xff0c;走出宿舍&#xff0c;走向毕设&#xff01; 一些心路历程记录&#xff0c;很少有代码出现 因为鬼知道哪条代码到时候变成毕设的一部分了咧&#xff0c;还是不要给自己的查重挖坑罢了 23.3.6 lammps代码修改 因为学姐要中期答辩了&#xff0c;…
阅读更多...
用Biome-BGC模型如何模拟水循环过程

用Biome-BGC模型如何模拟水循环过程

在Biome-BGC模型中&#xff0c;对于碳的生物量积累&#xff0c;采用光合酶促反应机理模型计算出每天的初级生产力(GPP)&#xff0c;将生长呼吸和维持呼吸减去后的产物分配给叶、枝条、干和根。生物体的碳每天都按一定比例以凋落方式进入凋落物碳库&#xff1b;对于水份输运过程…
阅读更多...
2023/3/8集合之TreeSet HashSet简介 不含代码

2023/3/8集合之TreeSet HashSet简介 不含代码

TreeSet : 底层是由TreeMap维护的 无序的,不可重的 底层结构 : 红黑树(平衡二叉树) 特点 : 查询效率高,默认升序排序引用场景 : 适合应用在存储多个单个值的数据的集合,去重的,自动升序排序的场景新增方法:新增了一些与比较大小相关的方法 遍历方式 1)foreach 2)iterator 1测试…
阅读更多...
【C语言学习笔记】：图解指针变量

【C语言学习笔记】：图解指针变量

1 指针变量的基本操作基本操作 int a,*iptr,*jptr,*kptr;iptr &a;jptr iptr;*jptr 100;kptr NULL; 图解&#xff1a; 1.1 己址和己空间 指针变量也是一个变量&#xff0c;对应一块内存空间&#xff0c;对应一个内存地址&#xff0c;指针名就是己址。这空内存空间多大…
阅读更多...
42-Golang中的单元测试

42-Golang中的单元测试

Golang中的单元测试需求传统方法基本介绍单元测试快速入门总结综合案例需求 在工作中&#xff0c;我们会遇到这样的情况&#xff0c;就是去确认一个函数&#xff0c;或者一个模块的结果是否正确 传统方法 在main函数中&#xff0c;调用addUpper函数&#xff0c;看看实际输出…
阅读更多...
322. 零钱兑换 279.完全平方数

322. 零钱兑换 279.完全平方数

322. 零钱兑换 完全背包问题&#xff0c;需要注意的是数组的初始值。 class Solution {public int coinChange(int[] coins, int amount) {int[] dp new int[amount1];for(int i 0;i < amount;i){dp[i] Integer.MAX_VALUE;}dp[0] 0;for(int i 0;i < coins.length;i…
阅读更多...
使用 create-react-app 脚手架搭建React项目

使用 create-react-app 脚手架搭建React项目

❀官网 1、安装脚手架&#xff1a;npm install -g create-react-app 2、查看版本&#xff1a;create-react-app -V &#xff01;&#xff01;&#xff01;注意 Node版本必须是14以上&#xff0c;不然会报以下错误。 3、创建react项目&#xff08;项目名不能包含大写字母&…
阅读更多...
Windows上一款特别好用的画图软件

Windows上一款特别好用的画图软件

安装 废话不多说&#xff0c;打开windows的应用商店&#xff0c;搜索draw.io&#xff0c;点击获取即可。 画图 draw.io的布局左边是各种图形组件&#xff0c;中间是画布&#xff0c;右边是属性设置&#xff0c;文件扩展名是.drawio。 点击左边列表中的图形可以将它添加到画…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023