Hbase 常用shell操作

news2024/10/6 8:23:35

目录

1、创建表

1.1、启动HBase Shell

1.2、创建表

1.3、查看表

1.4、删除表

2、插入数据

2.1、put命令

3、查看数据

3.1、get命令

3.2、查询数据中文显示

4、更新数据

4.1、使用put来更新数据

5、删除数据

5.1、delete命令

5.2、删除指定列的数据

5.3、deleteall命令删除整行数据

6、清空表

6.1、tuncate命令

7、批量导入数据集

8、扫描操作

8.1、scan命令

8.2、示例1：查询学生表中的所有数据

8.3、示例2：查询学生数据只显示1条

8.4、示例3：查询学生姓名和年龄

8.5、示例4：查询指定学生id的姓名和年龄

9、过滤器

9.1、HBase中的过滤器

9.2、过滤器的使用

9.3、示例1：使用RowFilter查询指定学生id的信息

9.4、示例2：查询在校状态为1，且年龄大于21的学生信息

通过shell的方式来维护和管理HBase。例如：执行建表语句、执行增删改查操作等等。

需求：有以下学生数据，要将这样的一些数据保存到HBase中。

  • 下面将使用HBase shell来进行以下操作：
    • 1.创建表
    • 2.添加数据
    • 3.更新数据
    • 4.删除数据
    • 5.查询数据

1、创建表

  • 在HBase中，所有的数据也都是保存在表中的。要将学生数据保存到HBase中，首先需要将表创建出来。

1.1、启动HBase Shell

  • HBase的shell其实JRuby的IRB（交互式的Ruby），但在其中添加了一些HBase的命令。
  • 启动HBase shell：

hbase shell

1.2、创建表

  • 语法：

create '表名','列蔟名'...

  • 示例：

-- 创建学生表，表名为student_info，该表有一个列蔟为C1
create 'student_info','C1';

注意：

  • create要写成小写
  • 一个表可以包含若干个列蔟
  • 命令解析：调用hbase提供的ruby脚本的create方法，传递两个字符串参数
  • 通过下面文档可以看到每个命令都是一个ruby脚本
    • https://github.com/apache/hbase/tree/branch-2.1/hbase-shell/src/main/ruby/shell/commands

1.3、查看表

list


1.4、删除表

  • 要删除某个表，必须要先禁用表

1、禁用表

disable "表名"

2、删除表

drop "表名"

示例：删除student_info表

disable "student_info"
drop "student_info"

2、插入数据

往学生表中添加以下数据。

学号

姓名

性别

年龄

入学时间

在校情况

0001

张三

男

25

2023-02-06

1

2.1、put命令

  • HBase中的put命令，可以用来将数据保存到表中。但put一次只能保存一个列的值。以下是put的语法结构：

put '表名','ROWKEY','列蔟名:列名','值'

添加以上数据，需要执行以下操作：

put 'student_info','0001','C1:stuno','0001'
put 'student_info','0001','C1:name','张三'
put 'student_info','0001','C1:sex','男'
put 'student_info','0001','C1:age',25
put 'student_info','0001','C1:enrollment_time','2023-02-06'
put 'student_info','0001','C1:state',1

3、查看数据

3.1、get命令

  • 在HBase中，可以使用get命令来获取单独的一行数据。语法：

get '表名','rowkey'

示例：查询指定学生号的数据

get 'student_info','0001'

3.2、查询数据中文显示

  • 在HBase shell中，如果在数据中出现了一些中文，默认HBase shell中显示出来的是十六进制编码。要想将这些编码显示为中文，需要在get命令后添加一个属性：{FORMATTER => 'toString'}

get 'student_info','0001', {FORMATTER => 'toString'}

注意：

  • { key => value}，这个是Ruby语法，表示定义一个HASH结构
  • FORMATTER要使用大写
  • 在Ruby中用{}表示一个字典，类似于hashtable，FORMATTER表示key、’toString’表示值

4、更新数据

4.1、使用put来更新数据

  • 数据存在属于更新操作，数据不存在数据插入操作。

示例：更新张三的年龄为20

put 'student_info', '0001', 'C1:age', 20

注意：

  • HBase中会自动维护数据的版本
  • 每当执行一次put后，都会重新生成新的时间戳

5、删除数据

  • 删除数据的时候，其实HBase不是真的直接把数据删除掉，而是给某个列设置一个标志，然后查询数据的时候，有这个标志的数据，就不显示出来
  • 什么时候真正的删除数据呢？
    • 后台进程，专门来执行删除数据的操作

5.1、delete命令

  • 执行delete的时候
  • 如果表中的某个列簇有对一个列存在几次修改，它会删除最近的一次修改
  • 默认是保存1个保存的时间戳
  • 有一个version属性
  • 在HBase中，可以使用delete命令来将一个单元格的数据删除。语法格式如下：

delete '表名', 'rowkey', '列蔟:列'

  • 注意：此处HBase默认会保存多个时间戳的版本数据，所以这里的delete删除的是最新版本的列数据。

5.2、删除指定列的数据

delete 'student_info','0001','C1:age'

5.3、deleteall命令删除整行数据

  • deleteall命令可以将指定rowkey对应的所有列全部删除。语法：

deleteall '表名','rowkey'

示例：删除rowkey为0001的数据

deleteall 'student_info','0001'

6、清空表

6.1、tuncate命令

  • 原理：
    • 1、先将表禁用
    • 2、然后再删除表
    • 3、最后再创建表
  • truncate命令用来清空某个表中的所有数据。语法：

truncate "表名"

示例：清空student_info的所有数据

truncate 'student_info'

7、批量导入数据集

  • 在数据集/ student_info.txt 中，有一份这样的HBase数据集，我们需要将这些指令放到HBase中执行，将数据导入到HBase中。
  • 可以看到这些都是一堆的put语句。那么如何才能将这些语句全部执行呢？

  • 1、上传命令文件将该数据集文件上传到指定的目录中

cd /hbase/data
rz

  • 2、执行命令

hbase shell /hbase/data/student_info.txt

8、扫描操作

8.1、scan命令

  • 在HBase，我们可以使用scan命令来扫描HBase中的表。语法：

scan '表名'

8.2、示例1：查询学生表中的所有数据

注意：scan扫描非常耗时，要避免scan一张大表，生产环境中禁用。

scan 'student_info',{FORMATTER => 'toString'}

8.3、示例2：查询学生数据只显示1条

scan 'student_info', {LIMIT => 1, FORMATTER => 'toString'}

8.4、示例3：查询学生姓名和年龄

scan 'student_info', {COLUMNS => ['C1:name', 'C1:age'], FORMATTER => 'toString'}

  • 注意：
    • [‘C1:name’, …]在Ruby中[]表示一个数组

8.5、示例4：查询指定学生id的姓名和年龄

  • 要查询指定ROWKEY的数据，需要使用ROWPREFIXFILTER，用法为：

scan '表名', {ROWPREFIXFILTER => 'rowkey'}

示例实现命令如下：

scan 'student_info', {ROWPREFIXFILTER => '0001', COLUMNS => ['C1:name', 'C1:age'], FORMATTER => 'toString'}

9、过滤器

  • 在HBase中，如果要对海量的数据来进行查询，当基本的操作无法实现时。此时，需要借助HBase中的高级语法——Filter来进行查询。Filter可以根据列簇、列、版本等条件来对数据进行过滤查询。
  • 因为在HBase中，主键、列、版本都是有序存储的，所以借助Filter，可以高效地完成查询。当执行Filter时，HBase会将Filter分发给各个HBase服务器节点来进行查询。
  • HBase中的过滤器也是基于Java开发的，只不过在Shell中，是使用基于JRuby的语法来实现的交互式查询。以下是HBase 2.2的JAVA API文档。
    • Apache HBase 2.2.3 API

9.1、HBase中的过滤器

  • 在HBase的shell中，通过show_filters指令，可以查看到HBase中内置的一些过滤器。

show_filters

  • 过滤器进行分类

rowkey

过滤器

RowFilter

实现行键字符串的比较和过滤

PrefixFilter

rowkey前缀过滤器

KeyOnlyFilter

只对单元格的键进行过滤和显示，不显示值

FirstKeyOnlyFilter

只扫描显示相同键的第一个单元格，其键值对会显示出来

InclusiveStopFilter

替代 ENDROW 返回终止条件行

列过滤器

FamilyFilter

列簇过滤器

QualifierFilter

列标识过滤器，只显示对应列名的数据

ColumnPrefixFilter

对列名称的前缀进行过滤

MultipleColumnPrefixFilter

可以指定多个前缀对列名称过滤

ColumnRangeFilter

过滤列名称的范围

值过滤器

ValueFilter

值过滤器，找到符合值条件的键值对

SingleColumnValueFilter

在指定的列蔟和列中进行比较的值过滤器

SingleColumnValueExcludeFilter

排除匹配成功的值

其他过滤器

ColumnPaginationFilter

对一行的所有列分页，只返回 [offset,offset+limit] 范围内的列

PageFilter

对显示结果按行进行分页显示

TimestampsFilter

时间戳过滤，支持等值，可以设置多个时间戳

ColumnCountGetFilter

限制每个逻辑行返回键值对的个数，在 get 方法中使用

DependentColumnFilter

允许用户指定一个参考列或引用列来过滤其他列的过滤器

Java API官方地址：Apache HBase 4.0.0-alpha-1-SNAPSHOT API

9.2、过滤器的使用

  • 过滤器一般结合scan命令来使用。打开HBase的JAVA API文档。找到RowFilter的构造器说明，可以看到使用格式如下：

scan '表名', { Filter => "过滤器(比较运算符, '比较器表达式')” }

  • 比较运算符

比较运算符

描述

=

等于

>

大于

>=

大于等于

<

小于

<=

小于等于

!=

不等于

  • 比较器

比较器

描述

BinaryComparator

匹配完整字节数组

BinaryPrefixComparator

匹配字节数组前缀

BitComparator

匹配比特位

NullComparator

匹配空值

RegexStringComparator

匹配正则表达式

SubstringComparator

匹配子字符串

  • 比较器表达式
    • 基本语法：比较器类型:比较器的值

比较器

表达式语言缩写

BinaryComparator

binary:值

BinaryPrefixComparator

binaryprefix:值

BitComparator

bit:值

NullComparator

null

RegexStringComparator

regexstring:正则表达式

SubstringComparator

substring:值

9.3、示例1：使用RowFilter查询指定学生id的信息

分析：

  • 1.因为要学生id就是student_info表的rowkey，所以，应该使用rowkey过滤器来过滤
  • 2.通过HBase的JAVA API，找到RowFilter构造器

  • 通过上图，可以分析得到，RowFilter过滤器接受两个参数，
    • op——比较运算符
    • rowComparator——比较器
  • 所以构建该Filter的时候，只需要传入两个参数即可

实现命令如下：

scan 'student_info', {FILTER => "RowFilter(=,'binary:0001')"}

9.4、示例2：查询在校状态为1，且年龄大于21的学生信息

  • 1、查询在校状态为1

SingleColumnValueFilter('C1', 'state', = , 'binary:1')

  • 2、查询年龄大于21的学生信息

SingleColumnValueFilter('C1', 'age', > , 'binary:21')

  • 特别注意：使用SingleColumnValueFilter过滤器要过滤的列必须存在，如果不存在，那么这些列不存在的数据也会返回。如果不想让这些数据返回，做如下设置即可

SingleColumnValueFilter('C1', 'age', > , 'binary:21',true, true)

  • 3、组合查询

scan 'student_info', {FILTER => "SingleColumnValueFilter('C1', 'state', = , 'binary:1') AND SingleColumnValueFilter('C1', 'age', > , 'binary:21')", FORMATTER => 'toString'}

  • 注意：
    • HBase shell中比较默认都是字符串比较，所以如果是比较数值类型的，会出现不准确的情况
    • 例如：在字符串比较中3是比21大的

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1647124.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

STM32——TIMER（定时器）篇

STM32——TIMER（定时器）篇

技术笔记&#xff01; 1. 定时器概述&#xff08;了解&#xff09; 1.1 软件定时器原理 使用纯软件&#xff08;CPU死等&#xff09;的方式实现定时&#xff08;延时&#xff09;功能 缺点&#xff1a;1. 延时不准确 2. CPU死等。 1.2 定时器定时原理 1.…
阅读更多...
StarryCoding入门教育赛2 题解 C++代码（推荐学习）

StarryCoding入门教育赛2 题解 C++代码（推荐学习）

比赛地址&#xff1a;https://www.starrycoding.com/contest/6 比赛介绍 系列赛名称&#xff1a;StarryCoding 入门教育赛难度&#xff1a;语法~较低时长&#xff1a; 1.5 1.5 1.5小时比赛时间&#xff1a;约每2-3天一场&#xff0c;一般为晚上18:30~20:00赛后题解&#xff1…
阅读更多...
饥荒服务器搭建centos

饥荒服务器搭建centos

服务器环境需要64位32位不可用 uname -r 查看服务器版本 更新yum sudo yum update 安装依赖环境 sudo yum -y install glibc.i686 libstdc.i686 libcurl4-gnutls-dev.i686 libcurl.i686 screen 安装steam cd /home && mkdir steamcmd && cd steamcmd 国…
阅读更多...
人工智能的发展将如何重塑网络安全

人工智能的发展将如何重塑网络安全

微信搜索关注公众号网络研究观&#xff0c;获取更多信息。 人们很容易认为人工智能 (AI) 真正出现是在 2019 年&#xff0c;当时 OpenAI 推出了 ChatGPT 的前身 GPT-2。 但现实却有些不同。人工智能的基础可以追溯到 1950 年&#xff0c;当时数学家艾伦图灵发表了题为“计算机…
阅读更多...
资源池管理

资源池管理

资源池相关概念 1、什么是资源池 资源池是灵活管理资源的逻辑抽象。资源池可以分组为层次结构&#xff0c;用于对可用的CPU和内存资源按层次结构进行分区。 2、为什么使用资源池 使用资源池可以委派对主机(或集群)资源的控制权&#xff0c;在使用资源池划分群集内的所有资 源时…
阅读更多...
PopChar for Mac v10.1激活版：特殊字符输入工具

PopChar for Mac v10.1激活版：特殊字符输入工具

PopChar for Mac是一款专为Mac用户设计的字符输入工具&#xff0c;其简单直观的功能使得查找和插入特殊字符变得轻而易举。 PopChar for Mac v10.1激活版下载 首先&#xff0c;PopChar为Mac提供了访问所有字体字符的能力&#xff0c;包括那些难以通过键盘直接输入的字符。用户只…
阅读更多...
延时任务通知服务的设计及实现（三）-- JDK的延迟队列DelayQueue

延时任务通知服务的设计及实现（三）-- JDK的延迟队列DelayQueue

一、接着上文 上文我们讲述了使用redisson的RDelayedQueue实现分布式延迟队列&#xff0c;本文我们将自己JDK的延迟队列DelayQueue实现。 相比前者的实现&#xff0c;作为进程内的延迟队列&#xff0c;它会遇到许多技术难点&#xff1a; 如何支持分布式的多个节点部署场景应…
阅读更多...
vue cli 自定义项目架子，vue自定义项目架子，超详细

vue cli 自定义项目架子，vue自定义项目架子，超详细

脚手架Vue CLI基本介绍&#xff1a; Vue CLI 是Vue官方提供的一个全局命令工具 可以帮助我们快速创建一个开发Vue项目的标准化基础架子【集成了webpack配置】 脚手架优点&#xff1a; 开箱即用&#xff0c;零配置内置babel等工具标准化的webpack配置 脚手架 VueCLI相关命令…
阅读更多...
Mac跑llama.cpp过程中遇到的问题

Mac跑llama.cpp过程中遇到的问题

原repo 在华为手机上安装termux、下载库&#xff1a;顺利在电脑上安装Android NDK&#xff1a;先下载Android Studio&#xff0c;再在里面下载Android SDK 安装Android Studio时&#xff0c;SDK的某些组件总是下载不成功。后来关了梯子、改了hosts&#xff0c;重新安装就成功了…
阅读更多...
汇编语言——比较两个字符串STRING1和STRING2所含字符是否完全相同，若相同则显示MATCH， 不相同则显示NO MATCH

汇编语言——比较两个字符串STRING1和STRING2所含字符是否完全相同，若相同则显示MATCH， 不相同则显示NO MATCH

CMPS 串比较指令&#xff1a; CMPS SRC, DST CMPSB &#xff08;字节&#xff09; CMPSW &#xff08;字&#xff09; 执行操作&#xff1a; ((SI)) - ((DI)) 根据比较结果置条件标志位&#xff1a;相等 ZF1&#xff1b;不等 ZF0 字节操作&#xff1a;(SI)←(SI)1, (DI)←(DI…
阅读更多...
【算法系列】链表

【算法系列】链表

目录 常用技巧 常用操作 leetcode/牛客题目 一、移除链表元素 二、反转链表 三、链表的中间结点 四、返回倒数第k个节点 五、合并两个有序链表 六、链表分割 七、链表的回文结构 八、相交链表 九、环形链表 十、环形链表 II 十一、随机链表的复制 十二、两数相加…
阅读更多...
英语学习笔记2——Is this your ...?

英语学习笔记2——Is this your ...?

Is this your …? 这是你的 … 吗&#xff1f; 词汇 Vocabulary pen n. 笔 不仅指钢笔&#xff0c;是笔的统称 相关&#xff1a;ball pen n. 圆珠笔 　　　pencil n. 铅笔 　　　marker n. 记号笔 book n. 书 横着翻的本子或书 补充&#xff1a;pad n. 本子 竖着翻的本子或…
阅读更多...
在Codelab对llama3做Lora Fine tune微调

在Codelab对llama3做Lora Fine tune微调

Unsloth 高效微调大模型的工具&#xff0c;通过Unsloth微调Llama3, Mistral, Gemma 速度提升2-5倍&#xff0c;内存减少70%&#xff01; Codelab 创建一个jupyter notebook 选择 T4 GPU 安装Fine tune 相关的lib %%capture import torch major_version, minor_version torch…
阅读更多...
软考中级-软件设计师（九）数据库技术基础 考点最精简

软考中级-软件设计师（九）数据库技术基础 考点最精简

一、基本概念 1.1数据库与数据库系统 数据&#xff1a;是数据库中存储的基本对象&#xff0c;是描述事物的符号记录 数据库&#xff08;DataBase&#xff0c;DB&#xff09;&#xff1a;是长期存储在计算机内、有组织、可共享的大量数据集合 数据库系统&#xff08;DataBas…
阅读更多...
Navicat for MySQL Mac：数据库管理与开发的理想工具

Navicat for MySQL Mac：数据库管理与开发的理想工具

Navicat for MySQL Mac是一款功能强大的数据库管理与开发工具&#xff0c;专为Mac用户设计&#xff0c;旨在提供高效、便捷的数据库操作体验。 它支持创建、管理和维护MySQL和MariaDB数据库&#xff0c;通过直观的图形界面&#xff0c;用户可以轻松进行数据库连接、查询、编辑和…
阅读更多...
力扣：221. 最大正方形

力扣：221. 最大正方形

221. 最大正方形 在一个由 0 和 1 组成的二维矩阵内&#xff0c;找到只包含 1 的最大正方形&#xff0c;并返回其面积。 示例 1&#xff1a; 输入&#xff1a;matrix [["1","0","1","0","0"],["1","0"…
阅读更多...
数字藏品平台遭受科技攻击时的防护策略与攻击类型判定

数字藏品平台遭受科技攻击时的防护策略与攻击类型判定

随着区块链技术和数字经济的飞速发展&#xff0c;数字藏品平台逐渐成为炙手可热的投资领域。然而&#xff0c;这也使其成为了黑客攻击的重要目标。本文将深入探讨数字藏品平台可能遭遇的几种主要科技攻击类型&#xff0c;并提出相应的防护措施和判定方法。 一、51%攻击 攻击描…
阅读更多...
太速科技-FMC377_双AD9361 射频收发模块

太速科技-FMC377_双AD9361 射频收发模块

FMC377_双AD9361 射频收发模块 FEATURES&#xff1a; ◆ Coverage from 70M ~ 6GHz RF ◆ Flexible rate 12 bit ADC/DAC ◆ Fully-coherent 4x4 MIMO capability, TDD/FDD ◆ RF ports: 50Ω Matched ◆ support both internal reference and exter…
阅读更多...
cmake进阶：变量的作用域说明二（从函数作用域方面）

cmake进阶：变量的作用域说明二（从函数作用域方面）

一. 简介 前一篇文章从函数作用域方面学习了 变量的作用域。文章如下&#xff1a; cmake进阶&#xff1a;变量的作用域-CSDN博客 本文继续从函数作用域方面学习了 变量的作用域。 二. 变量的作用域 1. 函数内定义与外部同名的变量 向顶层 CMakeLists.txt添加如下代码&a…
阅读更多...
leetcode-缺失的第一个正整数-96

leetcode-缺失的第一个正整数-96

题目要求 思路 1.这里的题目要求刚好符合map和unordered_map 2.创建一个对应map把元素添加进去&#xff0c;用map.find(res)进行查找&#xff0c;如果存在返回指向该元素的迭代器&#xff0c;否则返回map::end()。 代码实现 class Solution { public:int minNumberDisappeare…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023