大数据应用——hbase shell操作

news2024/11/20 14:34:00

HBase 逻辑结构 

 HBase 物理存储结构

 数据模型

1Name Space

命名空间,类似于关系型数据库的 DatabBase概念,每个命名空间下有多个表。HBase

有两个自带的命名空间,分别是 hbase default

hbase 中存放的是 HBase 内置的表,

default表是用户默认使用的命名空间。

2Region

类似于关系型数据库的表概念。不同的是,HBase定义表时只需要声明列族即可,不需

要声明具体的列。这意味着,往 HBase写入数据时,字段可以动态按需指定。因此,和关

系型数据库相比,HBase能够轻松应对字段变更的场景。

3Row

HBase表中的每行数据都由一个 RowKey和多个 Column(列)组成,数据是按照 RowKey

字典顺序存储的,并且查询数据时只能根据 RowKey进行检索,所以 RowKey的设计十分重

要。

4Column

HBase中的每个列都由 Column Family(列族) Column Qualifier(列限定符)进行限

定,例如 infonameinfoage建表时,只需指明列族,而列限定符无需预先定义。

5Time Stamp

用于标识数据的不同版本(version),每条数据写入时,如果不指定时间戳,系统会

自动为其加上该字段,其值为写入 HBase的时间。

6Cell

{rowkey, column Familycolumn Qualifier, time Stamp} 唯一确定的单元。cell 中的数

据是没有类型的,全部是字节码形式存贮。

自带的命名空间:

  1. hbase 存放的是HBase内置的表
  2. default 表是用户默认使用的命名空间

  •  HBase 基本架构

 

架构角色:

1Region Server

Region Server Region的管理者,其实现类为 HRegionServer,主要作用如下:

对于数据的操作:get, put, delete

对于 Region的操作:splitRegioncompactRegion

2Master

Master是所有 Region Server的管理者,其实现类为 HMaster,主要作用如下:

对于表的操作:create, delete, alter

对于 RegionServer的操作:分配 regions到每个 RegionServer,监控每个 RegionServer

的状态,负载均衡和故障转移。

3Zookeeper

HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及

集群配置的维护等工作。

4HDFS

HDFS HBase 提供最终的底层数据存储服务,同时为 HBase 提供高可用的支持。

DML(data manipulation language) create alter drop delte 

DDL(data definition language)put del scan/get

 用户命名空间:list_

 默认命名空间:bigdata

 

1.scan

scan命令可以按照rowkey的字典顺序来遍历指定的表的数据。

scan ‘表名’:默认当前表的所有列族。

scan ‘表名’,{COLUMNS=> [‘列族:列名’],…} : 遍历表的指定列

scan '表名', { STARTROW => '起始行键', ENDROW => '结束行键' }:指定rowkey范围。

如果不指定,则会从表的开头一直显示到表的结尾。区间为左闭右开

scan '表名', { LIMIT => 行数量}: 指定返回的行的数量

scan '表名', {VERSIONS => 版本数}:返回cell的多个版本

scan '表名', { TIMERANGE => [最小时间戳, 最大时间戳]}:指定时间戳范围

注意:此区间是一个左闭右开的区间,因此返回的结果包含最小时间戳的记录,但是不包含最大时间戳记录

scan '表名', { RAW => true, VERSIONS => 版本数}

显示原始单元格记录,在Hbase中,被删掉的记录在HBase被删除掉的记录并不会立即从磁盘上清除,而是先被打上墓碑标记,然后等待下次major compaction的时候再被删除掉。

注意RAW参数必须和VERSIONS一起使用,但是不能和COLUMNS参数一起使用。

scan '表名', { FILTER => "过滤器"} and|or { FILTER => "过滤器"}: 使用过滤器扫描

HBase(main):008:0> scan 'bigdata:stu1'

HBase(main):009:0> scan 'bigdata:stu1',{STARTROW => '1000', STOPROW  => '1001'}

HBase(main):010:0> scan 'bigdata:stu1',{STARTROW => '1001'}

2.put

put可以新增记录还可以为记录设置属性。

put '表名', '行键', '列名', '值'

put '表名', '行键', '列名', '值',时间戳

put '表名', '行键', '列名', '值', { '属性名' => '属性值'}

put '表名', '行键', '列名', '值',时间戳, { '属性名' =>'属性值'}

HBase(main):012:0> put 'bigdata:stu1','1000','info:name','xm'

HBase(main):003:0>  put 'bigdata:stu1','1000','info:name','xh'

HBase(main):004:0>  put 'bigdata:stu1','1000','info:name','xl'

HBase(main):005:0> put 'bigdata:stu1','1000','info:name','xb'

HBase(main):006:0>  put 'bigdata:stu1','1000','info:name','xt'

3.get

get支持scan所支持的大部分属性,如COLUMNS,TIMERANGE,VERSIONS,FILTER

HBase(main):014:0> get 'stu1','1001'

HBase(main):015:0> get 'stu1','1001','info:name'

4.describe

HBase(main):016:0> describe ‘bigdata:stu1’

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/428341.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Android导入第三方SO库,上层Java调用(1)

Android导入第三方SO库,上层Java调用(1) (1)在module的build.gradle文件的android块中配置sourceSet: sourceSets {main {jniLibs.srcDir libs}} (2)在module的路径下,比…

[架构之路-166]-《软考-系统分析师》-4-据通信与计算机网络-2- 网络体系结构、协议

目录 4.2 网络体系结构与协议 4.2.1 网络互联模型 1. OSI / RM 各层的功能 2. TCP / IP 结构模型 4.2.2常见的网络协议 1 . 应用层协议 2 . 传输层协议 3 . 网络层协议 4.2.3网络地址与分配 4.2 网络体系结构与协议 网络体系结构是指计算机网络络的各层及其协议的集…

【k8s完整实战教程2】腾讯云搭建k8s托管集群

系列文章:这个系列已完结,如对您有帮助,求点赞收藏评论。 读者寄语:再小的帆,也能远航! 【k8s完整实战教程0】前言【k8s完整实战教程1】源码管理-Coding【k8s完整实战教程2】腾讯云搭建k8s托管集群【k8s完…

Linux实战案列-发送告警邮件

发送告警邮件 准备 外部邮件服务器 首发在雪月书韵茶香 原因 本地自带邮箱容易被过滤,需要延迟性低的邮箱发送 配置docker 配置环境变量 主机版本:macOS 12.6.4 open .bash_profile export DOCKER_PATH"/Applications/Docker.app/Contents/Re…

threejs-效果合成器(EffectComposer)

文章目录前言EffectComposer 使用流程场景初始化:自转的地球创建THREE.EffectComposer添加后期处理通道并更新渲染EffectComposer 使用示例示例一:FilmPass 添加电视效果示例二:OutlinePass 添加闪烁效果总结前言 threejs中的效果合成器 Eff…

Python的基础

这是我自己学习Python的三个星期的小总结,内容包含了规范、数据类型、函数、类和捕捉异常,做了一个简单的梳理,希望可以帮助到和我一样开始学习Python的小伙伴,也希望多多支持,相互进步,下面步入正题。 基…

记一次 .NET某医疗器械清洗系统 卡死分析

一:背景 1. 讲故事 前段时间协助训练营里的一位朋友分析了一个程序卡死的问题,回过头来看这个案例比较经典,这篇稍微整理一下供后来者少踩坑吧。 二:WinDbg 分析 1. 为什么会卡死 因为是窗体程序,理所当然就是看主…

MySQL全局锁、表级锁、行级锁介绍演示(详细)

目录 介绍 分类 1、全局锁 1.1介绍 1.2场景 1.3语法 1.4演示 2、表级锁 2.1介绍 2.2分类 2.3语法 2.4演示 3、行级锁 3.1介绍 3.2分类 3.3场景 介绍 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中,除传统的计算资源(…

linux下搭建Hbase分布式数据库

文章目录Hbase概念1.安装Hbase1.jdk的配置2.安装hbase2.启动和操作1.启动服务2 **web-ui访问地址:http://node01:16010/master-status**3.简单的操作1.连接 HBase2.帮助命令3.创建一张表 create a table4.使用查看表是否存在5.describe 查看表描述6.put命令插入数据到表7. scan…

jmeter插件的安装

前言 jmeter常用的插件有很多,本身安装的jmeter是没有安装插件的工具,需要下载一个jar包,通过插件安装工具去安装jmeter插件plugins-manager.jar这个jar包就是用来安装jmeter插件的jar把这个jar包下载后放到jmeter的lib/ext目录下重启jmeter…

C++语法(16)---- 多态

https://blog.csdn.net/m0_63488627/article/details/130106690?spm1001.2014.3001.5501https://blog.csdn.net/m0_63488627/article/details/130106690?spm1001.2014.3001.5501 目录 1. 多态的概念 2.多态的实现 1.虚函数 2.多态条件 得到的多态条件 特殊条件 3.虚函…

Socks5代理和IP代理

Socks5代理和IP代理是常用的网络代理服务,它们为用户提供了匿名访问和保护隐私的功能。在本文中,我们将介绍这两种代理的基本概念和工作原理,并展示如何编写一个简单的代理服务器。 一、什么是Socks5代理和IP代理? Socks5代理…

[操作系统安全]SetUID与Capability权能

问题一、解释“passwd”, “sudo” , “ping”等命令为什么需要 setuid位,去掉s位试运行,添加权能试运行。 1、为什么需要setuid位: 首先明确setuid的作用是:执行该设置后,文件执行时将以文件拥有者的身份执行&#xf…

C++【栈队列(3种)反向迭代器】

文章目录一、容器适配器二、栈(一)栈定义(二)栈使用接口(三)栈模拟实现(1) 栈模拟实现解析(2) 栈模拟实现代码(3) 栈模拟结果三、队列(一)普通队列(1)普通队列…

4、浅谈Makefile文件及其简单的使用知识

文章目录1、什么是Makefile?(1)makefile关系到了整个工程的编译规则。(2)makefile带来的好处就是——“自动化编译”(3)make是一个命令工具,是一个解释makefile中指令的命令工具2、为…

[FREERTOS]队列

1.什么是队列 队列也称消息队列,是一种常用于任务间通信的数据结构,队列可以在任务之间,中断和任务之间传递信息 2.传递信息为什么不用全局变量呢? 确实全局变量依然可以传递信息,但是如果全局变量改变的很频繁&#x…

网工必知—什么是堡垒机?-CCIE

什么是堡垒机? 网络工程师一定听过或用过所谓的“堡垒机”,那么堡垒机到底是什么呢? 堡垒机是一种跳板机制(Jump Server),在一个特定的网络环境下,为了保障网络和数据不受来自外部和内部用户的…

flink 1.16 在centos安装 部署踩的坑

报错: 1 RESOURCES_DOWNLOAD_DIR : 这个错误是修改了 conf目录下 的 master 或 workers 等信息造成的. 2 修改了这个信息可能会造成输入密码的问题. 3 Could not connect to BlobServer at address localhost/127.0.0.1:39203 这个端口还会变化,这种问题可能是因为conf下的…

Python将Word文件中的内容写入Excel文件

在日常办公中我们经常需要将word文件中的数据写入Excel中,如果是手动一个一个进行复制粘贴,那将会非常的耗时且繁琐! 遇到这种问题我们首先想到就是利用编程解决,今天我分享一个word转excel的小方法! 首先我有一个wo…

常见漏洞扫描工具AWVS、AppScan、Nessus的使用

HVV笔记——常见漏洞扫描工具AWVS、AppScan、Nessus的使用1 AWVS1.1 安装部署1.2 激活1.3 登录1.4 扫描web应用程序1.4.1 需要账户密码登录的扫描1.4.2 利用录制登录序列脚本扫描1.4.3 利用定制cookie扫描1.5 扫描报告分析1.5.1 AWVS报告类型1.5.2 最常用的报告类型&#xff1a…