大数据期末复习资料2023 Beta版

news2024/10/2 12:19:06

大数据单元1在线测试:https://ks.wjx.top/vm/tv3XfFg.aspx#
大数据单元2在线测试:https://ks.wjx.top/vm/QfXBgWP.aspx#
大数据单元3在线测试-1:https://ks.wjx.top/vm/PeLX5WR.aspx#
大数据单元3在线测试-2:https://ks.wjx.top/vm/OlPYPbC.aspx#
大数据单元4在线测试-1:https://ks.wjx.top/vm/wFdcv3v.aspx#
大数据单元5在线测试-1:https://ks.wjx.top/vm/OtZyYPb.aspx#
大数据单元5在线测试-2:https://ks.wjx.top/vm/PeRLctH.aspx#
大数据单元6在线测试-1:https://ks.wjx.top/vm/Yd9JQ8l.aspx#
大数据单元7在线测试:https://ks.wjx.top/vm/rJKV92n.aspx#
大数据单元8在线测试:https://ks.wjx.top/vm/wvfvdLq.aspx#

第1章 大数据概论

1. 特征

  • 容量(Volume)
  • 种类(Variety)
  • 速度(Velocity)
  • 价值(Value)
  • 可变性(Variability)
  • 真实性(Veracity)
  • 复杂性(Complexity)

2. 结构

  • 结构化
  • 半结构化
  • 非结构化数据

3. 大数据的处理流程

在这里插入图片描述
大数据的整体技术:

数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测和结果呈现等。

第2章 Hadoop概论

1. Hadoop特点

  1. 高可靠性
  2. 高扩展性
  3. 高效性
  4. 高容错性
  5. 低成本

2. 启动Hadoop集群

start-all.sh
ips

HDFS的守护进程:NameNode, DataNode及Secondary-NameNode
MapReduce的守护进程:JobTracker和TaskTracker

第3章 HDFS分布式文件系统

1. HDFS体系结构

在这里插入图片描述
HDFS:主/从(Mater/Slave)体系结构

1.1 NameNode

NameNode 管理者
说明信息-元数据Meta-data
HDFS中的文件也是被分成64M(128M)一块的数据块存储的。
副本策略: HDFS默认的副本系数是3。

1.2 Secondary namenode

1.3 DataNode

1.4 Client

1.5 文件写入

  1. NameNode
  2. DataNode
  3. Client

1.6 文件读取

  1. NameNode
  2. DataNode
  3. Client

ResourceManager NameNode
NodeManager DataNode

2. HDFS 常用命令

1. 创建目录

hadoop fs -mkdir <paths>

创建单个目录:

hadoop fs -mkdir /home/myfile/dir1

创建多个目录:

hadoop fs -mkdir /home/myfile/dir1 /home/myfile/dir2

2. 查看目录

hadoop fs -ls <paths>

示例:

hadoop fs -ls /home/myfile/

查看所有子目录

hadoop fs -ls –R <path>(区分大小写)

示例:

hadoop fs -ls –R  /home/myfile/

3. 上传文件

将一个或多个文件从本地系统复制到Hadoop文件系统。

hadoop fs -put <local_files> ... <hdfs_path>

示例:

hadoop fs -put Desktop/test.sh /home/myfile/dir1/

4. 下载文件

将文件从HDFS下载到本地文件系统。
hadoop fs -get <hdfs_paths> <local_path>

示例:

hadoop fs -get /home/myfile/test.sh Downloads/

5. 查看文件

hadoop fs -cat <paths>

示例:

hadoop fs -cat /home/myfile/test.sh

6. 复制文件

hadoop fs -cp <source_path> ... <destination_path>

示例:

hadoop fs -cp /home/myfile/test.sh /home/myfile/dir 

7. 移动文件

hadoop fs -mv <source_path> <destination_path>

示例:

hadoop fs -mv /home/myfile/test.sh /home/myfile/dir

8. 删除文件

删除指令有两个选项,-rm-rm -r
hadoop fs -rm <path>

示例:

hadoop fs -rm /home/myfile/test.sh

上述命令只会删除给定目录下的文件,如果要删除一个包含文件的目录,,需要使用参数-r。

用法:hadoop fs -rm -r <path>

示例:

hadoop fs -rm -r /home/myfile/dir

9. 查看文件尾部

hadoop fs -tail <path>

示例:

hadoop fs -tail /home/myfile/test.sh

10. 显示文件总长度

hadoop fs -du <path>

示例:

hadoop fs -du /home/myfile/test.sh 

11. 统计文件数

hadoop fs -count <path>
示例:

hadoop fs -count /home/myfile

12. 统计文件的详细信息

hadoop fs -df <path>

示例:

hadoop fs -df /home/myfile

13. 合并文件

从HDFS拷贝多个文件、合并排序为一个文件
hadoop fs –getmerge <src> <localdst>

示例:

hadoop fs –getmerge /user/hduser0011/test /home/myfile/dir 

14. 屏幕显示内容存储到HDFS文件

echo abc

echo abc | hadoop fs –put - <path>

echo abc | hadoop fs  –put  /home/myfile/test.txt

第4章 MapReduce的工作机制

1. MapReduce功能

MapReduce实现了两个功能:

Map:把一个函数应用于集合中的所有成员
Reduce:对多个进程或者独立系统并行执行

在这里插入图片描述

2. MapReduce的架构

Job(作业),Tasks(任务)

主从结构 master slave

Namenode Datanode
ResourceManager NodeManager
JobTracker(可变) TaskTracker

JobTracker负责

  • 接收客户提交的作业,负责作业的分解和状态监控。
  • 把任务分给TaskTracker执行
  • 监控TaskTracker的执行情况

NodeManager:是执行应用程序的容器,

TaskTracker:从JobTracker接收并执行各种命令:运行任务、提交任务、杀死任务等;将本地节点上各个任务的状态通过心跳周期性汇报给JobTracker。

TaskTracker :是JobTracker和Task之间的桥梁, 从JobTracker接收并执行各种命令:运行任务、提交任务、杀死任务等;将本地节点上各个任务的状态通过心跳周期性汇报给JobTracker。

MapReduce架构由4个独立的节点(Node)组成
(1)Client
(2)JobTracker
(3)TaskTracker
(4)HDFS

3. 作业的调度

FIFO 调度器
Fair Scheduler公平调度器
Capacity Scheduler计算能力调度(容量调度)

第5章 Hive

1. Hive数据模型

元数据(MetaData)又称“数据的数据”或“中介数据”,是用于描述数据各项属性信息的数据例如数据的类型、结构、历史数据信息,数据库、表、视图的信息等Hive的元数据要经常面临读取、修改和更新操作,因此并不适合储存在HDFS中,而是通常储存在关系型数据库中,

在 hive 命令行里看到的是元数据
在HDFS上看到的是它的物理数据

2. 复杂数据类型

数组 ARRAY:ARRAY类型是由一系列相同数据类型的元素组成,这些元素可以通过下标来访问。

结构体 STRUCT:STRUCT可以包含不同数据类型的元素。

键值对 MAP:MAP包含key->value键值对,

3. Hive基本操作(大题)

3.1 进入 hive

start-all.sh

在这里插入图片描述

[zkpk@master ~]$ hive
hive>

3.2 查看hive中的表

在这里插入图片描述
Hive命令以 ; 结束

3.3 创建表

在这里插入图片描述

3.4 显示表结构

desc table-name;

在这里插入图片描述

3.5 显示表内容

select * from table-name;

在这里插入图片描述

3.6 从文件中导入数据

本地机创建文件 l.txt
在文件里添加数据

1	aaa	f
2	bbb	f
3	ccc	m
4	ddd	f
5	eee	m

从文件中导入数据
在这里插入图片描述
查看表内容
在这里插入图片描述

3.7 增加字段

alter table table_name add columns (newcolname type )

在这里插入图片描述

3.8 修改字段名称

alter table table_name change col_name new_col_name type

在这里插入图片描述

3.9 修改字段类型、位置

在这里插入图片描述

3.10 删除字段

alter table table_name replace columns (col1 type,col2 type,col3 type)(COLUMNS中放保留的字段)

在这里插入图片描述

3.11 复制表

create table new_table as select * from exists_table;

在这里插入图片描述
在这里插入图片描述

3.12 复制表结构

create table new_table as select * from exists_table where 1=0;

在这里插入图片描述

在这里插入图片描述

3.13 重命名表

alter table table_name rename to new_table_name;

在这里插入图片描述

3.14 清空表中数据

truncate table tableName;

在这里插入图片描述

3.15 删除表

drop table 表名;

在这里插入图片描述

3.16 将hive 表中数据下载到本地

在这里插入图片描述

insert  overwrite local directory ‘/home/zkpk/目录名’ select * from 表名;

在这里插入图片描述

查看下载到本地的数据
在这里插入图片描述
在这里插入图片描述

4. 表的存储

表: 存储在 HDFS: /user/hive/warehouse
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5. 外部表和内部表

表:管理表(内部表,临时表) 删除的时候,元数据、实际表文件全部删除。
外部表:删除的时候,只删除元数据、实际表文件不删除。

创建外部表:

create external table tablename;

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

6. 分区表

分区表:将一张表的数据按照分区规则分成多个目录存储。这样可以通过指定分区来提高查询速度。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
开启动态分区功能

# 开启动态分区功能
set  hive.exec.dynamic.partition=true;
# 所有分区都是动态的(动态分区的模式)
set  hive.exec.dynamic.partition.mode=nonstrict;
# 最大动态分区个数
set  hive.exec.max.dynamic.partitions.pernode=1000;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

7. 桶表

对于每一个表(table)或者分区,Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分

创建桶表
在这里插入图片描述
在这里插入图片描述

向桶表输入数据

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

8. 复杂数据类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

9. 其他语句

9.1 创建数据库

在这里插入图片描述

9.2 删除数据库

Hive不允许用户删除一个包含有表的数据库

DROP TABLE 数据库名.表名;
DROP DATABASE 数据库名;

删除命令的最后面加上关键字CASCADE,这样可以使Hive自行先删除数据库中的表

DROP DATABASE 数据库名 CASCADE;

10. 视图

11. 常用HQL命令

1.* 代表查询所有字段

select * from lxl;
  1. 查询指定字段
select name,gender from lxl;
  1. limit 限制查询条数
select * from lxl  limit 3;
  1. where 代表限定条件
select * from lxl  where gender=‘f’;
  1. where 后面加多个条件
select * from lxl  where gender=‘f’  and  no=1;

查询条件是字符、字符串的加上 ‘’ “” 均可

  1. distinct :去重
select  distinct   age  from lxlage;   (age相同的只显示一个)
  1. group by 分组

做一些运算,通常与聚合函数配合使用,聚合函数还有max(),min(),count()

在这里插入图片描述
8. order by
对数据排序,默认是按升序,如果要按降序进行在最后加一个desc

  1. like主要用于模糊匹配
select * from lxl where name like '%a%'; 

查找name中含有a 这个字符的数据
in关键字的用法

在这里插入图片描述
10. between and的用法

select * from lxl where no between 2 and 4; 
  1. join 按照条件把数据连接起来
select *from lxl join lxlage on lxl.no=lxlage.no;

在这里插入图片描述

select *from lxl left join lxlage on lxl.no=lxlage.no;

左右表有不一致数据,左表全部显示

select *from lxl right join lxlage on lxl.no=lxlage.no;

左右表有不一致数据,右表全部显示

  1. union all 把数据合起来,条件是字段名与类型必须相同

在这里插入图片描述

  1. having

在这里插入图片描述

在这里插入图片描述

统计平均工资3800以上的部门。
在这里插入图片描述

where 关键字无法与聚合函数一起使用, having只用于group by分组统计语句。

在这里插入图片描述
在这里插入图片描述

11. 关闭hive

quit;

第6章 ZooKeeper分布式协调系统

1. 简介

ZooKeeper是一个分布式应用程序协调服务,主要用于解决分布式集群中应用系统的一致性问题。

ZooKeeper=文件系统+通知机制。(类似于资源管理系统)

2. 持久节点和临时节点

ZooKeeper中节点主要有四种类型:

持久节点(PERSISTENT):
是指节点在被创建后就一直存在,直到有删除操作来主动清除这个节点。这类节点不会因为创建该节点的客户端会话失效而消失。

持久顺序节点(PERSISTENT_SEQUENTIAL):
在ZooKeeper中,每个父节点会为自己的第一级子节点维护一份时序文件,记录每个子节点创建的先后顺序。基于这个特性,可以创建持久顺序节点,即在创建子节点的时候,用户可以指定其顺序属性,ZooKeeper就会自动为给定节点名加上一个数字后缀,作为新的节点名

临时节点(EPHEMERAL):
和持久节点不同,临时节点的生命周期和客户端会话绑定。也就是说,如果客户端会话失效,那么这个节点就会自动被清除掉(注意是会话失效,而非连接断开)。另外,在临时节点下面不能创建子节点。

临时顺序节点(EPHEMERAL_SEQUENTIAL):
临时顺序节点与临时节点的不同在于:临时顺序节点在创建时会自动加上编号,其创建方法与编号格式与持久顺序节点相同。

3. get 获取节点数据和更新信息

cZxid :创建节点的事务id
ctime : 节点的创建时间
mZxid :修改节点的事务id
mtime :修改节点的时间
pZxid :子节点的id
cversion : 子节点的版本
dataVersion : 当前节点数据的版本
aclVersion :权限的版本
ephemeralOwner :判断是否是临时节点
dataLength : 数据的长度
numChildren :子节点的数量

Zookeeper 和 Kafaka 启动的时候都是需要在所有的计算机(指主从)都启动

4. 访问权限

ACL:Access Control List 访问控制列表
ZK的节点有5种操作权限:CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限,这5种权限简写为crwda
这5种权限中,除了 DELETE ,其它4种
权限指对自身节点的操作权限

5. 四级命令

5.1.stat 查看状态信息

[zkpk@master zookeeper-3.4.5]$ su root
[root@master zookeeper-3.4.5]# echo stat | nc 192.168.1.100 2181
Zookeeper version: 3.4.5-37e277162d567b55a07d1755f0b31c32e93c01a0, built on 11/01/2017 18:06 GMT
Clients:
 /192.168.1.68:49346[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/4   
Received: 62
Sent: 61
Connections: 1
Outstanding: 0
Zxid: 0x50000000a
Mode: follower
Node count: 10
[root@master zookeeper-3.4.5]# 

5.2 ruok 查看zookeeper是否启动

[root@master zookeeper-3.4.5]# echo ruok | nc 192.168.1.100 2181
imok[root@master zookeeper-3.4.5]# 

5.3 dump 列出没有处理的节点,临时节点

imok[root@master zookeeper-3.4.5]# echo dump | nc 192.168.1.100 2181
SessionTracker dump:
org.apache.zookeeper.server.quorum.LearnerSessionTracker@29805957
ephemeral nodes dump:
Sessions with Ephemerals (0):
[root@master zookeeper-3.4.5]#

5.4 conf 查看服务器配置

[root@master zookeeper-3.4.5]# echo conf | nc 192.168.1.100 2181
clientPort=2181
dataDir=/usr/home/zookeeper-3.4.5/data/version-2
dataLogDir=/usr/home/zookeeper-3.4.5/data/version-2
tickTime=2000
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
serverId=2
initLimit=10
syncLimit=5
electionAlg=3
electionPort=3888
quorumPort=2888
peerType=0
[root@master zookeeper-3.4.5]#

3.5 cons 显示连接到服务端的信息

[root@master zookeeper-3.4.5]# echo cons | nc 192.168.1.100 2181
/192.168.0.68:493540
[root@master zookeeper-3.4.5]#

3.6 envi 显示环境变量信息

[root@master zookeeper-3.4.5]# echo envi | nc 192.168.1.100 2181
Environment:
zookeeper.version=3.4.5-37e277162d567b55a07d1755f0b31c32e93c01a0, built on 11/01/2017 18:06 GMT
host.name=localhost
java.version=1.8.0_111
java.vendor=Oracle Corporation
java.home=/usr/local/jdk1.8.0_111/jre
java.class.path=/usr/home/zookeeper-3.4.5/bin/…/build/classes:/usr/home/zookeeper-3.4.5/bin/…/build/lib/.jar:/usr/home/zookeeper-3.4.5/bin/…/lib/slf4j-log4j12-1.6.1.jar:/usr/home/zookeeper-3.4.5/bin/…/lib/slf4j-api-1.6.1.jar:/usr/home/zookeeper-3.4.5/bin/…/lib/netty-3.10.5.Final.jar:/usr/home/zookeeper-3.4.5/bin/…/lib/log4j-1.2.16.jar:/usr/home/zookeeper-3.4.5/bin/…/lib/jline-0.9.94.jar:/usr/home/zookeeper-3.4.5/bin/…/lib/audience-annotations-0.5.0.jar:/usr/home/zookeeper-3.4.5/bin/…/zookeeper-3.4.5.jar:/usr/home/zookeeper-3.4.5/bin/…/src/java/lib/.jar:/usr/home/zookeeper-3.4.5/bin/…/conf:
java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
java.io.tmpdir=/tmp
java.compiler=
os.name=Linux
os.arch=amd64
os.version=3.10.0-514.10.2.el7.x86_64
user.name=root
user.home=/root
user.dir=/usr/home/zookeeper-3.4.5/bin
[root@master zookeeper-3.4.5]#

3.7 mntr 查看zk的健康信息

[root@master zookeeper-3.4.5]# echo mntr | nc 192.168.1.100 2181
zk_version 3.4.5-37e277162d567b55a07d1755f0b31c32e93c01a0, built on 11/01/2017 18:06 GMT
zk_avg_latency 0
zk_max_latency 4
zk_min_latency 0
zk_packets_received 68
zk_packets_sent 67
zk_num_alive_connections 1
zk_outstanding_requests 0
zk_server_state follower
zk_znode_count 10
zk_watch_count 0
zk_ephemerals_count 0
zk_approximate_data_size 124
zk_open_file_descriptor_count 32
zk_max_file_descriptor_count 4096
[root@master zookeeper-3.4.5]#

3.8 wchs 展示watch的信息

[root@master zookeeper-3.4.5]# echo wchs | nc 192.168.1.100 2181
0 connections watching 0 paths
Total watches:0
[root@master zookeeper-3.4.5]#

3.9 wchc和wchp 显示session的watch信息 path的watch信息

[root@master zookeeper-3.4.5]# echo wchc | nc 192.168.1.100 2181
wchc is not executed because it is not in the whitelist.
[root@master zookeeper-3.4.5]# echo wchp | nc 192.168.1.100 2181
wchp is not executed because it is not in the whitelist.

6. 关闭zookeepr

关闭ZooKeeper (master,slave)
在这里插入图片描述

第7章 Kafka

1. Kafka概念

Kafka是一种高吞吐量的分布式发布订阅消息系统

Producer:消息生产者,负责将消息发布到Kafka上。

Consumer:消息消费者,从Kafka上读取消息。
在这里插入图片描述
Broker
即代理,也就是通常所说的服务器节点。Kafka集群包含一个或多个服务器节点,这种服务器就被称为Broker。一个Kafka节点就是一个Broker。

在这里插入图片描述

Message
即消息。Kafka的数据单元被称为消息。
消息元数据,键。

Partition
分区。Partition是物理上的概念,为了使得Kafka的吞吐率可以水平扩展.

Topic
主题。每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。

Segment
Partition物理上由多个Segment组成,每个Segment存着消息(message)信息。

2. kafka 特点

  • 可进行持久化操作。将消息持久化到磁盘,因此可用于批量消费。
  • 分布式系统,易于向外扩展。
  • 支持online和offline的场景。
  • 支持压缩(snappy、gzip)

3. 常用命令

分别登录master和slave节点启动Zookeeper
分别登录master和slave节点启动Kafka

在这里插入图片描述

在这里插入图片描述

在master创建一个名为 test的主题topic

[zkpk@master kafka_2.11-0.10.2.1]$ bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test

在这里插入图片描述
启动一个生产者,并在键盘上输入hello 然后回车

[zkpk@master kafka_2.11-0.10.2.1]$ bin/kafka-console-producer.sh --broker-list master:9092 --topic test

在这里插入图片描述

在slave01终端上启动一个消费者

[zkpk@master kafka_2.11-0.10.2.1]$ bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning

在这里插入图片描述

查看topic列表

bin/kafka-topics.sh --list --zookeeper master:2181

在这里插入图片描述

查看topic说明信息

bin/kafka-topics.sh --describe --zookeeper master:2181 --topic test

在这里插入图片描述

4. 关闭

bin/kafka-server-stop.sh
bin/zkServer.sh  stop

第8章 HBase

1. 简介

HBase是一个高可靠、高性能、面向列、可伸缩的、实时读写的分布式数据库,是Hadoop的一个重要组件。

2. 和传统关系数据库的区别

HBase与传统的关系数据库的区别主要体现在以下几个方面:

(1)数据类型:HBase字符串
(2)数据操作:HBase操作则不存在复杂的表与表之间的关系,只有简单的插入、查询、删除、清空等
(3)存储模式:关系数据库是基于行模式存储的。HBase是基于列存储的
(4)数据索引:HBase只有一个索引——行键
(5)数据维护:HBase中执行更新操作时,并不会删除数据旧的版本,而是生成一个新的版本,旧有的版本仍然保留
(6)可伸缩性:

3. 常用命令

3.1 启动

单机模式

start-hbase.sh
stop-hbase.sh

伪分布式模式

start-all.sh
start-hbase.sh 
 (jps master:Hmaster  slave:Hregionserver)

完全分布式模式

start-all.sh   

zkServer.sh start
#(分别在master,slave上启动 jps quorumpeermain)

zkServer.sh status

follower   leader

start-hbase.sh #(master)

3.2 启动2

start-all.sh
start-hbase.sh

在这里插入图片描述
在这里插入图片描述

3.3 进入Hbase shell

在这里插入图片描述

3.4 集群状态命令 status

1 servers, 0 dead, 2.5000 average load
该集群共有1台RegionServer,平均每台山有2.5个region

在这里插入图片描述

3.5 创建表:

create '表名称', '列名称1','列名称2','列名称N'

create 'student', 'college', 'profile'

在这里插入图片描述

列举表: list
在这里插入图片描述

3.6 查看表结构

desc '表名'
在这里插入图片描述

3.7 查看所有记录

scan '表名称'

在这里插入图片描述

3.8 查看表中的记录总数

count '表名称'

在这里插入图片描述

3.9 添加记录

put  '表名称', '行名称', '列名称:', '值'

在这里插入图片描述

hbase (main) : 006: 0 > put 'student', '19052002', ‘college:school', ' Computer Engineering'
hbase (main) : 007: 0 > put 'student', '19052002', 'college:department', 'CS'
hbase (main) : 008: 0 > put 'student', '19052006', 'profile:name', 'liuneng'
hbase (main) : 009: 0 > put 'student', '19052006', 'profile:height', '170'
hbase (main) : 010: 0 > put 'student', '19052006', 'profile:weight', '122'
hbase (main) : 011: 0 > put 'student', '19052006', 'profile:birthday', '1999-08-02'
hbase (main) : 012: 0 > put 'student', '19052006', 'college:school', ' Computer Engineering '
hbase (main) : 013: 0 > put 'student', '19052006', 'college:department', 'EE'

在这里插入图片描述
在这里插入图片描述

3.10 查询表中有多少条记录,使用count命令。

hbase (main) : 014: 0 > count  'student'

在这里插入图片描述

3.11 获取一条数据,使用get命令

需要给出Row key。

hbase (main) : 015: 0 > get 'student', '19052006

在这里插入图片描述

3.12 获取某行数据一个列族的所有数据,使用get命令。

hbase (main) : 016: 0 > get‘student’,19052006, ‘profile’

3.13 获取某行数据一个列族中一个列的所有数据,使用get命令

hbase (main) : 017: 0 > get  'student', '19052006', 'profile:name'

3.14 更新一条记录,使用put命令

将liuneng的体重改为135。

hbase (main) : 018: 0 > put 'student', '19052006', 'profile:weight', '135'
0 row(s) in 0.0850 seconds

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Version
Filter   {VERSIONS=2}  必须大写

时间戳的类型是64位整型。时间戳可以由HBASE(在数据写入时自动)赋值,此时时间戳是精确到毫秒的当前系统时间。时间点细化为一连串数字,值越大,版本越新。
在这里插入图片描述
在这里插入图片描述

3.15 删除行键值为19052006的列height,使用delete命令。

在这里插入图片描述

可以看到,列height已经被删除。

3.16 增加列族

alter '表名', '列族名'

在这里插入图片描述

3.16 删除列族

alter '表名', 'delete' => '列族名'

在这里插入图片描述

3.17 删除整行

deleteall ‘表名’,‘行键’

deleteall ‘student’,19052002

put一次一个列

hbase (main) : 002: 0 > put student', '19052002', 'profile:name', 'zhaosi'
hbase (main) : 003: 0 > put 'student', '19052002', 'profile:height', '165'


put ‘student’,19052002, ‘profile:name’, ‘zhaosi‘,’profile:height’,165’ 错误

3.18 下线 disable

disable 下线某个表
disable   '表名'

在这里插入图片描述
在这里插入图片描述

3.19 上线表 enable

enable  上线某个表 
enable  '表名'

在这里插入图片描述

3.19 判断命令(exists,is_enabled,is_disabled)

exists 判断表是否存在    
is_enabled 判断表是否上线
is_disabled 判断表是否下线

在这里插入图片描述

3.20 删除表中所有数据

truncate '表名'

3.21 删除表 (先下线表)

disable   '表名'
drop  '表名'

3.22 退出hbase shell

exit

3.23 关闭hbase

stop-hbase.sh  
  • Shutdown: 关闭hbase服务,
  • exit: 只是退出hbase shell

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/544609.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

重磅来袭,ChatGPT官方的掌上神器目前仅支持IOS

今天凌晨&#xff0c;OpenAI 推出了 ChatGPT 的 iOS app&#xff0c;在这个开放的世界里&#xff0c;智能化的 AI 功能早已经突破了人类的想象力。而 ChatGPT 确实不会让我们失望&#xff0c;它的真「iPhone 时刻」来了&#xff01;从现在起&#xff0c;我们可以在 iPhone 上使…

3面美团测试岗,HR现场直接发20k的offer,我是横着走出来的...

前情提要 这是一个发生在我身上的真实事情&#xff1a; 我工作不到2年&#xff0c;周末在朋友圈发了个喜报&#xff0c;准备入职美团。之后&#xff0c;我的朋友就带着祝福跟我聊了许久&#xff0c;聊天的内容就是具体了解一下我面试的过程&#xff0c;心路历程和未来的打算…

解决方案|电源适配器自动测试系统ATECLOUD-Power

随着电子产品的不断普及&#xff0c;电源适配器的应用越来越广泛。然而&#xff0c;在生产过程中&#xff0c;适配器电源的质量是至关重要的。为了确保电子产品的质量&#xff0c;适配器电源需要经过严格的测试和验证。传统的适配器电源测试方法需要大量的人力和时间&#xff0…

如何让数据安全管理工作化繁为简?uDSP 十问十答

数据安全管理工作与国家数据安全、企业资产保护以及个人信息保护工作息息相关。复杂、多元、流通的数据也给数据安全带来了更多的威胁和挑战&#xff0c;如数据资产管理、分类分级问题&#xff0c;数据安全集中管控问题&#xff0c;数据共享与流通问题等。原点安全一体化数据安…

科技云报道:垂直大模型竞争,能突破数据“卡点”吗?

科技云报道原创。 AI大模型火遍全球&#xff0c;中国产业也激发了对人工智能应用的新热情。 随着各大厂商参与竞逐&#xff0c;市场正在分化为通用与垂直两大路径&#xff0c;两者在参数级别、应用场景、商业模式等方面差异已逐步显现。 企业涌入垂直大模型赛道 通用AI大模型…

ADS - lesson 1. Patch antenna

Patch antenna 1. 开启 layout command line editor2. layout command line editor应用3. 画馈线4. 插入端口5. EM 冲冲冲6. 结果 1. 开启 layout command line editor ADS主界面 - Tools - App Manager… - 勾选 “layout command line editor” 然后重启软件 2. layout co…

使用增强版 singleflight 合并事件推送,效果炸裂!

hello&#xff0c;大家好啊&#xff0c;我是小楼。 最近在工作中对 Go 的 singleflight 包做了下增强&#xff0c;解决了一个性能问题&#xff0c;这里记录下&#xff0c;希望对你也有所帮助。 singleflight 是什么 singleflight 直接翻译为”单&#xff08;次&#xff09;飞…

(4)STM32的SPI协议及LED点亮

目录 【1】SPI协议 SPI协议 2.SPI时序 【2】LCD液晶显示屏 显示屏 【3】点亮LCD显示屏 颜色填充 ​编辑 图片显示及英文显示 汉字显示 【1】SPI协议 SPI协议 SPI接口是摩托罗拉Motorola 首先提出的全双工三线/四线同步串行外围接口&#xff0c;采用主从模式&#xff08;Master…

产业安全专家谈|如何为直播电商企业构建全面的风控防护?

微赞是一家专注微信生态的企业级直播营销服务提供商&#xff0c;其核心产品“微赞直播”集引流获客、交易变现、数据分析为综合一体&#xff0c;能够帮助客户开展在线内容营销。为提供客户更好的直播服务&#xff0c;微赞与腾讯安全展开合作&#xff0c;凭借微赞在私域营销领域…

MYSQL 一行数据拆分成多行数据

-- WH 拆分成多行 数据 20230519 SELECT * FROM ( SELECT SKU,Primary_Warehouse, SUBSTRING_INDEX(SUBSTRING_INDEX(WH, ,, n.digit1), ,, -1) as WH FROM TMP_WH_SKU INNER JOIN ( SELECT 0 digit UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELEC…

机器学习之KNN、Python实现

文章目录 一、前言二、KNN&#xff08;1&#xff09;简介&#xff08;2&#xff09;思想: "近朱者赤近墨者黑"&#xff08;3&#xff09;算法实现流程&#xff08;4&#xff09;k值得选定1. k值得作用2. 交叉验证选取 k值 三、KNN基于sklearn实现&#xff08;1.&…

苹果XR头显简史:现实困境与未来预期

近几个月来&#xff0c;有关苹果MR头显的消息层出不穷&#xff0c;机构分析师大多认为6月份的WWDC23将会亮相。作为全新品类&#xff0c;苹果AR/VR备受期待的同时也有一些市场顾虑&#xff0c;例如因AR/VR产品成熟度问题&#xff0c;现阶段推出MR头显也饱受争议&#xff0c;甚至…

单例模式与多线程

文章目录 一、 简介二、详细介绍1. 立即加载/饿汉模式2. 延迟加载/懒汉模式3. 使用静态内置类实现单例模式4. 序列化和反序列化的单例模式5. 使用static代码块实现单例模式6. 使用enum枚举数据类型实现单例模式 一、 简介 在标准的23个设计模式中&#xff0c;单例模式在应用中…

传染病学模型 | SIR 、SEIR传染病学模型

文章目录 SIR传染病学模型SEIR传染病学模型参考资料SIR传染病学模型 SIR模型是一种流行病学模型,用于描述传染病在人群中的传播过程。SIR模型将人群分为三个类别:易感者(Susceptible)、感染者(Infectious)和康复者(Recovered)。三个类别之间的转移可以用以下三个微分方…

二、IOC容器(1)

一、IOC操作Bean管理 1.什么是Bean管理&#xff1f; Spring创建对象Spring注入属性Bean管理是2个操作 2.Bean管理操作有两种方式 基于xml配置文件方式实现基于注解方式实现 二、IOC操作Bean管理&#xff08;基于xml方式&#xff09; 1.基于xml方式创建对象 使用bean标签&…

new与delete用法详解与底层原理,operator new与operator delete函数,定位new与内存泄漏介绍等

tips 其实进程运行起来或者说程序运行起来都是去执行函数&#xff0c;任务就是不断的去执行函数。C的入口就是main函数&#xff0c;然后在这个函数当中可能碰到程序某些调用其他函数的语句就去调用其他函数。在全局的区域可以去创建变量&#xff0c;定义函数&#xff0c;但就是…

数据结构-栈,队列

栈&#xff0c;队列 1 知识框架2 栈2.1 顺序栈2.2 链式栈 3 队列3.1 顺序队列3.2 循环队列3.3 链式队列 4 数组4.1 二维数组4.2 特殊数组的压缩存储 1 知识框架 2 栈 定义&#xff1a;只允许在一端进行插入或删除得到线性表 栈的数学性质&#xff1a;n个不同元素进栈&#xff…

phpWord使用模板填充数据:包含表格及嵌套表格(多个表格/循环表格)

参考文档 模板处理 基础使用 安装过程省略&#xff0c;首先加载模板: $templateProcessor new TemplateProcessor(ROOT_PATH . uploads/template/自动生成模板.docx); 完整保存流程 首先&#xff0c;要进行测试&#xff0c;起码能够写一个完整的demo&#xff0c;以下是我测…

实验三---面向对象分析与设计——UML用例图与活动图

一、实验目的&#xff1a; 掌握面向对象分析中用例建模的基本思想&#xff0c;学会识别参与者和用例&#xff0c;掌握UML用例图的绘制方法&#xff0c;学会编写用例说明&#xff1b;了解活动图的作用和组成元素&#xff0c;掌握UML活动图的绘制方法&#xff0c;学会使用活动图来…

秒懂算法 | KMP算法(Java描述)

Knuth-Morris-Pratt 算法&#xff08;简称 KMP&#xff09;是由高德纳&#xff08;Donald Ervin Knuth&#xff09;和沃恩普拉特在1974年构思&#xff0c;同年詹姆斯H莫里斯也独立地设计出该算法&#xff0c;最终三人于1977年联合发表。该算法较Brute-Force算法有较大改进&…