HIVE 数据仓库工具之第二部分(数据库相关操作)

news2024/11/15 8:43:29

HIVE 数据仓库工具之第二部分(数据库相关操作)

  • 一、Hive 对数据库的操作
    • 1.1 创建数据库
      • 1.1.1 创建数据库语法
      • 1.1.3 示例
    • 1.2 使用数据库
      • 1.2.1 使用数据库语法
      • 1.2.2 示例
    • 1.3 修改数据库
      • 1.3.1 修改数据库的语法
      • 1.3.2 示例
    • 1.4 删除数据库
      • 1.4.1 删除数据库的语法
      • 1.4.2 示例
  • 二、Hive 对数据表的操作
    • 2.1 创建表
      • 2.1.1 第一种建表方式
      • 2.1.2 第二种建表方式
      • 2.1.3 第三种建表方式
    • 2.2 查看表
      • 2.2.1 查看所有表
      • 2.2.2 查看特定表
      • 2.2.3 查看表字段信息
    • 2.3 修改表
    • 2.4 删除表
  • 三、Hive 数据相关操作
    • 3.1 数据导入
      • 3.1.1 第一种导入方式
      • 3.1.2 第二种导入方式
    • 3.1.3 第三种导入方式
      • 3.1.4 第四种导入方式
    • 3.2数据导出
      • 3.2.1 第一种导出方式
      • 3.2.2 第二种导出方式
      • 3.2.3 第三种导出方式
    • 3.3 数据备份与恢复
      • 3.3.1 数据备份
      • 3.3.2 数据恢复
  • 四、Hive 查询相关操作
    • 4.1 查询显示所有字段
    • 4.2 查询显示部分字段
    • 4.3 where条件查询
    • 4.4 distinct去重查询
    • 4.5 group by分组查询
    • 4.6 order by全局排序
    • 4.7 sort by局部排序
    • 4.8 distribute by分区查询
    • 4.9 cluster by分区排序
  • 五、Hive 表连接相关操作
    • 5.1 等值连接
    • 5.2 内连接
    • 5.3 左连接
    • 5.4 右连接
    • 5.5 全连接
  • 六、Hive 内部表和外部表相关操作
    • 6.1 内部表
    • 6.2 外部表
  • 七、Hive 分区与分桶相关操作
    • 7.1 分区
    • 7.1 分桶

一、Hive 对数据库的操作

1.1 创建数据库

Hive安装成功之后会存在一个默认的数据库default,为了方便管理不同业务数据,需要单独创建新的数据库

1.1.1 创建数据库语法

CREATE  (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];

SCHEMA 和 DATABASE:两者含义相同,用途一样。
IF NOT EXISTS:创建数据库时若有同名数据库存在,缺少该子句将抛出错误信息。
COMMENT:表示为数据库添加描述信息。
LOCATION:存放数据库数据目录。
WITH DBPROPERTIES:表示为数据库添加描述信息,如创建时间、作者等信息。

1.1.3 示例

创建名为weather的数据库,具体操作如图所示。

create database if not exists weather comment "天气数据库" location "/user/hive/warehouse/mydb" with dbproperties('creator'='langbo','date'='2024-08-28');

在这里插入图片描述
通过describe命令查看已建数据库的详情,具体操作如图所示。

hive> describe database extended weather;

在这里插入图片描述

1.2 使用数据库

在Hive中可以根据不同的业务创建不同数据库,如果想对某个业务的数据进行操作,首先需要使用或者进入该数据库。

1.2.1 使用数据库语法

USE database_name;

使用数据库子句含义解释如下:
USE:如果想使用哪个数据库,直接使用USE关键字即可。

1.2.2 示例

使用已经创建的数据库weather,具体操作如下:

hive> user weather;

在这里插入图片描述
查看当前使用的是哪个数据库

hive> select current_database();

在这里插入图片描述

1.3 修改数据库

如果创建数据库时某些信息设置的不正确,还可以对已创建的数据库进行修改。

1.3.1 修改数据库的语法

ALTER (DATABASE|SCHEMA) database_name 
SET DBPROPERTIES (property_name=property_value, ...);  

修改数据库子句含义解释如下:
ALTER:如果想修改哪个数据库,直接使用ALTER关键字即可。
SET DBPROPERTIES:表示可以修改数据库键值对描述信息。

1.3.2 示例

修改weather数据库的创建日期,具体操作如下。

hive> alter database weather set DBPROPERTIES('date'='2024-08-29');

在这里插入图片描述
备注:Hive2.3.8以下版本只支持修改数据库描述信息,不支持修改包括数据库名称和数据存储路径等信息。

1.4 删除数据库

如果某个数据库中的数据是过期或者无用数据,可以直接删除该数据库即可。

1.4.1 删除数据库的语法

DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE];

删除数据库子句含义解释如下:
IF EXISTS:如果不加此选项,删除不存在的库会报错。
RESTRICT:表示如果数据库中包含有表,删除数据库操作将失败。
CASCADE:表示如果想删除包含有表的数据库,需要加上该关键字。

1.4.2 示例

在weather数据库中创建一个temperature表,具体操作如下:

hive> create table if not exists temperature (id string, year string, temperature int);

在这里插入图片描述
删除包含temperature表的weather数据库,需要加上cascade关键字否则会报错,具体操作如下:

hive> drop database if exists weather cascade;

在这里插入图片描述

二、Hive 对数据表的操作

2.1 创建表

2.1.1 第一种建表方式

Hive的第一种建表方式,我们就采用类关系型数据库的建表标准方式。

  • 语法
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name      
[(col_name data_type [COMMENT col_comment], ...)]  
[COMMENT table_comment]   
[ROW FORMAT row_format] 
[STORED AS file_format]
[LOCATION hdfs_path]  

Hive建表子句含义解释如下:
EXTERNAL:加上该子句,表示创建外部表。
ROW FORMAT:可以指定表存储中各列的分隔符,默认为\001。
STORED AS:可以指定数据存储格式,默认值为TEXTFILE。
LOCATION:指定hive表中的数据在hdfs上的存储路径。

  • 示例
    在weather数据库中创建一个temperature表,该表存储的是美国各个气象站每年的气温值,具体操作如下:
create  table  if not exists temperature 
(id string comment '气象站id',year string comment '年',temperature int comment '气温') 
comment '天气表' 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS  TEXTFILE ;

在这里插入图片描述
在weather数据库中创建一个station表,该表存储的是美国各气象站的详细信息,具体操作如图7-13所示。

create  table  if not exists station 
(id string comment '气象站id',latitude string comment '纬度',
longitude string comment '经度',elevation string comment '海拔',
state string comment '各州编码') 
comment '气象站表' 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS  TEXTFILE ;

在这里插入图片描述

2.1.2 第二种建表方式

还可以使用select语句查询已有表来创建新表temperature2,具体操作如图7-14所示。
create table temperature2 as select * from temperature ;

hive> create table temperature2 as select * from temperature;

在这里插入图片描述

2.1.3 第三种建表方式

另外Hive还支持使用like语句创建新表temperature3,具体操作如图7-15所示。

hive> create table temperature3 like temperature;

在这里插入图片描述

2.2 查看表

2.2.1 查看所有表

使用show命令查看所有已经创建的表,具体操作如下:

hive> show tables;

在这里插入图片描述

2.2.2 查看特定表

通过匹配表达式查看特定表集合,具体操作如下:

hive> show tables 'temperature';

在这里插入图片描述

2.2.3 查看表字段信息

通过describe命令查看temperature表字段信息,具体操作如下:

hive> describe temperature;

在这里插入图片描述

2.3 修改表

如果建表时某些信息设置的不正确或者有遗漏,还可以对已创建的表进行修改。

  • 语法
ALTER TABLE name RENAME TO new_name
ALTER TABLE name REPLACE COLUMNS (col_spec[, col_spec ...])
ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...])

修改表子句的含义解释如下:
Rename To语句:表示修改表名称。
REPLACE语句:表示删除表中原有的字段,替换为现有的字段。
ADD语句:表示为表增加新字段。

  • 示例
    使用Rename To语句将temperature2的表名修改为temperature_2,具体操作如下:
hive> ALTER TABLE temperature2 RENAME TO temperature_2;

在这里插入图片描述
使用REPLACE语句替换temperature_2表中的所有字段,具体操作如下:

hive> ALTER TABLE temperature_2 REPLACE COLUMNS (stationID string, year string, temperature int);

在这里插入图片描述
使用ADD语句为temperature_2表增加新字段name,具体操作如下:

hive> ALTER TABLE temperature_2 ADD COLUMNS (name string comment '气象站名称');

在这里插入图片描述

2.4 删除表

如果某个表中的数据是过期或者无用数据,可以直接删除该表即可。

  • 语法
drop table if exists table_name;

删除表子句含义解释如下:
drop:表示删除表的关键字。
if exists:表示如果表存在才删除,如果不存在可以不做任何操作。

  • 示例
    使用drop语句删除temperature_2表,具体操作如下:
hive> drop table if exists temperature_2;

在这里插入图片描述

三、Hive 数据相关操作

3.1 数据导入

数据导入Hive表的方式有很多种。可以使用load data操作,通过把文件复制或移动到表的目录中,从而把数据导入Hive的表中。也可以用Insert 语句把数据从一个Hive表填充到另外一个表,或者在新建表的时候使用CTAS(CREATE TABLE …AS SELECT)结构。

3.1.1 第一种导入方式

直接通过Insert语句将数据插入表,具体操作如下:

hive> insert into temperature values ('03013', '2021', 38);

在这里插入图片描述
由图可以看出,通过Insert方式往表插入数据,底层执行的是MapReduce作业。

3.1.2 第二种导入方式

  • 准备数据集
    现在准备一个名为temperature.log文件,里面包含美国各个气象站每年的气温数据,数据的第一列为气象站ID,第二列为年份,第三列为气温值。具体样本数据如下所示:
    03103,1980,41
    03103,1981,98
    03103,1982,70
    03103,1983,74
    03103,1984,77

再准备一个名为station.log文件,里面包含美国各个气象站的详细信息,数据的第一列为气象站ID,第二列为纬度,第三列为经度,第四列为海拔,第五列为州编码。具体样本数据如下所示:

03013,38.0700,102.6881,1129.0,CO
03016,39.5264,107.7264,1685.5,CO
03017,39.8328,104.6575,1650.2,CO
03024,35.6950,101.3950,930.9,TX
03026,39.2447,102.2842,1277.7,CO

然后将temperature.log和station.log文件上传至hadoop1节点的/usr/local/data/tmp目录下。

  • 数据上传至HDFS
    首先在HDFS中创建/weather目录,然后将temperature.log和station.log文件上传至该目录下,具体操作如下:
[root@hadoop1 ~]# /usr/local/hadoop/bin/hdfs dfs  -mkdir /weather
[root@hadoop1 ~]# /usr/local/hadoop/bin/hdfs dfs  -put /usr/local/data/tmp/temperature.log /weather
[root@hadoop1 ~]# /usr/local/hadoop/bin/hdfs dfs  -put /usr/local/data/tmp/station.log /weathe

在这里插入图片描述

  • 数据导入
    通过load data命令将HDFS中的temperature.log和station.log文件分别加载到temperature和station表,具体操作如下:
hive> load data inpath '/weather/temperature.log' overwrite into table temperature;
hive> load data inpath '/weather/station.log' overwrite into table station;

在这里插入图片描述

如果将本地文件加载到Hive表中,可以使用如下语句:

hive> load data local inpath '/usr/local/data/tmp/temperature.log' overwrite into table tempera
hive> load data local inpath '/usr/local/data/tmp/station.log' overwrite into table station;

在这里插入图片描述

3.1.3 第三种导入方式

通过like子句创建表temperature2,然后使用select子句查询temperature表数据并插入temperature2,具体操作如下:

hive> create table temperature2 like temperature;

3.1.4 第四种导入方式

  • 建表
    通过create方式创建表temperature3,并指定表的HDFS路径,具体操作如图7-27所示。
create  table  if not exists temperature4
(id string comment '气象站id',year string comment '年',temperature int comment '气温') 
comment '天气表' 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS  TEXTFILE 
location '/user/hive/warehouse/mydb/temperature4';

在这里插入图片描述

  • 加载数据
    通过HDFS的put命令,将本地文件上传至temperature3表的location位置即可完成表的数据加载,具体操作如下:
[root@hadoop1 ~]# /usr/local/hadoop/bin/hdfs dfs -put /usr/local/data/tmp/temperature.log /user/hive/warehouse/mydb/temperature4

在这里插入图片描述

  • 表查询
    通过select语句查询temperature3表中的数据,具体操作如下:
hive> select * from temperature4;

在这里插入图片描述

3.2数据导出

数据导出Hive表的方式也有很多种。可以使用Insert语句把数据从Hive表中导出到本地文件系统或者HDFS,也可以使用CTAS结构将一个Hive表中的数据导出到另外一个表。

3.2.1 第一种导出方式

使用INSERT OVERWRITE LOCAL DIRECTORY语句将temperature表中的数据导出到本地文件系统,具体操作如下:

hive>  INSERT OVERWRITE LOCAL DIRECTORY '/usr/local/data/tmp/temperature.log.20240830' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from temperature;

备注:LOCAL关键字表示将数据导出到本地文件系统,如果去掉LOCAL表示将数据导出到HDFS。

在这里插入图片描述

3.2.2 第二种导出方式

使用CTAS结构把Hive查询的结果导出到一个新创建的表,具体操作如下:

hive> create table temperature5 as select * from temperature;

在这里插入图片描述

3.2.3 第三种导出方式

在bash中,直接通过hive -e命令将temperature表中的数据导出到本地文件系统,具体操作如下:

[root@hadoop1 ~]# /usr/local/hive/bin/hive -e "select * from weather.temperature" >> /usr/local/data/tmp/temperature.log.2024083002

在这里插入图片描述

也可以先将Hive查询语句封装到temperature.sql文件,具体操作如下:

[root@hadoop1 hive]# vim /usr/local/hive/temperature.sql

输入如下内容: select * from weather.temperature;

然后在bash中,通过hive -f命令将temperature表中的数据导出到本地文件系统,具体操作如下:

[root@hadoop1 hive]# /usr/local/hive/bin/hive -f /usr/local/hive/temperature.sql >> /usr/local/data/tmp/temperature.log.2024083002

在这里插入图片描述

3.3 数据备份与恢复

Hive自带了数据的备份和恢复命令,不止数据,包括表结构也可以一同导出。

3.3.1 数据备份

通过export命令对temperature表中的数据进行备份,具体操作如下:

hive> export table temperature to '/user/hive/warehouse/mydb/backup/temperature';

在这里插入图片描述
Hive执行export命令就是将表结构存储在_metadata文件,并且直接将Hive数据文件复制到备份目录。

3.3.2 数据恢复

通过import命令恢复temperature表中的备份,具体操作如下:

hive> import table temperature_new from '/user/hive/warehouse/mydb/backup/temperature';

在这里插入图片描述

四、Hive 查询相关操作

前面已经将数据加载到Hive表中,接下来我们使用select语句的各种形式从Hive中检索数据。

4.1 查询显示所有字段

使用select语句查询显示temperature表的所有字段,具体操作如下:

hive> select * from temperature limit 3;

在这里插入图片描述

4.2 查询显示部分字段

使用select语句查询显示temperature表的部分字段,具体操作如下:

hive> select year,temperature from temperature limit 3;

在这里插入图片描述

4.3 where条件查询

使用where语句对temperature表进行过滤,查询显示气温值小于50的记录,具体操作如下:

hive> select * from temperature where temperature < 50;

在这里插入图片描述

4.4 distinct去重查询

使用distinct语句对temperature表中的气温字段进行去重查询,具体操作如下:

hive> select distinct temperature from temperature;

在这里插入图片描述

4.5 group by分组查询

使用group by语句对temperature表按气象站ID来分组统计每个气象站的平均气温,具体操作如下:

hive> select id from temperature group by id ;

在这里插入图片描述

4.6 order by全局排序

使用order by语句对temperature表按照气温值进行全局排序,具体操作如下:

hive> select * from temperature order by temperature;

在这里插入图片描述

备注:order by语句会对表进行全局排序,因此底层作业只运行一个reduce任务。当表的数据规模较大时,全局排序需要运行的时间比较长。

4.7 sort by局部排序

使用sort by语句对temperature表进行局部排序,为了便于观察局部排序效果,可以将reduce任务的并行度设置为3,同时将局部排序后的结果输出到HDFS,具体操作如下:

hive> 
hive> set mapreduce.job.reduces=3;
hive> INSERT OVERWRITE DIRECTORY '/weather/temperature' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from temperature sort by temperature;

在这里插入图片描述

使用HDFS命令查看局部排序结果,可以看出每个输出文件结果局部有序,查看结果:
在这里插入图片描述

4.8 distribute by分区查询

使用distribute by语句对temperature表中的数据按照气象站ID进行分区,具体操作如下:

hive> set mapreduce.job.reduces=3;
hive> INSERT OVERWRITE DIRECTORY '/weather/temperature' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from temperature DISTRIBUTE BY id;

使用HDFS命令查看分区文件,可以看出数据按照气象站ID分配到不同的分区,具体结果如下:
在这里插入图片描述

4.9 cluster by分区排序

cluster by兼具distribute by和sort by功能。当distribute by和sort by指定的字段相同时,即可使用cluster by替换。使用cluster by语句对temperature表中的数据按照气象站ID进行分区和排序,具体操作如下:

hive> set mapreduce.job.reduces=3;
hive> INSERT OVERWRITE DIRECTORY '/weather/temperature' ROW FORMAT DELIMITED FIELDS TERMINATED by ',' select * from temperature cluster by id;

五、Hive 表连接相关操作

和直接使用MapReduce相比,使用Hive简化了多表连接操作,极大地降低开发成本。

5.1 等值连接

使用join子句实现temperature和station表的等值连接,如图操作如下:

hive> select t.id,t.year,t.temperature,s.state,s.latitude,s.longitude,s.elevation from temperature t join station s on (t.id==s.id) limit 3;

备注:表的等值连接是内连接的子集。

5.2 内连接

使用inner join子句实现temperature和station表的内连接,具体操作如下:

hive> select t.id,t.year,t.temperature,s.state,s.latitude,s.longitude,s.elevation from temperature t inner join station s on (t.id==s.id) limit 3;

备注:与等值连接相比,表的内连接的条件可以相等,也可以不相等。

5.3 左连接

使用left join子句实现temperature和station表的左连接,具体操作如下:

hive> select t.id,t.year,t.temperature,s.state,s.latitude,s.longitude,s.elevation from temperature t left join station s on (t.id==s.id) limit 3;

备注:使用左连接会显示左表temperature的所有数据,如果右表station通过外键与左表temperature有匹配数据就显示对应字段的数据,否则右表字段都显示为\N。

5.4 右连接

使用right join子句实现temperature和station表的右连接,具体操作如下:

hive> select t.id,t.year,t.temperature,s.state,s.latitude,s.longitude,s.elevation from temperature t right join station s on (t.id==s.id) limit 3;

·备注·:使用右连接会显示右表station的所有数据,如果左表temperature通过外键与右表station有匹配数据就显示对应字段的数据,否则右表字段都显示为\N。

5.5 全连接

使用full join子句实现temperature和station表的全连接,具体操作如下:

hive> select t.id,t.year,t.temperature,s.state,s.latitude,s.longitude,s.elevation from temperature t fulljoin station s on (t.id==s.id) limit 3;

备注:使用全连接会显示temperature和station表的所有数据,两个表通过id键进行关联,如果temperature表无匹配的数据则对应字段显示为\N,反之,station表对应的字段显示为\N。

六、Hive 内部表和外部表相关操作

在Hive中创建表时,默认情况下创建的是内部表(managed table),此时Hive负责管理数据,Hive会将数据移入它的仓库目录。另外一种选择是创建一个外部表(external table),这会让Hive到仓库目录以外的位置访问数据。

6.1 内部表

Hive建表时如果不使用external关键字,默认创建的就是内部表,内部表创建方式:

create  table  if not exists managed_temperature 
(id string,year string,temperature int) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS  TEXTFILE 
LOCATION '/user/hive/warehouse/mydb/managed_temperature';

在这里插入图片描述

使用load命令将数据加载到managed_temperature内部表时,Hive会把HDFS中的/weather/temperature.log文件移到LOCATION指定的仓库目录下,具体操作如下:

hive> load data inpath '/weather/temperature.log' overwrite into table managed_temperature;

使用drop命令删除managed_temperature内部表时,它的元数据和数据会被一起彻底删除,内部表删除操作如下:

hive> drop table managed_temperature;

6.2 外部表

使用external关键字创建的Hive表为外部表,此时数据的创建和删除由用户自己控制而非Hive,Hive只负责元数据的管理,建表方式如下:

create external  table  if not exists external_temperature 
(id string,year string,temperature int) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS  TEXTFILE 
LOCATION '/user/hive/warehouse/mydb/external_temperature';

在这里插入图片描述

使用load命令将数据加载到external_temperature外部表时,Hive知道数据并不由自己管理,因此不会将数据移到LOCATION指定的仓库目录,加载操作如下:

hive> load data inpath '/weather/temperature.log' overwrite into table external_temperature;

在这里插入图片描述

使用drop命令删除external_temperature外部表时,Hive不会删除实际数据,而只会删除元数据,删除操作如下:

hive> drop table external_temperature

在这里插入图片描述

七、Hive 分区与分桶相关操作

Hive把表组织成分区(partition),它是一种根据分区列的值对表进行划分的机制,使用分区可以加快数据分片的查询速度。表或者分区可以进一步分为桶,它会为数据提供额外的结构从而获得更高的查询效率。

7.1 分区

Hive创建partition_temperature表时,可以使用PARTITIONED BY子句来定义分区,并使用year字段作为分区列,具体操作如下:

create  table  if not exists partition_temperature 
(id string,temperature int) 
PARTITIONED BY (year string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS  TEXTFILE 
LOCATION '/user/hive/warehouse/mydb/partition_temperature';

在这里插入图片描述
使用insert子句将temperature表中的数据加载到partition_temperature分区表中,并以year字段作为分区列动态创建分区,具体操作如下:

hive> set hive.exec.dynamic.partition=true;
hive> set hive.exec.dynamic.partition.mode=nonstrict;
hive> set hive.exec.max.dynamic.partitions.pernode=10000;
hive> set hive.exec.max.dynamic.partitions=10000;
hive> set hive.exec.max.created.files=10000;
hive> INSERT OVERWRITE TABLE partition_temperature PARTITION(year) SELECT id,temperature,year FROM temperature ;

在这里插入图片描述

可以使用show partitions命令查看Hive表中有哪些分区,partition_temperature表的分区结果如下:
在这里插入图片描述

在select语句中使用where限定分区列year的值,这样Hive会对查询结果进行修剪,从而只扫描相关的分区,具体操作如下:

hive> select id,temperature from partition_temperature where year='1980';

在这里插入图片描述
对于partition_temperature表限定到特定日期的查询,Hive的数据处理会变得非常高效,因为它们只需要扫描查询year=’2011’分区中的文件。

7.1 分桶

Hive创建bucket_temperature表时,可以使用clustered by子句来指定划分桶所用的列和要划分的桶的个数,具体操作如下:

create table bucket_temperature(id string,year string,temperature int)
clustered by(id)
into 3 buckets;

在这里插入图片描述
在这里,我们使用气象站id来确定如何划分桶(Hive对id值进行哈希并将结果除以桶的个数取余数),这样任何一个桶里都会有一个随机的天气集合。
使用insert子句将temperature表中的数据加载到bucket_temperature分桶表中,具体操作如下:

hive> insert overwrite table bucket_temperture select * from temperature;

在这里插入图片描述

物理上,每个桶就是表目录里面的一个文件。事实上,桶对应于MapReduce的输出文件分区,一个作业产生的桶和reduce任务个数相同。通过dfs命令查看bucket_temperature表目录下面的桶文件,具体操作如下:

[root@hadoop1 hive]# hdfs dfs -ls /user/hive/warehouse/mydb/bucket_temperature;

在这里插入图片描述
对于非常大的数据集,有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。使用TABLESAMPLE子句对bucket_temperature表进行抽样来满足这个需求,具体操作如下:

hive> select * from bucket_temperature TABLESAMPLE(BUCKET 2 OUT OF 3 on id);

在这里插入图片描述
图中语句表示从3个桶中的第二个桶中获取所有的天气记录,因为查询只需要读取和TABLESAMPLE子句匹配的桶,所以取样分桶表是非常高效的操作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2090312.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

STM32基于HAL库串口printf使用和接收

我们这里使用HAL库直接用cubemx生成代码配置串口 1.打开cubemx&#xff0c;选择MCU型号 2.我这里使用的是STM32F103C8T6&#xff0c;根据自己的型号选择&#xff0c;这里不限制型号 3.选择时钟源 4.系统设置 5时钟配置 5.选择和配置串口 5.配置中断和中断优先级 6.工程设置…

ElasticSearch 集群的索引别名管理

一、索引别名 &#xff08;一&#xff09;添加索引别名 1.给单个索引添加别名 POST http://10.0.0.101:9200/_aliases{"actions":[{"add":{"index":"yedu-linux85","alias":"Linux容器运维"} },{"add&q…

Xinstall赋能,H5与App完美融合,打造极致用户体验

随着移动互联网的迅猛发展&#xff0c;App已经成为我们日常生活中不可或缺的一部分。然而&#xff0c;在App推广和运营的过程中&#xff0c;推广者们常常面临着一个难题&#xff1a;如何将H5网页上的用户顺利引导至App内&#xff0c;实现用户增长和活跃度提升&#xff1f;今天&…

ShenNiusModularity项目源码学习(3:用户登录)

第一篇文章中搞错了一件事&#xff0c;ShenNiusModularity项目启动并非需要同时启动ShenNius.Admin.Mvc和ShenNius.Admin.Hosting两个项目&#xff0c;仅需启动前者即可登录后台管理系统&#xff0c;而后者是支持前后端分离的API宿主项目&#xff0c;供其它前后端分离的项目调用…

uniapp组件中的emit声明触发事件

emit解析 在 uniapp 中&#xff0c;emit 主要用于组件间通信&#xff0c;特别是在子组件需要向父组件或者其他组件发送消息的时候。具体用途包括&#xff1a; 子传父数据&#xff1a;子组件通过 $emit 触发一个事件&#xff0c;并携带参数&#xff0c;父组件监听这个事件并对参…

uniapp 封装uni.login 实现全局调用

封装utils app.vue中 使用globalData 注册 utils 页面中使用方法 定义app 调用方法

GAMES202——作业3 Screen Space Ray Tracing

任务 为场景实现屏幕空间的全局光照效果 1.直接光照&#xff1a; 实现ssrFragmentShader中的EvalDiffuse(wi, wo, uv) 和EvalDirectionalLight(uv) 函数&#xff0c;并在 main 函数中实现直接光照的效果。 2.屏幕空间光线求交&#xff1a;实现RayMarch(ori, dir, out hitPos) …

Open3D mesh 网格简化(顶点聚类)

目录 一、概述 1.1原理 1.2实现步骤 1.3应用场景 二、代码实现 2.1关键函数 2.2完整代码 三、实现效果 3.1原始mesh 3.2聚类后的mesh Open3D点云算法汇总及实战案例汇总的目录地址&#xff1a; Open3D点云算法与点云深度学习案例汇总&#xff08;长期更新&#xff0…

开源 AI 智能名片 O2O 商城小程序:引入淘汰机制,激发社交电商新活力

摘要&#xff1a;本文深入探讨在社交电商领域中&#xff0c;开源 AI 智能名片 O2O 商城小程序如何通过设置淘汰机制&#xff0c;实现“良币驱逐劣币”&#xff0c;激励士气&#xff0c;为社交电商企业注入新的活力。通过分析缺乏淘汰机制的弊端以及设置淘汰机制的优势&#xff…

sickos 靶机渗透(wolf cms 渗透,squid 代理)

靶机信息 vulnhub靶机 主机发现 192.168.50.152 为靶机Ip ┌──(kali㉿kali)-[~/testSickos] └─$ sudo nmap -sn 192.168.50.0/24 [sudo] password for kali: Starting Nmap 7.94SVN ( https://nmap.org ) at 2024-08-30 09:56 CST Nmap scan report for 192.168.50.1 …

Linux 下查找运行中的 Java 进程及 .jar 文件位置

在 Linux 环境中&#xff0c;有时我们需要查找正在运行的 Java 进程以及它们对应的 .jar 文件位置。本文将介绍如何使用命令行工具来实现这一目标。 前言 在 Linux 系统中&#xff0c;我们经常需要监控正在运行的应用程序&#xff0c;特别是在出现问题时&#xff0c;了解应用程…

使用API有效率地管理Dynadot域名,添加账户中的联系人信息

前言 Dynadot是通过ICANN认证的域名注册商&#xff0c;自2002年成立以来&#xff0c;服务于全球108个国家和地区的客户&#xff0c;为数以万计的客户提供简洁&#xff0c;优惠&#xff0c;安全的域名注册以及管理服务。 Dynadot平台操作教程索引&#xff08;包括域名邮箱&…

Android 移除最近任务列表展示

Android 设置应用在最近任务列表不展示 android 中想要实现在最近任务列表中不展示,实现的方式很简单. 在Mainifests的MainActivity中添加: android:excludeFromRecents“true” 如下所示: <activity android:name".MainActivity"android:excludeFromRecents&…

Nvidia股价前景引投资者情绪波动:杠杆ETF数据透视市场风向

一、Nvidia业绩前瞻&#xff1a;看跌情绪升温 随着Nvidia&#xff08;NVDA&#xff09;季度业绩发布日的临近&#xff0c;市场中的投资者情绪似乎正经历着微妙的变化。据多家发行杠杆型交易所交易基金&#xff08;ETF&#xff09;的机构数据显示&#xff0c;投资者对看跌Nvidia…

【机器学习】支持向量机(SVM)的对偶性、核方法以及核技巧

引言 在SVM中&#xff0c;通过引入拉格朗日乘子&#xff0c;可以将原始问题转化为对偶问题&#xff0c;这种转换具有几个重要的优点&#xff0c;包括简化计算和提供更直观的优化问题的解释 文章目录 引言一、支持向量机&#xff08;SVM&#xff09;的对偶性1.1 原始问题&#x…

【知识库系列】MPR/多模态方向观察:图像视频与3D生成

多模态背后的backbone会长成什么样&#xff1f; 各种模态到梯度下降到最后会不会都差不多&#xff1f; Sora 是不是已经被追上了? 我们真的把视频数据都用好了吗&#xff1f; 知识库完整文档&#xff1a; MPR/多模态方向观察&#xff1a;图像视频与3D生成&#xff1a;https…

【Unity3D优化】优化内置shader的内存占用

一、性能分析 监控项目线上的崩溃情况&#xff0c;绝大多数崩溃都是因为低端设备&#xff0c;运行时内存不足&#xff0c;在运行过程中申请开辟新的内存时Crash了。因此&#xff0c;不定期继续优化内存占用。 性能分析首先主要靠Unity3d的Memory Profiler监控一些可追踪到的内存…

初识redis:学习Java客户端

Redis服务器在官网公开了使用的协议&#xff0c;叫做RESP。任何一个第三方都可以通过上述的协议&#xff0c;来实现出一个和redis服务器通信的客户端程序。 Java生态中&#xff0c;封装好了RESP协议&#xff0c;实现的redis客户端是有很多的&#xff0c;此处使用的是jedis&…

操作系统:实验三进程间通信实验

一、实验目的 1、了解什么是信号。 2、熟悉LINUX系统中进程之间软中断通信的基本原理。 3、理解进程的同步关系。 4、掌握用信号实现进程间的同步操作。 5、了解什么是管道。 6、熟悉UNIX/LINUX支持的管道通信方式。 二、实验内容 1、阅读下列程序&#xff0c;执行程序…

【js逆向专题】1.js语法基础

小节目标: 逆向工具准备熟悉 逆向的基本过程熟悉 JavaScript语法 一.前期准备 1. 技术准备 python基础语法爬虫基础功底JavaScript基础语法知识(可以自己偷偷的学习一些) 2. 工具准备 node解释器 官网地址:https://nodejs.org/zh-cn (推荐安装版本16版本) 把提供的软件…