Hive的分区表分桶表

news2024/9/9 7:28:01

1.分区表：

是Hive中的一种表类型，通过将表中的数据划分为多个子集（分区），每个分区对应表中的某个特定的列值，可以提高查询性能和管理数据的效率。分区表的每个分区存储在单独的目录中，分区的定义基于表中的一个或多个列。使用分区表的主要目的是减少查询扫描的数据量，从而提高查询效率。

分区过细可能导致生成大量的小文件，影响HDFS性能和MapReduce任务的效率。需要定期进行小文件合并操作。

CREATE TABLE customer_data (
  customer_id STRING,
  name STRING,
  age INT,
  email STRING
)
PARTITIONED BY (city STRING)
STORED AS ORC;

select *
from customer_data;

-- 插入 New York 的数据
INSERT INTO TABLE customer_data PARTITION (city='New York')
VALUES
('1', 'John Doe', 30, 'john@example.com'),
('2', 'Jane Smith', 25, 'jane@example.com'),
('3', 'Bob Johnson', 40, 'bob@example.com');

-- 插入 Los Angeles 的数据
INSERT INTO TABLE customer_data PARTITION (city='Los Angeles')
VALUES
('4', 'Alice Brown', 32, 'alice@example.com'),
('5', 'Charlie Davis', 28, 'charlie@example.com');

-- 插入 Chicago 的数据
INSERT INTO TABLE customer_data PARTITION (city='Chicago')
VALUES
('6', 'Eve White', 45, 'eve@example.com'),
('7', 'Frank Black', 37, 'frank@example.com');

可以查看到hdfs上创建了三个目录，对应三个分区，使用带有where条件的select进行查询，会直接从对应的分区目录下查找数据，从而减少查询扫描的数据量，提高性能。

SELECT * FROM customer_data WHERE city='New York';

2.分桶表：

是Hive中的另一种表类型，通过对表中的数据进行散列分桶（hash bucket），可以进一步提高查询性能，尤其是在进行连接（join）和聚合（aggregation）操作时。分桶表将数据划分为固定数量的桶（bucket），每个桶存储在单独的文件中。
---------------------------------------------------分桶表的特点---------------------------------------------------
数据划分：根据一个或多个列的哈希值，将数据分布到固定数量的桶中。
文件存储：每个桶的数据存储在独立的文件中。
均匀分布：理想情况下，数据在所有桶中均匀分布，从而提高查询性能。

CREATE TABLE customer_data2 (
  customer_id STRING,
  name STRING,
  age INT,
  email STRING
)
CLUSTERED BY (customer_id) INTO 4 BUCKETS
STORED AS ORC;
-- 插入数据到分桶表
--通过这些步骤，我们创建了一个按 customer_id 列进行分桶的 Hive 表 customer_data，并插入了具体的数据。
INSERT INTO TABLE customer_data2 VALUES
('1', 'John Doe', 30, 'john@example.com'),
('2', 'Jane Smith', 25, 'jane@example.com'),
('3', 'Bob Johnson', 40, 'bob@example.com'),
('4', 'Alice Brown', 32, 'alice@example.com'),
('5', 'Charlie Davis', 28, 'charlie@example.com'),
('6', 'Eve White', 45, 'eve@example.com'),
('7', 'Frank Black', 37, 'frank@example.com'),
('8', 'Grace Green', 22, 'grace@example.com');

select *
from customer_data2;

通过查看hdfs上的路径我们可以看到这些数据会按照对应列的hash值分到不同的桶中