如何判断 Hive 表是内部表还是外部表

news2024/11/13 10:19:06

在使用 Apache Hive 进行大数据处理时，理解表的类型（内部表或外部表）对于数据管理和维护至关重要。本篇文章将详细介绍如何判断 Hive 表是内部表还是外部表，并提供具体的操作示例。

Hive 表的类型简介

在 Hive 中，表分为内部表（也称为管理表）和外部表。两者的主要区别在于数据的存储和管理方式：

内部表（Managed Table）：Hive 完全管理表的数据及元数据。当删除内部表时，Hive 会删除元数据和存储在 Hive 仓库中的数据文件。
外部表（External Table）：Hive 仅管理表的元数据，数据文件由用户自行管理。当删除外部表时，Hive 只删除元数据，不会删除数据文件。

了解表的类型对于数据的生命周期管理非常重要，特别是在删除表时，可能会影响到数据的存储。

判断表类型的方法

下面将介绍四种方法来判断 Hive 表是内部表还是外部表，并以示例表 example_db.example_table 为例。

方法一：使用 `DESCRIBE FORMATTED` 命令

步骤：

执行命令：

DESCRIBE FORMATTED example_db.example_table;

查看输出结果：
- 查找输出中的 Table Type 字段。
- 内部表 显示为 MANAGED_TABLE。
- 外部表 显示为 EXTERNAL_TABLE。

示例输出：

# Detailed Table Information
Database:               example_db
Owner:                  user_name
CreateTime:             Tue Oct 10 10:00:00 CST 2023
Table Type:             MANAGED_TABLE
...

方法二：使用 `SHOW CREATE TABLE` 命令

步骤：

执行命令：

SHOW CREATE TABLE example_db.example_table;

查看建表语句：

内部表：建表语句中 不包含 EXTERNAL 关键字。

CREATE TABLE `example_db.example_table` (
  ...
)

外部表：建表语句中包含 EXTERNAL 关键字。

CREATE EXTERNAL TABLE `example_db.example_table` (
  ...
)
LOCATION 'hdfs://path/to/data';

方法三：查看表的属性

步骤：

执行命令：

DESCRIBE EXTENDED example_db.example_table;

查看 Table Parameters：
- 查找输出中的 table parameters 部分。
- 如果存在 'EXTERNAL'='TRUE'，则为外部表。
- 如果不存在该参数或为 'EXTERNAL'='FALSE'，则为内部表。

示例：

# Detailed Table Information
...
Table Parameters:
    EXTERNAL                TRUE
    numFiles                15
    totalSize               204800
    ...

方法四：查看数据存储路径

步骤：

执行命令：

DESCRIBE EXTENDED example_db.example_table;

查看 Location 信息：
- 内部表：数据通常存储在 Hive 的默认仓库目录，例如：
```
hdfs://namenode:8020/user/hive/warehouse/example_db.db/example_table
```
- 外部表：数据存储在用户指定的 HDFS 路径，可能不在默认仓库目录下，例如：
```
hdfs://namenode:8020/data/external/example_table
```