Hive读写文件机制

1.SerDe是什么？

• SerDe是Hive中的一个概念，代表着“序列化/反序列化” （Serializer/Deserializer）。

• SerDe在Hive中是用来处理数据如何在Hive与底层存储系统（例如HDFS）之间进行转换的机制。

• 在Hive中，数据通常以某种特定的格式存储在文件中，如文本文件、Parquet文件、ORC文件等。

• SerDe允许Hive将数据在内存和文件之间进行转换，即将数据序列化为文件格式以便存储，或者从文件中读取数据并反序列化为内存中的数据结构以便查询。

• SerDe定义了如何将数据编码为字节流，并且在需要时将字节流解码为原始数据格式。它负责解释数据的结构，以便Hive能够理解文件中存储的数据。

• SerDe通常与Hive表的列进行关联，用于指定每列数据的序列化和反序列化方法。

• Hive提供了一些内置的SerDe，如TextSerDe用于处理文本数据，LazySimpleSerDe用于处理以行分隔符分隔的文本数据，AvroSerDe用于处理Avro格式的数据等。

• 此外，用户也可以编写自定义的SerDe以满足特定的数据格式要求。通过使用适当的SerDe，Hive能够与各种数据格式进行交互，从而实现数据的存储、查询和分析。

2.SerDe语法

在Hive中，定义SerDe通常是通过创建表时的ROW FORMAT子句来实现的。

CREATE [EXTERNAL] TABLE table_name (
    column1 data_type,
    column2 data_type,
    ...
)
[PARTITIONED BY (partition_column1 data_type, partition_column2 data_type, ...)]
[CLUSTERED BY (clustered_column_name1, clustered_column_name2, ...) INTO num_buckets BUCKETS]
[ROW FORMAT SERDE 'serde_class_name' [WITH SERDEPROPERTIES (...)]]
[STORED AS file_format]
[LOCATION 'hdfs_path']
[TBLPROPERTIES (...)];

关于SerDe的语法部分为：

• ROW FORMAT SERDE 'serde_class_name': 指定使用的SerDe类名。这里serde_class_name是SerDe的实现类名。
• [WITH SERDEPROPERTIES (...)]: 可选项，用于指定SerDe的属性。这些属性可以根据具体的SerDe进行设置，比如"field.delim"='\t'表示字段的分隔符是制表符。

示例：

CREATE TABLE my_table (
    id INT,
    name STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
    "field.delim" = ","
)
STORED AS TEXTFILE;

在这个示例中，创建了一个名为my_table的表，包含两列id和name。使用内置的LazySimpleSerDe来处理文本数据，设置字段分隔符为逗号。表的数据将以文本文件的形式存储。