目录
- 简介
- 示例1：简单数组展开
- 示例2：展开嵌套数组
- 示例3：与其他函数结合使用
- 处理结构体数组
- 示例：展开包含结构体的数组
- 示例2：展开嵌套结构体数组
- 总结
简介
在处理SQL中的数组数据时，explode函数非常有用。它可以将数组中的每个元素单独提取出来，便于进一步处理。本文将通过几个具体示例，详细介绍如何在Spark SQL中使用explode函数展开数组。
示例1：简单数组展开
假设你有一个表students，包含学生的ID和他们喜欢的科目，这些科目存储在一个数组中：
CREATE TABLE students (
student_id INT,
favorite_subjects ARRAY<STRING>
);
INSERT INTO students VALUES
(1, ARRAY('Math', 'Science', 'History')),
(2, ARRAY('Literature', 'Math')),
(3, ARRAY('Art', 'Music'));
使用explode函数展开数组：
SELECT student_id, explode(favorite_subjects) AS subject
FROM students;
输出结果：
+-----------+-----------+
| student_id| subject|
+-----------+-----------+
| 1| Math|
| 1| Science|
| 1| History|
| 2| Literature|
| 2| Math|
| 3| Art|
| 3| Music|
+-----------+-----------+
示例2：展开嵌套数组
假设你有一个表orders，其中每个订单包含多个项目，每个项目有多个标签：
CREATE TABLE orders (
order_id INT,
items ARRAY<STRUCT<item_id: INT, tags: ARRAY<STRING>>>
);
INSERT INTO orders VALUES
(1, ARRAY(
NAMED_STRUCT('item_id', 101, 'tags', ARRAY('Electronics', 'Gadget')),
NAMED_STRUCT('item_id', 102, 'tags', ARRAY('Home', 'Kitchen'))
)),
(2, ARRAY(
NAMED_STRUCT('item_id', 201, 'tags', ARRAY('Furniture', 'Living Room')),
NAMED_STRUCT('item_id', 202, 'tags', ARRAY('Office', 'Supplies'))
));
使用explode函数展开嵌套数组：
SELECT order_id, item.item_id, tag
FROM orders
LATERAL VIEW explode(items) AS item
LATERAL VIEW explode(item.tags) AS tag;
输出结果：
+--------+--------+-------------+
|order_id|item_id | tag |
+--------+--------+-------------+
| 1| 101| Electronics |
| 1| 101| Gadget |
| 1| 102| Home |
| 1| 102| Kitchen |
| 2| 201| Furniture |
| 2| 201| Living Room |
| 2| 202| Office |
| 2| 202| Supplies |
+--------+--------+-------------+
示例3：与其他函数结合使用
假设你有一个表employees，其中包含员工ID和他们参加的培训课程的日期：
CREATE TABLE employees (
employee_id INT,
training_dates ARRAY<DATE>
);
INSERT INTO employees VALUES
(1, ARRAY('2024-01-01', '2024-03-15', '2024-06-10')),
(2, ARRAY('2024-02-20', '2024-05-05')),
(3, ARRAY('2024-04-12', '2024-07-19'));
使用explode函数展开数组，并结合其他函数处理数据：
SELECT employee_id, training_date, month(training_date) AS training_month
FROM employees
LATERAL VIEW explode(training_dates) AS training_date;
输出结果：
+------------+-------------+--------------+
|employee_id |training_date|training_month|
+------------+-------------+--------------+
| 1 | 2024-01-01| 1|
| 1 | 2024-03-15| 3|
| 1 | 2024-06-10| 6|
| 2 | 2024-02-20| 2|
| 2 | 2024-05-05| 5|
| 3 | 2024-04-12| 4|
| 3 | 2024-07-19| 7|
+------------+-------------+--------------+
处理结构体数组
如果你的数组包含结构体（struct），你可以在SQL中使用explode函数结合LATERAL VIEW来展开结构体数组，并提取结构体中的各个字段。
示例：展开包含结构体的数组
假设你有一个表orders，每个订单包含多个项目，每个项目由item_id和quantity组成，并且这些项目存储在一个数组中：
CREATE TABLE orders (
order_id INT,
items ARRAY<STRUCT<item_id: INT, quantity: INT>>
);
INSERT INTO orders VALUES
(1, ARRAY(
NAMED_STRUCT('item_id', 101, 'quantity', 2),
NAMED_STRUCT('item_id', 102, 'quantity', 1)
)),
(2, ARRAY(
NAMED_STRUCT('item_id', 201, 'quantity', 5),
NAMED_STRUCT('item_id', 202, 'quantity', 3)
));
使用explode函数结合LATERAL VIEW展开结构体数组并提取结构体中的各个字段：
SELECT order_id, item.item_id, item.quantity
FROM orders
LATERAL VIEW explode(items) AS item;
输出结果：
+--------+--------+--------+
|order_id|item_id |quantity|
+--------+--------+--------+
| 1| 101| 2|
| 1| 102| 1|
| 2| 201| 5|
| 2| 202| 3|
+--------+--------+--------+
示例2：展开嵌套结构体数组
假设你有一个表orders，每个订单包含多个项目，每个项目包含item_id、quantity和一个标签数组：
CREATE TABLE orders (
order_id INT,
items ARRAY<STRUCT<item_id: INT, quantity: INT, tags: ARRAY<STRING>>>
);
INSERT INTO orders VALUES
(1, ARRAY(
NAMED_STRUCT('item_id', 101, 'quantity', 2, 'tags', ARRAY('Electronics', 'Gadget')),
NAMED_STRUCT('item_id', 102, 'quantity', 1, 'tags', ARRAY('Home', 'Kitchen'))
)),
(2, ARRAY(
NAMED_STRUCT('item_id', 201, 'quantity', 5, 'tags', ARRAY('Furniture', 'Living Room')),
NAMED_STRUCT('item_id', 202, 'quantity', 3, 'tags', ARRAY('Office', 'Supplies'))
));
使用explode函数和LATERAL VIEW展开嵌套结构体数组，并提取结构体和嵌套数组中的各个字段：
SELECT order_id, item.item_id, item.quantity, tag
FROM orders
LATERAL VIEW explode(items) AS item
LATERAL VIEW explode(item.tags) AS tag;
输出结果：
+--------+--------+--------+-------------+
|order_id|item_id |quantity| tag |
+--------+--------+--------+-------------+
| 1| 101| 2| Electronics |
| 1| 101| 2| Gadget |
| 1| 102| 1| Home |
| 1| 102| 1| Kitchen |
| 2| 201| 5| Furniture |
| 2| 201| 5| Living Room |
| 2| 202| 3| Office |
| 2| 202| 3| Supplies |
+--------+--------+--------+-------------+
这些示例展示了如何在SQL中处理包含结构体的数组，并提取结构体中的多个字段。希望这些示例对你有所帮助！
总结
通过这些示例，可以快速掌握在SQL中使用explode函数展开数组的基本方法。
无论是处理简单数组，嵌套数组，还是包含结构体的数组，explode函数都能提供很大的便利。
