GoogleSQL：SQL 中的 Pipe 语法

news2024/11/19 19:35:10

这些是我根据论文 SQL Has Problems 编写的笔记。我们可以修复它们：SQL 中的 Pipe 语法

TL博士

SQL 长期以来一直是结构化数据处理的主导语言，通过本文，GoogleSQL 团队引入了一种新的管道结构化数据流语法，该语法显著提高了 SQL 的可读性、可扩展性和易用性。

该方法涉及向 SQL 添加管道运算符（|>），这基本上将复杂的查询分解为多个步骤，使其更易于理解和维护。此语法使操作可以按任意顺序任意组合，从而大大简化了复杂查询并提高了可读性。我发现有趣的三件事是：

管道语法，使 SQL 更加线性、可扩展和可读
“prefix 属性”，该属性允许运行部分查询以查看中间结果，从而帮助调试
实验性调试运算符（ASSERT, LOG, DESCRIBE)

三件有趣的事情

继续上述 TL博士的讨论，以下是我在这篇论文中发现的三个有趣的事情，以及关于每个事情的一些快速细节。

注释和快速说明

SQL 是结构化数据处理的事实标准，经受住了 50+ 年的时间考验。Google 提出了对 SQL 的扩展，并引入了管道结构的数据流语法，以提高其可用性和可扩展性。

标准 SQL 的基本问题

SQL 的严格子句（SELECT ... FROM ... WHERE ... GROUP BY）不反映实际的数据流，该数据流从子句中的表扫描开始。这种结构还使使用新功能扩展语言的过程复杂化，这种脱节会导致几个问题，例如

SQL 使用重复子句（WHERE, HAVING, QUALIFY ）来解决严格的子句顺序
许多简单的操作需要子查询，导致代码嵌套深度，难以阅读
SQL 的结构使跟踪逻辑变得困难，尤其是在大型查询中
添加新的查询操作具有挑战性，并且过度依赖保留关键字

管道语法解决方案

在传统 SQL 中，查询通常编写在单个整体语句中。GoogleSQL 的新管道语法支持顺序方法，其中一个操作的输出作为下一个操作的输入“管道化”。这种方法很直观，也与数据的处理方式一致。

使用 GoogleSQL 的管道语法，查询可以将零个或多个管道运算符作为后缀，用“|>”分隔。下面是一个使用管道语法的 SQL 查询的快速示例

SELECT column1, column2
FROM table1
WHERE condition1
|> JOIN table2 ON table1.id = table2.id
|> SELECT column3
|> ORDER BY column3 DESC;

每个管道操作符都是一个一元关系操作，接收一个表作为输入并产生一个表作为输出。SQL中的中间结果是具有一个或多个列和零条或多条记录的表。这种结构确保了可组合性，并允许操作符以任意顺序、任意次数应用。每个管道操作符都是自包含的，仅看到其输入表和参数。这种隔离性使得管道操作符天然具备可组合性。

扩展

管道语法极大地提高了SQL通过表值函数（Table-Valued Functions，TVFs）的可扩展性。CALL 操作符允许直接调用 TVFs，而无需使用嵌套子查询。以下是一个快速示例：

SELECT '<text>' AS input, 7 AS rating
|> CALL ML.PREDICT(MODEL `my_project.nnlm_embedding_model`)
|> CALL ML.PREDICT(MODEL `my_project.imdb_classifier`)

内置运算符扩展

管道语法简化了新增内置操作符的添加。例如，PIVOT 操作符在标准 SQL 中实现得较为笨拙，但在管道语法中成为了一个自然而然的可组合管道操作符：

FROM customer JOIN nation ON c_nationkey = n_nationkey
|> SELECT n_name, c_acctbal AS bal, c_mktsegment
|> PIVOT(SUM(bal) AS bal FOR n_name IN ('PERU', 'KENYA', 'JAPAN'))