论文：Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task
⭐⭐⭐⭐⭐
EMNLP 2018, arXiv:1809.08887
Dataset: spider
GitHub: github.com/taoyds/spider
一、论文速读
本文提出了 Text2SQL 方向的一个经典数据集 —— Spider 1.0，其难度远大于 WikiSQL，包含了 200 个数据库，覆盖了 138 个不同的领域，平均每个数据库由 27.6 个 columns 和 8.8 个外键，总共由 10,181 个 questions 以及 5,693 个对应的复杂 SQL 查询构成。
1.1 数据集的特点
数据集由 11 名计算机学生构建，在做数据标注时，确保了以下三个方面：
- SQL 模式的覆盖：每个数据库的示例覆盖了常见的 SQL 模式，包含多列的 SELECT 和 aggregation、WHERE、GROUP BY、HAVING、ORDER BY、LIMIT、JOIN、UNION、LIKE 等等，且每个 table 都至少出现在一个 query 中。
- SQL 一致性：有些 question 可能有多种 SQL 查询写法，该工作设计了标注协议，当存在多个等效 query 时，所有标注者都选择相同的 SQL 查询模式。
- 问题清晰化：不会创建模糊有歧义的问题，比如“最受欢迎”这种没有明确定义的问题；也没有需要数据库之外的常识才能回答的问题，因为这脱离了“语义解析”的训练目标。
标注工作可以借助 sqlite-web 来打开数据库并查看。
1.2 任务的定义
模型将被在不同的复杂 SQL、复杂数据库、复杂 domains 上被测试，要求模型能够对 question 理解语义，并对新的数据库有泛化能力。
任务不评估模型生成 value 的能力，因为这个 benchmark 侧重评估预测出正确的 SQL 结构和 columns，数据集中也被排除了需要常识推理和数学计算的 querys。
论文工作还对数据库的 table names 和 column names 做了清洗，让这些名字清晰且自成一体。比如将 stu id 转为 student id
二、评价指标
本论文给出了三个 metrics：Component Matching、Exact Matching 和 Execution Accuracy。
2.1 Component Matching
Component Matching 衡量的是 prediction 和 ground-truth SQL 的不同 component 的平均精确匹配效果。
SQL 中每个 keywords 视为一种 component，并将其分解为含有多个 sub-component 的 bag。比如 SELECT avg(col1), max(col2), min(col1) 被分解为一个 bag：(avg, min, col1), (max, col2)，然后查看 prediction 和 ground-truth SQL 的 bag 是否相同。
keywords 指的是包括所有不带 column name 和 operatiors 的 SQL 关键字，如 SELECT、WHERE 等。
被分解后，每一个 component 被分解为一个 bag，这个 bag 中的每一个元素对应一个 sub-component，这个 sub-component 也是被分解为一个 bag。
为了报告一个 model 在每个 component 上的整体表现，我们会计算每个 exact set matching 的 F1 score。
2.2 Exact Matching
Exact Matching 衡量的是两个 SQL 是否整体上等同。按照上一节的描述，只有当两个 SQL 在所有 component 上都精确匹配的情况下，这个样本预测才算做正确。
2.3 Execution Acc
Execution Acc 比较的两个 SQL 执行的结果集是否相同。
- Exact Matching 可能会产生 false negative
- Execution Acc 可能会产生 false positive
三、数据集示例
根据 SQL component 数量、conditions 等等，将 SQL queries 分成了四个难度：easy、medium、hard 和 extra hard。
下图展示了四个 level 的示例：
当时论文测试了已有的几个 Text2SQL 模型，也发现都没有表现很好，也说明了 Spider 数据集的难度较高。
四、实验结论
论文使用 SQLNet、TypeSQL 等模型测试了一波，发现以下整体的结论：
- 所有模型的整体表现都很低，说明 Spider 具有挑战性，尤其是 WHERE 子句的预测，因为 WHERE 子句更有可能有多个 columns 和 operators。
- 目前的模型在 test split 上拓展到新数据库时都表现较差，这说明 Spider 为模型泛化到新的数据库提出了挑战。
- 数据库的模式复杂性也会影响模型的性能，实验也发现，随着数据库的外键数量增多，表现也会下降。
五、代码
GitHub 首页中给出了 example 的格式，也给出了用于评估的脚本 evaluation.py。
