Garbage In, Garbage Out
数据质量关注的是数据的健康，数据健康和人的健康很相似，人的健康会影响人的生活品质，同样数据的健康会影响数据的使用品质。为了保证我们健康，我们需要养成良好的生活习惯，膳食平衡，注意锻炼，定期体检，使我的的身体健康。同样数据也需要如此，我们需要好的开发规范，执行数据标准，定期数据质量评估，采取干预保持数据质量长青。
正像我们需要医院一样，我们需要一个组织去管理数据质量，对症下药，用专业的方法、工具和相应的制度保障提高数据质量。
LeanData给出了数据质量的定义：
The degree to which data meets the requirements of the processes it is used in.
从定义来看数据质量是一个主观的、相对的，数据质量就是衡量数据满足使用需求的程度，什么是高质量的数据，完全能够满足用户需求的就是高质量的数据。我们再深入推导，对于不同用户对于相同的数据就有不同的评判，例如，对于一条客户信息，销售部门和采购部门就有可能给出不同的数据质量评价。走到这我们基本上了解了什么是数据质量的本质了，当我们做数据质量工作时，要有的放矢，需求是什么，质量痛点是什么，有的放矢，事半功倍。
数据质量管理方法
数据治理管理体系没有成熟的方法论，但是产品和服务的质量管理体系已经非常成熟。国际上有ISO9001、六西格玛等，大道相通，这些管理体系同样可以应用于数据质量管理，有人参照六西格玛搞了一个数据质量6步模型，有很好的借鉴意义，该模型如下：
- 定义阶段（Definition）：从业务出发，搞清楚业务需求，业务目标，我们能通过数据质量的提高能获得什么，做这项工作的意义与价值，说直接点就是做好立项报告。
- 评估阶段（Assessment）：进行数据质量现状调研，从下面讲到的数据质量维度上多层级进行量化评估，分析对哪些业务造成不利影响。
- 分析阶段（Analysis）：分析当前数据现状和目标之间的差距，分析问题原因，制定解决方案。
- 提高阶段（Improvement）：基于上一阶段的分析，制定实施计划，相应的改善措施包括制度、组织、工具、方法。
- 实施阶段（Implementation）：依照上一阶段的实施计划进行实施。
- 控制阶段（Control）：建立长效机制，进行管控，持续优化改进。
数据质量维度
谈到数据质量，就必须了解评价数据质量的维度。正如《一起聊聊数据治理》中说的那样，数据治理成功的关键有一条是以绩效考核推动数据质量管理,因此有必要清楚的认识数据质量应该从哪些维度上评价，DAMA提出了数据质量的六个核心维度，见下图：
- 完整性（Completeness）：完整性是指数据信息信息是否存在缺失的状况，常见数据表中行的缺失，字段的缺失，码值的缺失。比如虽然整体pv是正确的，但在某个维度下，只有部分打点，这就是存在完整性的问题。不完整的数据所能借鉴的价值就会大大降低，也是数据质量问题最为基础和常见的问题。常见统计sql：count( not null) / count(*)
- 有效性Validity ：有效性一般指范围有效性、日期有效性、形式有效性等主要体现在数据记录的规范和数据是否符合逻辑。规范指的是，一项数据存在它特定的格式，如：手机号码一定是11位的数字；逻辑指的是，多项数据间存在着固定的逻辑关系，如：PV一定是大于等于UV的。
- 准确性（Accuracy）：准确性是指数据记录的信息是否存在异常或错误。最为常见的数据准确性错误就如乱码。其次，异常的大或者小的数据也是不符合条件的数据。准确性可能存在于个别记录，也可能存在于整个数据集，例如数量级记录错误。这类错误则可以使用最大值和最小值的统计量去审核。
- 及时性（Timeliness）：及时性是指数据从开始处理到可以查看的时间间隔。及时性对于数据分析本身的影响并不大，但如果数据建立的时间过长，就无法及时进行数据分析，可能导致分析得出的结论失去了借鉴意义。比如：实时业务大盘数据，及时反映业务关键指标的情况，暴露业务指标的异常波动，机动响应特殊突发情况都需要数据的及时更新和产出。某些情况下，数据并不是单纯为了分析用而是线上策略用，数据没有及时产出会影响线上效果。
- 一致性（Consistency）：一致性是指相同含义信息在多业务多场景是否具有一致性，一般情况下是指多源数据的数据模型不一致，例如：命名不一致、数据结构不一致、约束规则不一致。数据实体不一致，例如：数据编码不一致、命名及含义不一致、分类层次不一致、生命周期不一致等。
- 唯一性（Uniqueness）： 在数据集中数据不重复的程度，唯一数据条数，和总数据条数的百分比。比如 count(distinct business key) / count(*)，一般用来验证主键唯一性。
数据质量检查项
数据评估阶段通过数据报告来完成，利用应用统计方法返回一组关于数据的标准特征，该特征在各个数据治理维度展开，全面对数据在每个检查项上进行量化的统计，按照质量评价体系进行打分，初步评估报告的目的是获得对数据和环境的了解，并对数据的状况进行描述。
| 编号 | 数据质量维度 | 检查项 | 检查项说明 |
|---|---|---|---|
| 1 | 完整性 | 空值或字符串检查 | 主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面 |
| 2 | 完整性 | 外键缺失检查 | 主外键完整性检查 |
| 3 | 完整性 | 外关联约束检查 | 例如楼盘表中的城市必须在城市维表中存在 |
| 4 | 有效性 | 格式规范检查 | 如日期格式检查、身份证格式、 |
| 5 | 有效性 | 数值范围检查 | 值域约束，如：楼栋高度在0-100之间 |
| 6 | 有效性 | 枚举值检查 | 业务规则定义约束 |
| 7 | 准确性 | 总和检查 | 根据参考值来判断合理性 |
| 8 | 准确性 | 平均值检查 | 根据参考值来判断合理性 |
| 9 | 准确性 | 最大值检查 | 根据参考值来判断合理性 |
| 10 | 准确性 | 最小值检查 | 根据参考值来判断合理性 |
| 11 | 及时性 | 更新频率检查 | 数据提取、传送、处理、装载、展现的周期 |
| 12 | 及时性 | 时间差检查 | 最新数据与当前时间的差值 |
| 13 | 一致性 | 单表等值一致检查 | 如上刊率=上刊时长/可用上刊时长 |
| 14 | 一致性 | 一致约束检查 | 如合同的结束日期不能早于开始日期 |
| 15 | 一致性 | 跨表等值检查 | 如：同一指标在多表中存在，需要保持数据值一致 |
| 16 | 一致性 | 同步一致检查 | 数据在迁移或者加工前后是否一致 |
| 17 | 唯一性 | 主键唯一检查 | 主键唯一 |
| 18 | 唯一性 | 符合字段唯一检查 | 联合主键唯一 |
数据质量监控工具介绍
目前市面上有一些开源的监控工具如Amazon Deequ，Apache Griffin, 但这些工具大多只有监控功能，没有数据问题处理功能，一般数据工程师可以按照本文描述的方法进行监控规则设置，数据问题处理以及数据监控报表展示。
-
Deequ Git：https://github.com/awslabs/deequ
Deequ Introduction: https://aws.amazon.com/blogs/big-data/test-data-quality-at-scale-with-deequ/
-
Griffin Git: https://github.com/apache/griffin
Griffin Introduction: https://griffin.apache.org/docs/quickstart.html
参考文章
- 数据质量漫谈
- Here is how to start with data quality
- 如何做好数据质量管理？
- 数据质量管理：6个维度，50个检查项！
- 大数据之数据质量检查
原文： 数据质量：一起聊聊数据质量
