摘要
本文主要介绍在 Datavines平台已有规则不能满足需求的情况下,如何通过自定义SQL规则来实现基于业务特性的数据质量检查。
规则介绍
自定义聚合SQL规则是 Datavines 平台中内置的一个灵活的规则,该规则允许用户通过编写SQL的方式来实现想要的数据质量检查逻辑,满足用户的特别需求。
使用方法
选择规则
1、在规则下拉框中选择 自定义聚合SQL
规则
2、选择数据库和表
3、在自定义聚合SQL输入框中输入SQL语句,比如
select count(1) as actual_value from ${table}
注意事项
1、目前自定义聚合SQL
规则只能输出一个实际值,也就是说每次只能检查一个自定义指标。
2、SQL 里面在聚合方法后一定要加上 as actual_value
,否则执行引擎将无法正确读取实际值。
3、from ${table}
的作用是自动将你选择的表填充到SQL中。
4、自定义聚合SQL规则无法输出错误数据。
以上就是自定义聚合SQL规则的用法和注意事项,抓紧用起来吧
Datavines 的目标是成为更好的数据可观测性领域的开源项目,为更多的用户去解决元数据管理和数据质量管理中遇到的问题。在此我们真诚欢迎更多的贡献者参与到社区建设中来,和我们一起成长,携手共建更好的社区。
项目地址: https://github.com/datavane/datavines
问题和建议: https://github.com/datavane/datavines/issues
贡献代码: https://github.com/datavane/datavines/pulls