一、数据治理的内容
数据治理用于规范数据的生成以及使用,改进数据质量,对数据进行加工处理,提升数据价值。提供识别和度量数据质量能力、数据清洗转换能力、数据加工三个核心能力。
- 数据汇集:数据汇集是数据中台数据接入的入口,所有数据来自于业务系统、日志、文件、网络等,这些数据存储在不同的网络环境和存储平台,通过数据汇集工具可以将这些数据汇集到数据中台中。
- 数据开发(加工):数据开发可以通过一整套数据加工及管理工具,将数据进行清洗处理、模型定义、模型调度、数据处理任务调度。
- 数据规整管理:包括格式转换、字典转换、内容转换、任务管理、日志等。
- 数据质量管理:包括规则管理(准确性、完整性、唯一性、一致性、及时性、业务关联性等)、任务配置、检查报告。
- 数据服务体系:把数据变为一种服务能力,通过数据服务让数据参与到业务,数据服务体系是数据中台存在的价值所在。数据中台服务提供快速的服务生成能力以及服务的管控、鉴权、计量等功能。
- 数据安全与审计:用户及策略、数据权限等手段确保数据的安全性和用户隐私不被侵犯。
二、如何开展数据治理工作
建设通用的数据治理能力组件和平台组件,以便根据具体项目需求进行选择和组合,实现对数据资源的有效管理。针对当前的项