企业数字化管理中，数据治理到底怎么“治”

news2024/11/16 10:20:32

随着信息化、数字化的理念、技术及其应用在社会的方方面面进行扩散，数据的规模和丰富程度已经达到了一个新的高度，所以当下如何更进一步利用好数据，充分发挥数据的价值，将其真正变为高质量的数据资产成为了企业要面对的重要问题，这也就是数据治理项目如此火热的原因。

数据治理是一个庞大的工程，数据开发人员要积极介入整个数据的上下游流程，理解多个系统的内在逻辑，才能建设出高质量的数仓，并打造数据驱动型的业务。

数据治理的目标

虽然数据治理很复杂，在企业中的实际成功率也并不高，但大多数企业的数据治理目标其实很简单，就是不断提升数据质量，规范数据生产、存储、处理、分析等数据生命周期的过程，让企业能够更方便的利用数据，将数据转化为信息和知识，形成企业的重要资产。

业务数据 - 派可数据商业智能BI可视化分析平台

所以说，企业进行数据治理不需要考虑太多数据治理有什么意义，而是应该转而思考规划数据治理项目应该有什么样的目标，从而实现什么样的企业发展，给整个数据治理项目划出一个方向。

这样一来企业进行数据治理整个项目就可以转化为一个个目标，企业在将数据价值化的过程中，影响数据价值的主要原因是数据质量过低，导致数据分析结果可信度低、准确性差，所以提高数据质量是大多数企业共同的目标。

如何数据治理

（一）上报治理

作为数据的源头，上报的质量直接关系着数仓的质量。有没有、对不对、准不准是上报发展过程中依次要解决的问题。解决这个矛盾的方向是标准化采集上报工具和简单可执行的上报规范流程。有条件的业务可以开发自己的采集上报工具（SDK），完成上报时机、采集参数位置的统一，将开发人员从每个埋点的重复开发工作中解放出来。若场景比较复杂，很难用工具进行标准化，或者数据开发人力不足，无法维持上报工具的开发与维护，可以根据自己的业务特征，制定一套简单可执行的上报规范。其中简单可执行是设计的核心，一定要让开发人员一看就明白该怎做，否则在规范设计人员看来很简单的东西，推广到几十上百人时就会变成一场理解成本灾难，那么理解的统一又成了一个问题。

企业数据 - 派可数据商业智能BI可视化分析平台

（二）参数治理

大型业务的上报参数，可能已有上千个之多。原因在于不同场景下的运营和产品团队可能是独立的，就导致了即使2个参数的相似度高达90%，但上报的字段名却是不同的。

这就是上报混乱的另一个问题：参数膨胀。对于存量业务，从熟悉业务参数到找到相似参数并进行整合，上下游配合修改，是一个比较长且比较耗费人力的操作，看到收益前的投入会非常大，但如果评估出来的收益更大，那么就需要决策者有足够的定力，去持续投入和推动。更加优雅的方式应该是前端框架的功能模块化，相同的模块具有相同的功能和上报参数命名。

（三）指标治理

指标治理来到了数仓层面，同样是由于缺乏统一规范，导致相似度很高的指标，以不同的名称在多张表中呈现，给下游的使用带来疑惑。

解决的方向之一是建立统一指标库，新增指标需要进行评审才能加入指标库并进行开发。更健康的方式应该是加深数仓和下游团队彼此的理解和信任，有些比较定制化的业务指标，可以由业务方先行计算并验证其可行性，不需要从一开始就固化在数仓层面；经过验证并确认有效的，数仓人员要想办法将其融合进现有数仓。

指标 - 派可数据商业智能BI可视化分析平台

（四）流程治理

在业务已经比较成熟的数据团队内，规范化数据开发流程可以一定程度上避免野蛮开发，提高迭代效率。DataOps是一种协作数据管理实践，将数据开发、管理、分析、运营融为一体的方法论，通过更好的协作和自动化来改善组织对于数据的使用。

（五）成本优化

因为一些历史原因，有些数据表和计算任务的使用率很低或者高度重复，造成了计算和存储资源的浪费，就像每次搬家的时候往往能发现一大堆从来没用过的东西。

1、计算资源优化

定期回顾数仓计算任务，合并类似的计算任务。

基础流水的解析，在实时任务保障稳定的前提下，离线任务可以不用例行化执行，仅作为实时任务的备份。

合理设置计算任务的所需资源，避免任务申请远超于实际需求的计算资源。

适当地用视图代替实际计算。

大屏看板 - 派可数据商业智能BI可视化分析平台

2、存储资源优化

根据数据表下游使用情况，合理设置生命周期。

针对下游数据使用的时效性，合理选择存储引擎。

及时下线数仓中已失效的字段。

适当地使用视图代替实体表。

（六）价值循环

数据治理的最终目标是更大程度地发挥数据价值，融入数据价值循环中促进正反馈。其中数据团队的话语权是能够进行深度数据治理的先决条件，数据治理的成果一般在两三年后才能慢慢显现，属于长期价值投入，如果没有一定的基础是无法坚持下去的。数据治理的结果是数据质量的提升，进而可以在部分场景下产生业务决策，促进收入的增长。在这种正向驱动的作用下，数据的价值进一步凸显，数据团队也有更多的资源来继续提升数据质量和服务水平。