第3章数据治理

3.1 简介

数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行）。数据治理职能指导其他数据管理职能如何执行。数据治理是在高层次上执行数据管理制度。
在这里插入图片描述

3.2 概念和活动

有效的数据管理，特别是在数据治理方面，取决于业务数据管理专员和数据管理专业人员的良好合作关系。
在这里插入图片描述

3.2.1 数据治理

完成数据治理的最有效方式需要通过有连续性的计划和持续改进的过程。每一个有效的数据治理方案都是独一无二的，需要考虑到不同的组织和文化问题，以及一些直接的数据管理挑战和机遇。
数据治理处于数据资产管理的核心位置。另一种描绘数据治理的方式是“管理屋顶图”，显示出数据治理位于其他数据管理职能之上的控制地位。
在这里插入图片描述

3.2.2 数据管理制度

数据管理制度是确保对数据资产进行有效控制和使用的业务职责问责制度。

3.2.3 数据治理和管理制度组织

数据治理指导其他每个数据管理职能。每一个数据治理项目都有略微不同的范围，但大体范围可能包括如下几个方面。

数据战略和策略——定义、沟通与监控。
数据标准和数据架构——评审、审批与监督。
法规遵从——沟通、监督与执行。
问题管理——识别、界定、上报与解决。
数据管理项目——赞助与监督。
数据资产估值——评估、审批与监督。
沟通——促进、提高意识与赞赏。

数据治理实质上是企业内部的“数据政体”。类似国家的政体一样，数据治理也有许多不同的模式——无政府状态、专政独裁以及两者之间的模式。有一些决策可以由单个管理者制定，没有什么风险。为了让所有利益相关者和支持者了解相关状况，共同决策和风险控制的需求驱动大多数组织采用了典型的数据治理模式。
数据管理专业人员负责管理数据政策、标准和规程。管理和实施数据架构，保护数据资产和利益相关者的利益，并提供数据管理服务。
特别地，与政府议政相类比可以得出3个原则：

（1）数据治理，包括立法职能(策略和标准)、司法职能(问题管理)和行政职能(管理、服务与合规）。

①数据管理制度和治理机构的职责包括设置策略、标准、架构和规程，以及解决数据相关问题。
②数据管理专业组织的职责包括：管理数据政策，标准和规程，管理和实施数据架构，保护数据资产和利益相关者的利益，以及提供数据管理服务。

（2）数据治理通常既在企业级运作，也在本地级运作。在大型组织中，数据治理可能还需要在各级之间运作，依企业规模而定。
（3）数据管理制度(立法和司法)和数据管理服务(执行)之间的职责分离为数据管理在一定程度上提供了检查和制衡机制。

通常情况下，有组织负责数据治理和数据管理制度，这些组织是跨职能的。组织及其立法和司法职责如下：

（1）数据治理委员会（Data Governance Council)，拥有在企业范围内对数据管理的权力。委员会中的高级数据管理专员是既代表着部门视角又代表企业视角的高层经理。
（2）数据管理制度指导委员会(Data Stewardship Program Steering Committee)，为数据治理委员会提供支持，类似于国会委员会，针对一些具体措施及其评审活动起草相关的政策和标准，并提交给数据治理委员会去评审和批准。
（3）数据管理制度团队（Data Stewardship Team)，是在某个确定的主题域内，协作完成数据管理制度活动的业务数据管理专员小组。数据管理制度团队汇集来自整个企业的领域专家，以确定数据名称、定义和数据质量要求，哪些业务规则应该是一致的，哪些必须在本地保持独特性等。数据管理制度团队应该是长期的、永久性的团队，定期组织开会，并与数据架构师紧密合作。

3.2.4数据管理服务组织

在IT部门的数据管理专业人员需向一个或多个数据管理服务（DMS)组织汇报工作。在许多企业中，可能有一个集中的DMS组织；而在另外一些企业中，可能有多个分散的小组承担DMS组织的工作。有的企业既有本地DMS组织，也有一个集中的组织。集中式的DMS组织有时也被称为数据管理卓越中心（Center of Excellence,COE）。

在DMS组织中的数据管理专业人员可能包括数据架构师、数据分析师、数据建模师、数据质量分析师、数据库管理员、数据安全管理员、元数据管理员、数据模型管理员、数据仓库架构师、数据整合架构师和商业情报分析师。这些组织也可能包括数据整合开发人员和分析报表开发人员，但他们通常和其他开发人员一起在应用程序开发组织中。分散管理的组织可能只包括部分的角色。所有组织中的数据管理专业人员组成一个数据管理专业团体，他们和数据管理专员一起，组成了数据管理利益共同体（Community of Interest，COI)。

3.2.5数据管理执行官

没有什么可以替代首席信息官(CIO)和专职数据管理执行官的领导力，来指导数据管理职能和促进数据管理项目。富有远见和积极的领导力是有效数据管理成功的关键因素。

数据管理执行官负责领导数据管理职能，是CIO在信息管理方面的得力助手。数据管理执行官直接向CIO报告，负责协调数据管理、数据管理制度和数据治理工作。由于CIO的职责范围广泛，CIO需要一个人来专门负责管理数据和信息资产管理。

数据管理服务组织及其工作人员应当直接或间接地向数据管理执行官汇报。数据管理执行官负责数据管理专业工作人员的配备、技能开发、承包商管理、预算和资源分配、管理度量指标、数据管理专员招募、跨业务和IT组织的协作以及支持数据管理所需的组织和文化变革管理。数据管理执行官与负责应用程序开发、基础设施/运营和其他IT职能的领导紧密协同工作。

数据管理执行官负责实施数据治理委员会的决策。他们充当数据治理委员会的运营协调员，与首席数据管理专员紧密合作，维护组织数据战略并监督数据管理项目。

3.2.6 数据治理办公室

数据治理办公室的目的就是为兼职的业务数据管理制度职责组织提供全职的支持工作。
在这里插入图片描述

3.3 数据治理活动

3.3.1 数据战略

数据战略是保持、提高数据质量、完整性、安全性和存取的计划。与企业目标相结合，利用信息达到竞争优势。所以数据战略必须对业务战略中固有的数据需求进行理解，通过这些数据需求驱动组织的数据战略。数据战略是制定数据架构的决策依据，同时数据架构也支持数据战略的落地，同时指导其他决策。

数据战略一般是在CIO和数据管理执行官的指导下，由数据治理委员会制定和管理，其他高级管理人员可以保留对数据战略的决定权，通过共享权限与其他相关方保持良好的合作关系（跨职能合作）。

数据治理的可交付成果：

数据管理项目章程：总体愿景、商业案例、目标、指导原则、成功的衡量标准、关键因素以及已识别的风险等。
数据管理范围说明：目的和目标规划时间，角色、组织和领导者的目标责任。
数据管理的实施路线图：识别具体项目群、项目、任务分配和交付里程碑。

3.3.2 数据政策

数据政策是对数据治理基本规则的描述，这些规则贯穿数据和信息的整个生命周期。数据政策是基础性、全面性和业务性的描述，体现了什么可以做，什么不可以做。与之相对应的数据标准更详细，体现的是如何做。所以数据政策应该简单直接。

制定数据政策时涉及到的内容：

数据建模和其他软件开发生命周期内的数据开发活动；
开发和使用数据架构；
数据质量预期，角色和职责（包括元数据的质量）；
数据安全，包括密级划分策略、知识产权策略、个人数据隐私策略、通用数据访问和使用策略以及外部各方数据访问策略；
数据库恢复和数据保留；
存取和使用外部来源的数据；
共享内部和外部数据；
数据仓库和商务智能策略；
非结构化数据策略（电子文档和物理档案）；
数据政策必须有效沟通，监督、执行，并定期重新评估。一般由数据管理专业人员起草，数据管理专员和管理层评审并完善，数据治理委员会进行终审、修订、采纳数据政策。数据治理委员会也可以授权其他组织来执行这些工作。

3.3.3 数据架构

数据架构涉及两方面内容：数据模型和其他数据架构相关内容，包括数据技术架构、数据整合架构、数据仓库和商务智能架构、元数据架构，以及信息内容管理架构和企业分类法。

数据架构由数据治理委员会发起并批准。数据治理委员会也可以将这项职责授权给数据架构指导委员会。

3.3.4 数据标准和规程

数据标准（准则），是数据管理过程中的一系列标准和要求，也包括每个数据管理职能的规程标准。数据标准通常由数据管理专业人员起草，数据治理委员会评审、批准和通过，也可以授权给数据标准指导委员会。

数据管理规程是一些形成文件的方法、技术和完成特定活动或任务的后续步骤。规程文件由数据管理专业人员起草，由数据标准指导委员会评审。

不同组织间的数据标准和规程文件差异可能很大，所以必须切合组织要求，且需要有效沟通、监督、执行，并定期重新评估。

数据标准和规程的内容：

数据建模和数据架构标准，包括命名规范、定义标准、标准域、标准缩写等；
采集、维护和整合的标准业务和技术元数据；
数据模型管理准则和规程；
元数据整合和使用规程；
标准数据库恢复和业务连续性、数据库性能、数据保存和外部数据采集；
数据安全标准和规程；
参考数据管理控制规程；
匹配/合并和数据清理标准及规程；
商务智能标准及规程；
企业内容管理标准及规程，包括企业分类法的使用，对法律取证和档案、电子邮件保留、对电子签名、报告格式标准、报告分发方式等的支持；

3.3.5 法律遵从

数据治理组织与其他业务和技术的领导一起工作，以找到满足法规遵从性问题的最佳答案：

法规是如何相关的？为什么这对我们很重要?
我们如何解释该法规？该法规需要什么样的企业策略和规程？
我们遵从了吗？我们如何遵从呢?
我们将来应如何遵从该法规？何时生效我们将何时遵从？
我们如何显示并证明已经遵从?
我们如何监控遵从情况？我们评审遵从的频率如何?
我们如何识别和报告未能遵从的情况？
我们如何管理和纠正未能遵从的情况？

3.3.6 问题管理

数据治理是识别、管理和解决几种不同类型数据相关问题的手段，包括：

数据质量问题。
数据命名和定义冲突。
业务规则冲突和澄清。
数据安全、隐私和保密问题。
未能遵从法规的问题。
策略、标准、架构和规程的不符合问题。
冲突的策略、标准、架构和规程。
数据和信息冲突中的相关者的利益。
组织和文化变革的管理问题。
关于数据治理规程和决策权的问题。
数据共享协议的谈判和评审。

数据问题升级路径：
在这里插入图片描述
数据治理需要一些控制机制和规程来满足如下需求：

识别、采集、记录和更新问题。
跟踪问题的状况。
记录利益相关者的观点和备选解决方案。
所有的观点都通过客观中立的讨论来传达。
上报问题至更高层次的权力部门。
确定、记录和沟通问题决议。

3.3.7 数据管理项目

数据管理项目（或项目群）旨在实施和改善整体的数据管理职能，为其他企业范围内的大型项目（如ERP、CRM等）提供支持：企业级信息整合的主蓝图（数据架构）；数据质量管理和主数据管理的方法；为商务智能提供策略、工具、结构和支持；为这些企业范围内的项目提供企业信息整合的方法。数据管理项目与其他项目一样，应遵循组织的项目管理标准（PMP）。

3.3.8 数据管理服务

数据管理服务组织可以正式定义和交付这些服务，服务应覆盖从高层次的治理协商、企业架构的定义和协调、信息需求分析、数据建模便利化、数据质量分析，到传统的数据库设计、实施和生产支持等服务。数据专业人员为组织提供数据管理服务（其职责定位决定）。数据治理委员会为数据服务提供评估和支持工作。

3.3.9 数据资产估值

数据资产估值涉及到无形资产和商誉。不同的组织使用的估计方式也不一样：一种是确定由数据使用所带来的的直接和间接商业利益；另一种是识别其损失的费用；再者，如果是提供的独家资产，可以估计市场会为该资产支付多少金额。

数据资产估值往往缺乏有效的信息（需要的信息和已有可靠信息的差距），可能带来商业损失。这实际上是一种商业责任，缩小和预防信息鸿沟可以为数据管理项目创造出商业价值和机会。

3.3.10 沟通与推广

数据管理专员和数据专业人员需要不断的沟通、推广数据和信息资产的重要性，以及数据管理职能的业务贡献。提高相关方对数据管理问题及其效益的意识和认可程度，这也是数据管理工作的每个岗位人员的长久责任。

可以使用如下方法来沟通关键信息：

为数据管理项目维护一个内部网站。
在企业内部其他网站发布公告。
在真实的公告栏上张贴发布公告。
出版简讯、通过纸质或电子邮件分发。
寻找机会在部门会议上作简短的信息和宣传公告。
为合适的受众介绍感兴趣的话题。
促进有兴趣的数据管理社区参与。
提前准备关键信息，以便在机会出现时随时对外沟通，同时帮助众人一致地沟通这些关键信息。

数据管理的沟通内容可以包括：

有关重要数据管理问题的执行信息。
数据管理战略和项目章程，包括愿景、效益、目标和原则。
数据管理实施路线图。
数据政策和数据标准。
数据管理制度的角色和职责说明。
问题识别和上报的规程。
描述关键概念的文件和演示系统，应可供下载。
数据治理组织的描述、成员和联系信息。
数据管理服务机构名录及联系方式。
数据管理专员和数据管理专业人员的个人简介。
项目新闻公告。
相关在线资源的描述和链接。
请求服务或获取问题的入口。