【华为数据之道学习笔记】2-建立企业级数据综合治理体系

news2024/11/30 1:53:10
        数据作为一种新的生产要素,在企业构筑竞争优势的过程中起着重要作用,企业应将数据作为一种战略资产进行管理。数据从业务中产生,在IT系统中承载,要对数据进行有效治理,需要业务充分参与,IT系统确保遵从,这是一个非常复杂的系统工程。
         华为公司经过十多年的实践证明,只有构筑一套企业级的数据综合治理体系,才能确保关键数据资产有清晰的业务管理责任,IT建设有稳定的原则和依据,作业人员有规范的流程和指导;当面临争议时,有裁决机构和升级处理机制;治理过程所需的人才、组织、预算有充足的保障。综合上述因素,最终建立有效的数据治理环境,数据的质量和安全得到保障,数据的价值才能真正发挥出来。

2.1 建立公司级的数据治理政策

          数据治理政策是华为数据治理的顶层设计,该政策在华为公司EMT(经营管理团队)汇报通过后,由总裁签发,该政策明确了数据工作在华为公司治理体系中的地位,体现了公司管理层对数据工作重要性的统一认知。

2.1.1 华为数据管理总纲

          华为数据管理总纲明确了数据治理最基本的原则,包括信息架构、数据产生、数据应用及数据质量的职责和分工等,确保数据治理环境的有效构建。
(1)信息架构管理原则
          第一条:建立企业级信息架构,统一数据语言。
          第二条:所有变革项目须遵从数据管控要求。对于不遵从管控要求的变革项目,数据管控组织拥有一票否决权。
          第三条:应用系统设计和开发应遵从企业级信息架构。关键应用系统必须通过应用系统认证。
(2)数据产生管理原则
          第一条:数据规划对齐业务战略,业务战略规划必须包含关键数据举措及其路标规划。
          第二条:公司数据Owner拥有公司数据管理的最高决策权,依托ESC(变革指导委员会)决策平台议事。各数据Owner承担数据工作路标、信息架构、数据责任机制和数据质量的管理责任。
          第三条:关键数据须定义单一数据源,一点录入,多点调用。数据质量问题应在源头解决。
          第四条:谁产生数据,谁对数据质量负责。数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。
(3)数据应用管理原则
          第一条:数据应在满足信息安全的前提下充分共享,数据产生部门不得拒绝跨领域的、合理的数据共享需求。
          第二条:信息披露、数据安全管理、数据保管和个人数据隐私保护等必须遵守法律法规和道德规范的要求。公司保护员工、客户、商业伙伴和其他可识别个体的数据。
(4)数据问责与奖惩管理原则
各数据Owner应建立数据问题回溯和奖惩机制。对不遵从信息架构或存在严重数据质量问题的责任人进行问责。

2.1.2 信息架构管理政策

          信息架构是公司统一的数据语言,是业务流打通、消除信息孤岛和提升业务流集成效率的关键要素。华为公司通过明确对信息架构的管理要求,规范信息架构的建设和遵从原则,使公司的信息资产得到有效管理和重用。
(1)管理信息架构的角色与职责
          第一条:公司数据Owner负责批准企业级信息架构,裁决重大信息架构问题和争议。
          第二条:各数据Owner负责其所辖数据的信息架构建设和维护,承接及落实公司的数据规划要求。
          第三条:公司的数据管理专业组织作为公司数据工作的支撑组织,负责组织信息架构的建设、维护、落地及遵从管控,负责协调跨领域的信息架构冲突。各领域各事业群(BG)数据管理专业组织协助完成本领域信息架构建设和维护工作。
          第四条:数据管控组织作为信息架构专业评审机构,确保信息架构的质量和集成。
(2)信息架构建设要求
          第一条:关键数据应被识别、分类、定义及标准化,数据的定义在公司范围内应唯一,数据标准制定要考虑跨流程要求。
          第二条:数据资产目录必须承接公司各业务环节的使用需求和报告分析最小粒度的要求。
          第三条:信息架构驱动应用架构设计,合理规划数据分布。
          第四条:应用系统数据库的设计和开发要遵循信息架构,减少数据冗余,实现接口标准化。
(3)信息架构遵从管控
        第一条:变革项目必须遵从已发布的信息架构,变革项目的交付件须包含信息架构内容。对现有架构的遵从是关键评审要素,对于不满足要求的变革项目,数据管控组织拥有一票否决权。
        第二条:业务流程设计必须遵从已发布的信息架构,在流程说明文件、操作指导书或模板类文件中体现。对于不满足要求的流程,不予发布。
        第三条:应用系统设计必须遵从已发布的信息架构。在应用架构交付件和应用系统设计交付件中体现。对于不满足要求的应用系统,不予上线。

2.1.3 数据源管理政策

        数据同源是华为数据治理的核心观点之一。 数据源是指业务上首次正式发布某项数据的应用系统,经过数据管理专业组织认证,作为唯一数据源头被周边系统调用。本政策通过明确华为公司在数据源建设和数据源使用方面的总体原则和要求,确保数据源头的统一,以及跨流程、跨系统数据的唯一性和一致性。
(1)数据源管理原则
        第一条:所有关键数据必须认证数据源。关键数据是指影响公司经营、运营报告的数据,在公司范围内统一发布。
        第二条:数据管理专业组织为关键数据指定源头,数据源必须遵从信息架构和标准,经信息架构专家委员会认证后成为数据源。
        第三条:所有关键数据仅能在数据源录入、修改,全流程共享,其他调用系统不能修改。下游环节发现的数据源质量问题,应当在数据源进行修正。
        第四条:所有应用系统必须从数据源或数据源镜像获取关键数据。
        第五条:数据Owner确保数据源的数据质量,对不符合数据质量标准的数据源,必须限期整改。
(2)数据源认证标准
        数据的源头通过认证成为数据源,在遵从公司相关政策和规定的前提下,还必须符合以下标准。
        第一条:数据源是在信息链上正式发布数据的第一个数据存储系统。
        第二条:数据源是某项数据唯一的录入点。
        第三条:数据源必须是数据维护最为及时、正确、完整的数据存储系统。
        第四条:数据源所在系统的性能和可用性应当满足其他调用系统的数据访问需求。

2.1.4 数据质量管理政策

        数据质量的持续提升是华为数据治理的核心目标。 通过制定数据质量管理政策,明确数据在创建、维护、应用过程中的规则及质量要求,确保数据真实可靠。
(1)数据质量管理职责及要求
        第一条:各数据Owner负责保障所辖数据的质量,承接公司数据Owner设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。
        第二条:公司全员在业务执行的过程中应确保业务记录满足数据质量要求。
        第三条:财经各级CFO组织应遵循职业道德准则,诚实记录和报告财经数据,承担财务监控和及时报告责任。
理专业支撑。
        第四条:公司各级数据管理专业组织为数据Owner提供数据质量管理专业支撑。
        第五条:内控组织应将数据质量管控要素的执行情况纳入SACA(Semi-Annual Control Assessment,半年度控制评估)评估范围,推动数据质量问题的闭环管理。
        第六条:内审部门作为独立机构,负责重大数据问题的审计和责任回溯。
(2)数据质量管理的业务规则和管理要求
        数据创建、维护、应用是数据生命周期管理的关键活动,应遵循以下规则及要求。
        第一条:流程建设应考虑数据质量要求,将数据的关键质量控制要素纳入关键控制点。
        第二条:数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。
        第三条:数据创建应确保录入正确,关键数据应进行复核或审批。录入、复核和审批人员应掌握数据质量要求才能上岗。
        第四条:对影响关键经营指标的数据造假行为(如伪造文档、提供与业务实质不符的信息等)采取零容忍态度。
        第五条:上游环节应保证数据的真实、完整并及时传递到下游环节。下游环节为核实数据质量问题可调阅所需的上游环节的数据。
        第六条:因外部原因频繁变化的基础数据(如汇率、税率等),数据Owner应及时维护并统一发布最新数据,各环节应适时刷新或引用。
        第七条:数据质量应持续进行度量。数据Owner应主动解决长期影响业务运营和经营管理的数据问题。
        第八条:报告与分析的层级和最小粒度应适度,能与最小业务信息单元相匹配。数据加工规则应相对稳定,报告加工过程可检视,数据可回溯、可解释。

2.2 融入变革、运营与IT的数据治理

        华为公司依托变革管理体系,进行流程、数据与应用系统建设,同时持续优化运营体系。数据从业务中产生,在IT系统中落地,决定了数据治理工作必须充分融入业务运营与IT系统建设中。

2.2.1 建立管理数据流程

        为了支撑企业数据资产从架构设计、质量管理到数据分析应用的全生命周期管理,需要在企业的流程架构中建立一个管理数据流程,明确数据管理的关键活动、角色,以及与周边组织的协作关系。华为将“管理数据”流程定位为“管理BT&IT”流程下的一个L2流程,下设“管理信息架构”“管理数据质量”“管理数据分析”3个子流程。

2.2.2 管理数据流程与管理变革项目、管理质量与运营之间的关系

        企业在运营过程中,能力的提升和架构的调整依托于变革项目和改进项目的实施。变革项目和改进项目需要交付业务解决方案、数据解决方案、IT解决方案,其中数据解决方案包含信息架构设计、数据质量度量、改进方案和数据分析方案。支撑数据解决方案的角色为数据经理,数据经理统筹管理信息架构工程师、数据治理工程师、数据分析师和数据科学家,共同完成项目数据解决方案的交付和验证。

2.2.3 通过变革体系和运营体系进行决策

        在华为的数据治理实践中,数据相关的重大决议由企业变革指导委员会决策,通过变革管理体系和流程运营体系实现落地。
        其中,信息架构的设计和变更分两层评审决策,在信息架构专家组进行专业评审,在企业架构委员会进行流程、数据与IT集成评审和争议裁决。

2.2.4 数据治理融入IT实施

        业务人员通过使用IT产品提供的功能和服务提升作业效率,因此,对业务数据的管理要求,必然要落实到IT产品的操作界面和数据库设计中,这样才能落实数据治理的要求。在华为的数据治理实践中,在IT产品团队中设置系统架构师和数据架构师角色,负责界面设计、数据库设计、数据集成方案设计,向上承接信息架构的设计要求。同时,在管理IT流程的设计规范中,明确界面的字段要遵从数据标准的定义,数据库表和字段的设计要承接信息架构的设计要求,从而达到数据治理融入IT实施流程的目标。

2.2.5 通过内控体系赋能数据治理

        要对华为这样的大型企业实施数据治理是件非常复杂的事情,涉及上千个业务对象、上百个变革和优化改进项目的协同,仅仅通过数据管理部门对各个项目和部门的培训、指导、人员支持,不足以确保公司的治理目标和要求有效地贯彻到位。因此,华为通过内控体系,每年实施SACA评估和数据专项内部审计,揭示数据治理过程的问题,确定改进目标和责任人,从而保证数据治理机制的有效运作。

2.3 建立业务负责制的数据管理责任体系

        业务即行为,行为即记录,记录即数据。华为公司的每一个数据,必须由对应的业务部门承担管理责任,且必须有唯一的数据Owner。 业务负责制的数据管理责任体系,是华为数据治理体系多年实 践经验的结晶,是确保体系发挥作用的基石。

2.3.1 任命数据Owner和数据管家

        华为按分层分级原则任命数据Owner,在公司层面设置公司数据Owner,在各业务领域设置领域数据Owner,这样既能确保公司数据工作统筹规划,也能同时兼顾各业务领域灵活多变的特征。公司数据Owner是公司数据战略的制定者、数据文化的营造者、数据资产的所有者和数据争议的裁决者,拥有公司数据日常管理的最高决策权。
        第一条:制定数据管理体系的愿景和路标。
        第二条:传播数据管理理念,营造数据文化氛围。
        第三条:建设和优化数据管理体系,包括组织与任命、授权与问责等。
        第四条:批准公司数据管理的政策和法规。
        第五条:裁决跨领域的数据及管理争议,解决跨领域的重大数据及管理问题。
        各级流程Owner就是该流程域的数据Owner,在公司数据Owner的统筹下负责所管理流程域的数据管理体系的建设和优化。各业务部门是执行规则,保证数据质量,进而推动规则优化的关键环节。通过主管机构正式任命各数据主题域和业务对象的数据Owner和数据管家,数据Owner的职责可以归纳为以下五条。
        第一条:负责数据管理体系建设。数据Owner要负责所辖领域的数据管理体系建设和优化,传播数据管理理念,营造数据文化氛围。
        第二条:负责信息架构建设。数据Owner要负责所辖领域的信息架构建设和维护,确保关键数据被识别、分类、定义及标准化,数据的定义在公司范围内唯一,数据标准制定要考虑跨流程要求。
        第三条:负责数据质量管理。数据Owner要负责保障所辖领域的数据质量,承接公司设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。
        第四条:负责数据底座和数据服务建设。数据Owner要负责所辖领域数据入湖,建设数据服务,满足公司各个部门对本领域数据的需求。
        第五条:负责数据争议裁决。数据Owner要建立数据问题回溯和奖惩机制,对所辖领域的数据问题及争议进行裁决,对不遵从信息架构或存在严重数据质量问题的责任人进行问责。
        数据管家是数据Owner的助手,是数据Owner在数据管理方面的具体执行者。

2.3.2 建立公司层面的数据管理组织

        为支撑公司实施数据治理,华为在企业范围内建立了一个公司级数据管理部,代表公司制定数据管理相关的政策、流程、方法和支撑系统,制定公司数据管理的战略规划和年度计划并监控落实。建立并维护企业信息架构,监控数据质量,披露重大数据问题,建立专业任职资格管理体系,提升企业数据管理能力,推动企业数据文化的建立和传播。
        为落实公司制定的数据管理目标,在各业务领域要建立实体化的数据管理专业组织,实线向GPO(各业务领域的全球流程Owner,通常是业务领域的最高主管)汇报,承接并落实GPO的数据管理责任;虚线向公司数据管理部汇报,遵从公司统一的数据管理政策、流程和规则要求。
        华为虚实结合的数据组织设置,是确保数据工作能充分融入业务,同时能够在应用系统中有效落地的关键。数据管理组织中各个组织的职责和分工如下所示。
        1)体系建设者
        第一条:负责数据管理的战略、规划、政策、规则的制定。
        第二条:负责数据管理体系建设。
        第三条:数据架构及核心数据资产管理。
        第四条:确保公司数据质量水平
        2)能力中心
        第一条:构建数据管理的方法、工具、平台。
        第二条:负责专业能力的开发和建设,包括数据架构、数据分析、信息管理、数据质量管理。
        3)业务的数据伙伴
        第一条:面向业务,提供数据解决方案,解决业务数据痛点。
        第二条:支撑业务数据需求。
        第三条:向业务提供标准化的主数据或基础数据服务。
        4)文化倡导者
        第一条:在公司范围建设追求卓越、“谁创建(录入)数据,谁对数据质量负责”的文化。
        第二条:用数据支撑业务决策的文化。
        同时,在数据工作的不同阶段,分场景组建了不同的虚拟数据团队,如信息架构建设工作组、数据质量执行组、元数据工作组等,以保障跨领域数据工作的有序开展。
        当面对数字化转型这一时代挑战时,华为建立的一整套数据治理体系,使得华为公司拥有从容面对的底气。2017年华为启动数字化转型后,也极大提升了华为的数据治理能力,在实践中形成了数据全生命周期的治理规范与方案。
        华为自2007年建立数据实体组织以来,走过了13年的数据治理历程。从最初的数据管理体系搭建,到目前主干业务流全场景覆盖,确保了各个业务流程产生的数据准确。华为数据治理一方面实现了业务运作效率的提升,一方面夯实了企业有效内控的基础,数据文化与价值深入人心。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1290769.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

若依项目前后端部署记录

前言 本文较乱,用于笔者记录项目部署过程,对于想学习若依项目部署的同学看文章可能会导致误导,建议读者多查资料,保持疑问并谨慎验证。 项目官方指导: 环境部署 | RuoYi 1、环境部署相关 JDK > 1.8 (推荐1.8版本…

TIMO后台管理系统 Shiro 反序列化漏洞复现

0x01 产品简介 TIMO 后台管理系统,基于SpringBoot2.0 + Spring Data Jpa + Thymeleaf + Shiro 开发的后台管理系统,采用分模块的方式便于开发和维护,支持前后台模块分别部署,目前支持的功能有:权限管理、部门管理、字典管理、日志记录、文件上传、代码生成等,为快速开发后…

记录 | vscode pyhton c++调试launch.json配置

下面提供 vscode 中 python 和 c 调试配置的 launch.json (好用,已用好几年,建议收藏) {// 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。// 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid830387&qu…

多人聊天UDP

服务端 package 多人聊天;import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStream; import java.io.PrintStream; import java.net.ServerSocket; import java.net.Socket; import java.util.ArrayList;…

神经网络 模型表示(一)

神经网络 模型表示 模型表示一 为了构建神经网络模型,我们需要首先思考大脑中的神经网络是怎样的?每一个神经元都可以被认为是一个处理单元/神经核(processing unit/Nucleus),它含有许多输入/树突(input/…

分布式分布式事务分布式锁分布式ID

目录 分布式分布式系统设计理念目标设计思路中心化去中心化 基本概念分布式与集群NginxRPC消息中间件(MQ)NoSQL(非关系型数据库) 分布式事务1 事务2 本地事务3 分布式事务4 本地事务VS分布式事务5 分布式事务场景6 CAP原理7 CAP组…

PACS源码,医学影像传输系统源码,全院级应用,支持放射、超声、内窥镜、病理等影像科室,且具备多种图像处理及三维重建功能

​三维智能PACS系统源码,医学影像采集传输系统源码 PACS系统以大型关系型数据库作为数据和图像的存储管理工具,以医疗影像的采集、传输、存储和诊断为核心,集影像采集传输与存储管理、影像诊断查询与报告管理、综合信息管理等综合应用于一体的…

Arrarys类的相关细节与知识点

Arrarys类在Java中存储了一些对数组操作的一些方法,比如Sort(),toString,BinarySearch(),copyof(),fill(),equals(),aList这几种方法,这里面最重要的可能就是Sort()方法,…

AWS 日志分析工具

当您的网络资源托管在 AWS 中时,需要定期监控您的 AWS CloudTrail 日志、Amazon S3 服务器日志和 AWS ELB 日志等云日志,以降低任何潜在的安全风险、识别严重错误并确保满足所有合规性法规。 什么是 Amazon S3 Amazon Simple Storage Service&#xff…

汽车网络安全--ISO\SAE 21434解析(二)

1.风险评估方法 书接上文,我们正式开始对车灯系统的TARA分析,首先回顾下整车关于车灯系统描述: 可以比较肯定的是,我们定义的item为车灯系统,因此可以看到上图中画出了item boundary;同时定义出运行环境,个人理解,这块就是为TARA分析提供足够的环境支撑,不管是直接还…

RabbitMQ创建新用户,并给用户添加角色和授权

一、进入容器 1.1 查看运行容器的详细信息 docker ps -a1.2 进入容器命令 docker exec -it 容器ID /bin/bash 或 docker exec -it 容器name bash 1.3 退出容器命令 exit 或者 CtrlQP 二、操作RabbitMQ 2.1 查看用户列表 注:先进入到容器内部 rabbitmqctl list_user…

区块链媒体:Web3.015个方法解析-华媒舍

Web3.0是第三代互联网的发展阶段,相较于Web2.0,它具有更高的可信性、安全性和去中心化特点。在Web3.0时代,推广变得更为重要,因为吸引用户和提高品牌知名度对于在竞争激烈的市场中脱颖而出至关重要。本文将揭秘推广Web3.0的15个秘…

短视频购物系统源码:构建创新购物体验的技术深度解析

短视频购物系统作为电商领域的新宠,其背后的源码实现是其成功的关键。本文将深入探讨短视频购物系统的核心技术和源码设计,以揭示其如何构建创新购物体验的技术奥秘。 1. 技术架构与框架选择 短视频购物系统的源码首先考虑的是其技术架构。常见的选择…

Hazelcast分布式内存网格(IMDG)基本使用,使用Hazelcast做分布式内存缓存

文章目录 一、Hazelcast简介1、Hazelcast概述2、Hazelcast之IMDG3、数据分区 二、Hazelcast配置1、maven坐标2、集群搭建(1)组播自动搭建 3、客户端4、集群分组5、其他配置 三、Hazelcast分布式数据结构1、IMap2、IQueue:队列3、MultiMap4、I…

JavaWeb(十)

一、JavaWeb概述 Web:全球广域网,也称为万维网(www),能够通过浏览器访问的网站。 JavaWeb:使用 Java技术进行web互联网开发。 二、JavaWeb 技术栈 2.1、B/S 架构 B/S 架构:Browser/Server,浏览器/服务器…

怎么查看Linux还有多少磁盘空间可用

2023年12月6日,周三晚上 要查看 Linux 系统上还有多少磁盘空间可用,可以使用 df 命令。该命令能够显示文件系统的磁盘空间使用情况。 在终端中输入以下命令即可查看磁盘空间使用情况: df -h其中,-h 参数用于以易读的方式显示磁盘…

unity 2d 入门 飞翔小鸟 飞翔动作动画描点(六)

1、创建文件夹新建动画控制器 右键->create->Animator controer 给图层创建动画 把创建后的动画控制器拖拽至对应图层 点击window->Animation->Animation 点击创建文件夹 把图片拖拽到这里面,就可以了 然后我们就看在player看到已经把动作挂上去 点…

算法通关村第十七关-白银挑战贪心算法高频题目

大家好我是苏麟 , 今天说说贪心算法的高频题目 . 大纲 区间问题判断区间是否重叠合并区间插入区间 区间问题 判断区间是否重叠 描述 : 给定一个会议时间安排的数组 intervals ,每个会议时间都会包括开始和结束的时间intervalsl[i] [start, end] ,请你…

思维模型 心理防御机制

本系列文章 主要是 分享 思维模型,涉及各个领域,重在提升认知。用幻想保护自己。 1 心理防御机制的应用 1.1 以下是心理防御机制在人际关系中的应用 1 心理防御机制的正向使用 小明在一次重要的演讲中犯了一个错误,他感到非常尴尬和失落。…

智能优化算法应用:基于非洲秃鹫算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于非洲秃鹫算法无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于非洲秃鹫算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.非洲秃鹫算法4.实验参数设定5.算法结果6.参考…