姜春宇:数据治理五大发展趋势

news2024/11/18 23:48:37

4月27日在2023数据治理新实践峰会上,大数据技术标准推进委员会副主席姜春宇先生以《数据治理发展趋势》为主题为大家分享了数据的价值和最新发展趋势。
以下为姜春宇先生的演讲实录,为了方便阅读,小编做了一些字句修改和文本优化。

大家上午好!非常荣幸受邀参加2023数据治理新实践峰会,也非常的荣幸作为开场嘉宾,为大家分享国内数据治理最新的发展趋势。

数据已经成为战略性资源

「数据」领域已经热了好多年,2012年左右大数据技术刚刚被引入中国,数据技术热潮开启;到2015年国家发布《促进大数据发展行动纲要》标志着数据上升到国家战略;2016年国家发布大数据发展十三五规划,大数据首次作为一个产业有了独立的五年发展规划;2022年“数据二十条”发布,数据正在成为生产要素,需要构建新的体制机制来释放其价值。

2022年6月份《中共中央国务院发布了构建数据基础制度更好发挥数据要素作用的意见》,简称“数据二十条”,对数据要素未来的基础制度建设做了大量的描述,包括数据产权制度、交易流通制度、收益分配制度、安全治理制度等。《意见》的核心目的是提高数据要素供给数量和质量,充分保障数据处理者使用数据和获得收益的权利,充分实现数据要素价值、促进全体人民共享数字经济发展红利。

从企业层面来看,很多企业都在向「数据驱动型企业」转型,其中大部分企业基本实现了业务在线化,积累了大量的数据,现在最迫切的命题就是如何构建「数据驱动型企业」,让智能化的决策和数据驱动的文化深入到每个企业的小细胞。我们认为数据驱动的企业有六大特征,分别是全面用数、实时分析、数据随时可用、柔性管控、内外贯通、闭环运营。

数据治理的三大阶段

数据治理是实现数据要素市场建设与数据驱动型企业的基础。近期,华为的孟晚舟女士在公开场合提到数字化转型数据治理是基础:只有通过对数据科学治理,数据在企业内部的流动才具有意义,不同维度的数据汇聚在一起,才能创造新的价值。数据治理的目的是数据的可得、可用、好用,释放数据价值,最终实现数据驱动的企业运营。

在这里插入图片描述

数据治理的发展大概经历了三个阶段。

第一个阶段就是信息化时代。

在这个阶段数据还没有被大量、广泛地存储下来,数据治理主要是帮助企业规范地建设IT系统,能够让IT系统之间实现信息共享,这是信息化时代的一个特点。

第二个阶段就是大数据时代。

2010年以后,我们进入大数据时代,随着摩尔定律的发展,硬件性能不断提升,使得我们拥有廉价的海量数据存储和计算能力,同时移动互联网带来了海量用户行为数据,这些数据能够被存储、计算和挖掘,应用于互联网广告、个性化推荐、智能风控等领域,数据具备了商业价值我们才进入了大数据时代。大数据时代,数据治理面临规模大、时效性高、数据类型复杂等挑战,要求具备自动化、敏捷、多元的数据治理能力。全面数据资产的管理、洞察、挖掘是大数据时代的特点。

第三个阶段就是数据要素时代。

2020年以后,我们正向数据要素时代演化,其中的逻辑就是数据在广泛的流通和互联,数据不光是在企业内部要流动,在不同企业之间也要流动起来,这种流动的需求是普遍的。数据要素时代数据治理的体系相较于之前也是不一样的,因为不光是一个企业内部数据治理的问题,还涉及到不同组织机构之间的数据治理问题。其中任何一个主体如果有安全、合规和治理的短板,那么数据就会流走,所以在数据要素的时代,数据治理的挑战在于多主体数据流动的需求。

在这里插入图片描述

关于数据治理的理论,从最早的DMBook到DMM成熟度到国内的数据管理能力成熟度模型,不断涌现各种知识框架。DMBook偏知识体系,是大家进入数据治理行业必学的一门课;而DMM成熟度模型借鉴了软件成熟度模型的形式,用于评价企业在实践过程中数据管理的能力。

在这里插入图片描述

数据治理五大发展趋势

接下来重点谈谈数据治理趋势,我自己总结了以下五个趋势:

发展趋势1:DCMM贯标推动各行业数据治理能力建设

第一个趋势就是我们看到了国内的数据治理方法论正在形成,DCMM是我国数据管理领域首个国家标准,2014年立项,2018年发布,2020年开始在全国范围内进行贯标评估工作。DCMM标准定义了8个能力域、28个能力子域、445 个条款、 5个能力等级。国家层面对DCMM的推动是不遗余力的,“数据二十条”提出了加快推进数据管理能力成熟度国家标准及数据要素管理规范贯彻执行工作。工信部大数据产业规划(2021-2025)》也提出了完善数据管理能力评估体系,推动《数据管理能力成熟度评估模型》和数据安全管理等国家标准贯标,持续提升企事业单位数据管理水平。

在这里插入图片描述
2022年是中国数据治理的爆发式增长的元年。2022年各评估机构共完成了 1000多家企业的DCMM的贯标评估工作。在各个地方政府的大力支持下,数据管理和数据治理的理念贯彻到了各行各业,DCMM认知度大大提升,数据治理的需求变热。

在这里插入图片描述

发展趋势2:数据治理亟需融入到数据开发之中

我们看到头部的企业如大型银行、大型运营商等已经搭建了较为强大的数据治理体系,但普遍存在数据治理和数据开发两张皮的问题,如何将治理能力嵌入到数据开发流程中,加速数据开发的效率,打通团队间的协作壁垒,形成数据开发、治理一体的数据生产流水线成为头部企业的迫切需求。

在这里插入图片描述
我们正在探索通过DataOps(数据研发运营一体化)来构建高效的协同机制,打造开发治理一体化的流水线,建立精细化的数据运营体系。DataOps是数据开发的一个新范式,将敏捷、精益等理念融入到数据开发里,通过对数据相关人员、工具和流程的重新组织,打破协作壁垒,构建集开发、治理、运营于一体的自动化数据流水线,不断提高数据产品交付效率与质量,实现高质量数字化发展。这是我们对它的一个定义。

信通院将逐步推动DataOps这个理念在国内实践和落地。DataOps的流水线分为四个域,分别是研发、交付、运维和价值。它有三个比较关键的保障职能,分别是组织管理、系统工具和安全管控。下图所示是Dataops的一个框架图,我们正在推动这套框架在各个企业落地,头部机构已经开始有意识的利用DataOps思想来解决自身数据生产力不足的问题。
在这里插入图片描述
DataOps标准与实践体系正在形成,2022年底我们就完成了第一个标准:研发管理的标准体系,然后也在农行、工行、浙江移动、江苏移动进行了落地实践;2023年我们计划完成交付、运维、技术工具三个标准的制定;2024年将会完成价值运营和组织管理两个标准。最终会形成7个标准,我们会陆续完善标准体系并逐步推动DataOps这套理念在中国进行落地。

在这里插入图片描述

发展趋势3:数据治理向数据资产管理跃进

光谈数据治理已经远远不够,我们了解到一些数据基础比较好的企业已经开始探索数据资产化的工作。我们从2017年开始提出数据资产这个概念,推行数据资产在中国的发展,我们发布的《数据资产管理实践白皮书 》已经更新至6.0版本。数据不光会产生一堆问题,还会产生很多的价值,这些价值怎么去在企业内外部进行衡量和体现?这里提到了数据资源化和数据资产化两个阶段。我们现在做的很多数据治理工作,其实就把原始数据能够作为数据资源治理好,那么下一步面临的就是数据价值的释放,也就是数据资产化。数据资产化有资产的估值、运营和流通三大活动,这也在白皮书里面有定义。

在这里插入图片描述

关于估值和运营,我们都有做一些相关的工作。我们看到业界其实有不少的机构在探索估值,大多都是基于Gartner的信息价值评估模型来延伸的,一共有三种评估方法:收益、成本、市场,这三种评估方法其实都有一些问题。我们认为数据资产估值需要有个框架和一些核心指标,我们正在定义估值框架和指标。有两种估值方法:货币法和非货币化。我们认为企业围绕数字化场景来进行非货币化的价值评估是比较现实的,当然完成非货币化评估和价值衡量以后,未来可以进行货币化的转化,这是两步走的关系。此外,我们正在和央国企合作相应的一些课题,当然他们的数据基础比较好,基本汇聚了全域的数据,数据质量较好,数据的应用场景比较多。所以,我们正在基于数据应用场景来去梳理数据在场景里面发挥的价值。
在这里插入图片描述
领先的企业把数据汇聚起来,并在业务端产生了不少价值,但这个价值是远远不够。因为业务对数据的感知不深,所以我们推出数据资产运营这个概念。数据团队要主动出击,要向业务来讲清楚它有什么价值。数据运营包括了资产规划,资产引入、资产推广、资产使用、资产优化这五个阶段。现在企业的数据团队普遍要做很多的工作,包括已经超出数据本身那些技术性的工作。原因无它,因为让业务来去理解这些数据内容是很难的,为了成效,数据团队必须多干一点,尽管最终的目标是让业务自己来用数、取数,但是中间必须有一个过程,那就是数据团队首先要拥抱业务,不光需要把数据整理好、汇聚好,加工好,还需要告诉业务如何使用数据,要更好地帮助业务做数据价值的释放。

在这里插入图片描述
发展趋势4:数据安全治理建设需求迫切

国家《数据安全法》要求企业建设数据安全治理体系,以应对各种数据安全风险。这个要求普遍适用于数据治理水平较高的先进企业,也就是说,规模以上的企业都必须建设体系化的数据安全治理能力。我们也正在推出数据安全治理能力评估框架,这套评估框架不仅定义了数据安全治理的概念和框架,同时也告诉大家应该如何去一步一步构建数据安全治理体系。

在这里插入图片描述
目前,我们已经在包括平安银行、浦发银行、百度、蚂蚁等先进企业率先落地,在这个过程中,我们发现这些企业至少已经做了五年以上的数据安全相关的工作。企业应该要重视起来数据安全治理,需要从安全的规划、生命周期、基础安全等去全面评估数据安全的整体能力并通过体系化的方法论来落地。

此外,数据安全治理建设路径逐渐明晰,我们在《数据安全治理实践指南2.0》提出了“规划—建设—运营—优化”的实践路径。治理规划可以做现状分析、方案规划和方案论证;治理建设是围绕数据的生命周期场景和业务运行场景来梳理进而落地。治理运营是需要做好风险的防范、内控预警和应急处理;治理优化就是内外部持续的评估和优化。

在这里插入图片描述

发展趋势5:数据治理的智能化

数据治理的智能化也是一个很重要的发展趋势,尤其是以 ChatGPT、图智能等为代表的新一代人工智能技术,可以在数据治理中发挥巨大的效应。一是能够提升数据治理的效率,减少大量的手工工作,比如分类分级;二是能增强元数据管理能力,提升血缘分析、影响分析等能力。

另外,ChatGPT 对整个数据治理产生的影响,短期内我判断是利好数据治理的,因为它需要大量的数据语料,数据治理恰好是提升数据语料的一个必备环节。

总结

最后来总结一下,数据治理是数据价值释放的前提条件。

数据治理面临五大发展趋势。

趋势一:我们国内的方法论已经逐渐形成,通过DCMM评估来去推动整个数据治理体系的建设,尤其是大型企业,利用DCMM来引起上层领导的重视。

趋势二:数据治理与数据开发要融合在一起,不能是两张皮,否则整个效能和应用价值会打折扣。DataOps是数据生产模式的创新,各行业均有一定实践,标准化工作正在进行。

趋势三:数据资产管理是数据治理2.0阶段,数据估值和价值运营成为数字化转型的“指南针”。

趋势四:数据安全成为数据利用的基本底线,体系化的数据安全治理能力对我们的企业应对各类数据风险是非常必要的,也是一个保障。

最后一个趋势是智能化,提升数据治理效率,促进数据治理价值化,未来数据治理演化的一个非常重要的趋势。

以上是数据治理趋势全部的分享!感谢大家的聆听!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/563061.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何在 OpenSUSE 上安装 VirtualBox 7?

VirtualBox 是一款开源的虚拟化软件,允许用户在单个计算机上运行多个操作系统。本文将详细介绍如何在 OpenSUSE 上安装 VirtualBox 7。以下是安装过程的步骤: 步骤一:下载 VirtualBox 7 首先,我们需要下载 VirtualBox 7 的安装包…

从火灾演习中认识火灾以及火灾发生时如何确保消防设备的正常运行

安科瑞虞佳豪 火光、浓烟、热浪……5月10日,在宁波高新区光华路119号一座废弃厂房内,一场特殊的“火灾”正在发生! 据悉,宁波市消防部门组织开展了一场真人真火的火灾实验。目的是为了让人们直观感受火灾的危险,进一…

vcruntime140_1.dll丢失怎样修复,推荐4个vcruntime140_1.dll丢失的修复方法

vcruntime140_1.dll文件是Microsoft Visual C Redistributable for Visual Studio 2015运行库的一部分,它是一个用于支持Visual C构建的应用程序的系统文件。这个文件包含了在运行C程序时所需要的函数和类库,主要负责向应用程序提供运行时环境。如果电脑…

布隆过滤器和布谷鸟过滤器

过滤器使用场景: 比如有如下几个需求: 1.原本有10亿个号码,现在又来了10万个号码,要快速准确判断这10万个号码是否在10亿个号码库中?   解决办法一:将10亿个号码存入数据库中,进行数据库查询&…

听说小破站新上一批“高质量”的视频,于是怀揣着“学习”的目的,我用Python将他们全部采集了下来

事情是这样的,昨晚室友悄咪咪的拉着我去他的电脑,说带我欣赏一点高雅的作品,于是这一坐下,便是一晚上… 作为一个乐于分享的博主,本来我是决定直接分享的,但是转念一想,授人以鱼不如授人以渔&am…

如何看待 30 岁学云计算,转行做云计算运维这件事?

作为IT培训行业的从业人员,30岁学云计算转行不算什么的,还有38岁想学云计算的呢!最主要的是个人兴趣和意向,当然这个年龄阶段还会考虑的一点就是目前的收入与家庭支出的问题。不过这位38岁的“大龄”学员学习的主要目的不是说去找…

不是吧,交换机坏了你还只会这么排查?

又见面了,我的网工朋友 上次给你分享了交换机和路由器的对接上网配置案例,还记得吗? 今天这篇,和你聊聊交换机接口故障。 接口故障这件事,对咱们网工来说其实算是家常便饭了。 工作到现在,你复盘一下&a…

卷积、相关、匹配滤波、脉冲压缩以及模糊函数

文章目录 【 1. 卷积 】连续卷积离散卷积 【 2.相关 】自相关互相关 【 3.匹配滤波 】滤波器模型有色噪声 时滤波器的特性白噪声 时滤波器的特性 【 4.脉冲压缩】时域脉冲压缩频域脉冲压缩 【 5.模糊函数 】【 6.四者之间的关系 】相关和卷积之间的关系 【 7.参考文献 】 【 1.…

day10 - 使用canny算子进行人像勾勒

本期主要介绍canny算子,了解canny算子的流程以及各个流程的原理和实现。 ​ 完成本期内容,你可以: 了解canny算子的流程和应用 若要运行案例代码,你需要有: 操作系统:Ubuntu 16 以上 或者 Windows10 工…

Kubernetes(k8s)集群安装部署

一. 环境说明 名称IP系统配置主控节点192.168.136.11Rocky9.22核4G工作节点1192.168.136.12Rocky9.22核4G工作节点2192.168.136.13Rocky9.22核4G 二. 系统先决条件配置(所有节点) 2.1 关闭防火墙 防火墙可能会导致重复的防火墙规则和破坏kube-proxy,…

如何编写一个测试方案?---她是这样做的!

1、背景 工作上的项目规范要求:测试排期大于3D的项目要编写测试方案。调研了部分同学的情况,在此流程规范要求的基础上,对于需求的逻辑复杂或技术实现复杂等情况也会准备测试方案。 我个人主要负责OMS系统测试,它是整个履约流转中…

HTTPS的加密技术——中间人攻击

HTTPS的加密技术 文章目录 HTTPS的加密技术认识HTTPS对称加密和非对称加密①只使用对称加密方式②只使用非对称加密③两种加密算法联合使用🧛‍♂️中间人攻击📖引入证书总结https加密技术🐱‍👤 http和 https之间相差一个字母&a…

基于springboot+mybatis-plus+mysql+vue在线考试系统

基于springbootMybatis-plusmysqlvue在线考试系统 一、系统介绍1.系统主要功能:2.涉及技术框架:3.本项目所用环境: 二、功能展示三、其它系统四、获取源码 一、系统介绍 1.系统主要功能: 权限控制 本系统存在三个不同的角色&…

Linux 提权前信息搜集

linux前期提权也是要信息搜集 linux信息搜集可以使用软件进行,这里写四个脚本 (我们拿到webshell或者普通用户时,上传第三方软件的目录应该是Linux的tmp目录,tmp目录是临时目录,每次linux重启后该目录内容就会清除,而…

Dubbo源码篇05---SPI神秘的面纱---使用篇

Dubbo源码篇05---SPI神秘的面纱---使用篇 引言Jdk提供的SPI机制基本流程缺陷 Dubbo的SPI机制实例演示 Dubbo VS JDK SPI 小结Adaptive自适应扩展点demo演示如何做到动态适配的 按条件批量激活扩展点小结 引言 SPI全称是Service Provider Interface,其中服务提供者定…

全面提升测试效率,一键实现多文件、多Sheet的WEB自动化测试!

目录 前言: 设计目标 框架结构 实现 总结 前言: 在WEB开发中,自动化测试框架是一个不可或缺的组件。封装一个既能支持多文件,又能支持多Sheet的WEB自动化框架,将会极大地提升我们的开发效率。下面我将会详细介绍…

GPT-4平替版:MiniGPT-4,支持图像理解和对话,现已开源

项目地址:https://minigpt-4.github.io/ 论文链接:https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf 代码:https://github.com/Vision-CAIR/MiniGPT-4 视频:https://youtu.be/__tftoxpBAw 数据集&#xff…

el-dialog 关闭再打开后窗口内容不刷新问题

页面中有增加和编辑两个功能,由于弹窗样式都是一样的,于是将它拆分成一个子组件,父组件把状态传给子组件,子组件根据这个状态判断是做编辑操作还是新增操作. 编辑 添加 问题一:但是这样遇到了一个问题,在编辑时,只有第一次点编辑时,回显的数据才能正确显…

大学生就业工资低,想转行IT?0基础培训班学习半年云计算出来可以就业吗?挑战高薪职业!

大学生就业工资低,想转行IT?0基础学习云计算可以就业吗? 大学生就业工资低,想转行IT?0基础培训班学习半年云计算出来可以就业吗?这是一个很常见的问题,也是很多大学毕业生关心的话题。根据我了解…

探索2023年海外网红营销合作方式:提升品牌曝光度的创新策略

随着社交媒体的崛起和用户对网红的追捧,海外网红营销已经成为品牌推广的不可忽视的一部分。在2023年,有7种最火爆的海外网红营销合作方式备受瞩目。本文Nox聚星将和大家一起来详细了解这7种方式,为品牌提供更多营销灵感和策略。 1、跨平台合作…