数据治理之路读书笔记

news2024/11/15 13:56:29

数据治理之路

一、数据治理的国际实践

  • 美国——探索构建数据资产化管理体系(奥巴马2012《数字政府战略》、2020年《美国国防部数据战略》)

  • 欧盟——从数据价值链到单一数据市场(2013《欧洲数据价值链战略》、2015《欧洲数字单一市场战略》、2017《建立欧洲数字经济》、2018《迈向共同的欧洲数据空间》、英国2015《信息资产登记》)

  • 新加坡——挖掘数据价值,促进数字经济发展(2018《数字经济行动框架》、2019《面向数据共享的数据价值评估指南》)

根据国际资产管理体系标准ISO 55000:2014对资产和资产管理术语的定义,可类比定义:数据资产是对组织具有潜在或实际价值的数据;数据资产管理是组织以数据资产价值实现为目标的组织协调活动。

信息资产是指由公共部门创造,并与该部门有利益关系的信息单元。信息资产清单是依某种标准进行分类的信息资产的登记凭证。

在这里插入图片描述

英国数字连续性要求

1、数据管理生态体系

数据治理机构、数据共享体系、数据安全和隐私

在这里插入图片描述

新加坡数据治理相关机构

新加坡制定了数据跨境传输要求,禁止向数据保护水平低于新加坡的国家或地区转移数据,但在特殊情况下,企业可以申请获得个人数据保护委员会的豁免。

二、数据治理的贵州实践

在这里插入图片描述

贵州数据治理大事记

在这里插入图片描述

数据治理体系参考框架

在这里插入图片描述

数据治理体系参考框架下的贵州实践

全省政务应用系统和数据上云,摸清数据家底,盘活数据资源,让数据“可有”;

依托贵州省数据共享交换平台,推动数据汇集应用,让数据“可用”;

建设政务数据调度中心,探索数据调度机制,让数据“可控”;

建立完善政务数据溯源安全管理模型,让数据“可溯”;

构建全景可视化系统,为管理者提供大屏态势感知与综合分析支持,让数据“可视”。

1、贵州数据资产运营实践

贵州数据资产运营的三大特征:

  • 数据资产化管理

    在实践中通过“一云一网一平台”“开发利用云平台”“数据商城”等设施打造了数据资产从供给、流通到交易的全流程运营体系,实现了专业化、流程化的数据资产管理。

    “一云一网一平台”构建了覆盖省、市、县、乡、村五级的电子政务网络,实现了省域内政务数据共享交换和应用平台的互联互通,平台汇聚了全省政务数据资源,成为数据资产的供给来源。

    “开发利用云平台”打造了数字供应链,解决了数据流通过程中存在的安全、隐私问题,让数据的流通“可用不可见,可算不可拥,用途可控可计量”,实现了从数据申请、数据供给、数据清洗加工到数据开发利用的全流程可信流通,成为数据资产的流通平台。

    “数据商城”通过汇聚来自政务网、互联网端的数据产品服务(政务数据产品服务、行业/企业数据产品服务等),形成有效可用的服务,发布至数据产品超市,并为不同市场主体提供个性化服务的注册、发布与获取,为数据资产上市流通与交易提供了渠道,成为数据资产的交易平台。

  • 要素多元化自治

    政府是贵州数据资产运营中主要的数据供给者,通过规范化整合政府数据、企业数据和个人数据等数据要素,打破各层面的数据要素壁垒,实现数据的共享汇聚,并为数据运营者提供数据资源。

    云上贵州公司是贵州数据资产运营中的运营者,通过打造安全的数据要素加工环境和数据产业生态的构建,以市场需求为基础对数据要素进行整合和加工,开发出各种类型的数据产品和服务,以适用不同的应用场景;同时推进数据资产的价值评估,促进数据产品和服务的上市交易。

    生态企业是当前云上贵州数据产品和服务的主要消费者,通过“数据商城”购买数据产品和服务。

    政府相关部门是数据资产运营过程中的监管者,主要对数据资产运营过程中的安全、价格和质量进行监管。

  • 省域一体化市场

    主要表现在政策法规、标准规范、行政管理、可信流通技术这四个方面。

2、数据资产运营框架

数据资产运营就是数据从生产要素转变为资产甚至资本的过程,也即数据要素市场培育的过程。数据要素充分流动,才能最大限度地激发其价值和活力。数据要素市场是以数据要素价值的开发和利用为目的、围绕数据要素全生命周期环节所形成的市场。

在这里插入图片描述

数据资产运营(数据要素市场培育)框架
1、数据要素化

数据要素化也即数据资源化,是数据资产化的前提和基础,该阶段工作的主要任务是理顺机制体制,明确各方权责,保证高质量数据在政府各部门之间有序共享,为下一步数据资源的开放和开发利用奠定基础。

2、数据资产化

数据资产化阶段是数据从资源转变成资产的阶段,主要任务是搭建一个安全可控的数据资源加工环境,并把数据从资源变成产品和服务。在这个过程中技术和平台支撑是关键。

平台是数据资产运营的支撑,是确保数据可信流通的屏障。建议将业务流程、平台架构、数据库建设统筹考虑,建设“数据加工厂”“数据治理工具箱”“数据流水线”等精细化管理模块,搭建安全高效可信的政务数据资源开发利用平台环境,为数据全程流转提供技术支撑。

针对平台的安全运营开展考核评估,“以评促建、以评促治”,形成PDCA[Plan(计划)、Do(执行)、Check (检查)、Act(处理)]的良性循环,推进开发利用系统平台由“小作坊”向“精工坊”转变。

产品开发是数据资产化阶段的关键环节,主要实现数据产品和服务的开发。产品是数据资产化的产物,是数据交易的主要对象。

3、数据资本化

数据资本化阶段是指数据产品或服务上市流通阶段,在这个阶段政府的职能应由制定具体价格水平向制定定价规则转变,重点要关注数据资产定价机制、分配机制、价值评估几方面工作。

数据产品定价是数据资产交易的前提。

数据资产评估是数据资产交易必不可少的环节。由于数据资产具有非实体性、依托性、多样性、可加工性、价值易变性等基本特征,其价值易受技术因素、数据容量、数据价值密度、数据应用的商业模式和其他因素的影响,因此,数据资产的评估难度较大。

4、支撑保障体系

支撑保障体系是数据资产运营的实现手段,主要包含政策法规、标准规范、行政管理以及可信流通技术四个方面。

可信流通技术保障体系主要解决数据来源可信、交易可信、用户可信、审计可信等方面的问题。

3、数据自治与可信流通模型

结合数据资产运营框架和贵州实践,贵州省提出数据自治与可信流通模型。该模型是培育发展省域数据要素市场的参考架构,是以云、大数据、人工智能、区块链为基础,以数据安全共享、可信计算为核心,打造全域自治、安全可信、公平交易和可持续进化的数据全生命周期智能协同系统。

该模型分为要素链和信任链两大架构,其中要素链由数据要素供给、数据可信流通、数据要素交易、数据价值场景四大平台构成,信任链由信任技术保障和全程安全监管两大体系组成。

在这里插入图片描述

数据自治与可信流通模型框架

4、贵州数据管理的四大机制

构建了集共治、法治、精治、善治为一体的数据管理体制机制。

在这里插入图片描述

贵州省“四治一体”的数据管理体制机制

为系统研究数据管理体制机制,我们采取了多学科融合的方法论,借鉴了协同创新理论、公共价值理论和数字连续性理论的相关理念,共同构建了数据管理体制机制的方法论体系。

以协同创新理论为指导,旨在解决主体联盟间的主体角色转型、多元协同共治问题,促进政府领导能力提升,同时,通过政府制定相关政策法规,为数据创新应用提供保障。

以公共价值理论为指导,旨在以满足各主体利益诉求为导向,充分激活数据要素公共价值,通过调动社会各方积极性、创造性,为各项工作开展提供源源不断的动力。

以数字连续性理论为指导,旨在解决跨部门各类平台对接联通的技术问题,并且通过将技术规范纳入政策法规,显著提升平台的数据治理能力。

在这里插入图片描述

数字管理基础理论示意图

在这里插入图片描述

协同创新与一般创新的概念区别

公共价值由美国哈佛大学的马克·穆尔(Mark Moore)教授提出,他认为公共管理者的主要任务就是要致力于寻求、确定和创造公共价值。公共价值理论的基本观点是,将政府核心目标定位为“确保公共价值的实现”。

一个社会的公共价值包括公民应该享有的权利、利益、规范性共识和公民对社会、国家和其他各方的义务,是政府和政策最根本的原则。

数字连续性包括数字连续性特征及数字连续性管理两个方面。

一是数字连续性特征。它由数字生成文件、数字生成信息、数字生成内容三部分组成。

数字生成文件是指能够以数字方式保存和提供可持续再用的能力。为此,文件的形成者、保管者和利用者应该建立共同遵循的文件治理机制,共同维护电子文件在其全生命周期内的真实性、可靠性、完整性和可用性。

数字生成信息是指能够以数字方式维护,确保其可获取、可信任和可持续再用的能力。

为此,数字信息的采集者、保存者、服务者应该建立可信数字信息跨系统和平台互联互通互认的信息治理架构,共同维护数字信息的质量。

数字生成内容是指应该能够以数字方式管理,确保其可跟踪、可溯源、可关联和可控制的能力。

可跟踪指数据内容具备按照时间顺序预测和模拟其演化趋势的特点,用于舆情分析、模拟测试、市场预测等;

可溯源指数据内容能够回溯其历史版本,用于发现证据链和评估数字内容的可信度;

可关联指数据内容能够开放关联和跨域存取,避免其片段化;

可控制指数据内容能够得到风险控制,维护个人隐私安全和国家信息安全。

为此,数据内容的生产者、增值者和消费者应该共同参与数据内容共享平台的建设和治理,共同维护数据内容的可持续发展,支持跨地区、跨部门、跨层级的内容共享和智慧化社会管理创新应用。

二是数字连续性管理,包括维持管理活动可持续发展的业务需求驱动、技术环境支持、人员技能支持及制度流程支持等要素。

在这里插入图片描述

数字连续性的内涵

5、共享开放的调度机制

在这里插入图片描述

贵州省数据管理模式

6、数据安全保障

  • 强化数据安全顶层设计

    完善数据安全政策法规、强化数据安全监督管理、促进数据安全能力提升(提升数据安全技术服务能力(大数据安全重点实验室、大数据及网络安全技术创新中心、大数据及网络安全应用示范中心))、大数据安全靶场之关键基础设施专业靶场、工业网络资产安全评估、态势感知与监测预警平台、大数据敏感信息监测及预警平台等

  • 健全数据安全保障体系

数据安全模型主要涵盖数据安全防护、数据可信交换、数据可信共享三部分,涉及数据提供方、使用方以及可信第三方等。其中,提供方自身需要做好安全防护工作;左侧数据可信交换主要指数据本身流转过程的安全保障工作;右侧数据可信共享主要指数据价值流转过程中的安全保障工作。

在这里插入图片描述

数据安全模型

Gartner、微软等研究机构和企业提出了相应的安全治理框架。

1、Gartner数据安全治理框架

Gartner认为数据安全治理不仅仅是一套用工具组合的产品级解决方案,而是从决策层到技术层,从管理制度到工具支撑,自上而下贯穿整个组织架构的完整链条。组织内的各个层级之间需要对数据安全治理的目标和宗旨达成共识,确保采取合理和适当的措施,以最有效的方式保护信息资源,这也是Gartner对“安全和风险管理”的基本定义。

在这里插入图片描述

Gartner数据安全治理框架
2、微软DGPC框架

微软开发了一个针对隐私、保密和合规性的数据治理框架(DGPC),主要用于帮助组织更好地进行数据安全风险控制。该框架围绕人员、流程和技术三个核心能力领域进行组织。人员主要涉及组织架构和人员设置,该框架把组织分为战略层、战术层和操作层,并明确组织中数据安全相关角色职责、资源配置和操作指南;流程主要涉及数据安全管理流程,在制度和流程指导下识别数据安全威胁、隐私风险和合规风险,确定适当的控制目标和控制活动;技术主要涉及技术工具,框架提供一种基于安全风险差距分析的技术方法。

在这里插入图片描述

微软 DGPC 框架
3、数据安全能力成熟度模型(DSMM)

DSMM源自国家标准《信息安全技术 数据安全能力成熟度模型》(GB/T 37988-2019),主要借鉴了能力成熟度模型(CMM)的思想,将数据按照其生命周期分阶段采用不同的能力评估等级,分为数据采集安全、数据传输安全、数据存储安全、数据处理安全、数据交换安全、数据销毁安全六个阶段。

在这里插入图片描述

国家数据安全保障体系总体框架

4、贵重大数据安全保障框架

贵州省探索形成了大数据安全发展“1+1+3+N”总体思路。“1+1+3+N”包括四层含义:

第一个“1”是指建设大数据及网络安全示范试点城市,以网络安全等级保护为基础,对贵阳关键信息基础设施和重要信息系统开展大数据安全保卫工作,及时发现解决贵阳大数据建设的安全问题。

第二个“1”是指建立国家级大数据安全靶场,面向网络基础设施、大数据中心、工业控制系统、重要信息系统、云计算平台、物联网平台等对象,开展大数据安全攻防演习、技术检验和产品测试。

“3”是指建立大数据安全技术创新中心、应用示范中心、政府监管中心。

“N”是指建立N个监管、应急等方面的大数据安全平台,构建立体化的监管、防护、应急体系,实现公安机关、地方政府、行业部门纵横相连的立体化管控。

构建了大数据安全保护“八大体系”建设架构:

在这里插入图片描述

八大体系建设架构

大数据安全保护组织体系、大数据安全预防保护体系、大数据安全监管保护体系、大数据安全应急处置体系、大数据安全综合防护体系、大数据安全技术服务体系、大数据安全人才教育训练体系、大数据安全工作支撑体系。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1420436.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Python笔记-设计模式】单例模式

一、说明 单例是一种创建型设计模式,能够保证一个类只有一个实例, 并提供一个访问该实例的全局节点。 (一) 解决问题 维护共享资源(数据库或文件)的访问权限,避免多个实例覆盖同一变量,引发程序崩溃。 …

STM32入门教程-2023版【5-1】中断执行流程

关注 点赞 不错过精彩内容 大家好,我是硬核王同学,最近在做免费的嵌入式知识分享,帮助对嵌入式感兴趣的同学学习嵌入式、做项目、找工作! 二、中断执行流程 (1)中断程序的执行流程 左边第一个图中,从上…

【MySQL 流浪之旅】 第六讲 浅谈 MySQL 锁

系列文章目录 【MySQL 流浪之旅】 第一讲 MySQL 安装【MySQL 流浪之旅】 第二讲 MySQL 基础操作【MySQL 流浪之旅】 第三讲 MySQL 基本工具【MySQL 流浪之旅】 第四讲 MySQL 逻辑备份【MySQL 流浪之旅】 第五讲 数据库设计的三个范式 目录 系列文章目录 一、什么是锁&#x…

网络安全|重大失误!微软被盗测试账号拥有公司Office 365管理员权限

微软网络近期遭黑客入侵,高管电子邮件被监视长达两个月。 一位研究员表示,黑客通过获取一个拥有管理员权限的老旧测试帐号的访问权限来实施入侵,这是微软犯下的重大失误。 微软在1月25日(上周四)发布第二篇公告&…

Android Studio项目——TCP客户端

目录 一、TCP客户端UI 1、UI展示 2、xml代码 二、TCP客户端数据发送 三、TCP客户端数据接收 一、TCP客户端UI 1、UI展示 2、xml代码 <?xml version"1.0" encoding"utf-8"?> <RelativeLayout xmlns:android"http://schemas.android.…

JAVA双列集合Map的特点

一次存一对元素&#xff0c;分别是 键 和 值&#xff0c;他们是一 一对应的&#xff1a;其中&#xff1a;键不可以重复&#xff0c;值可以重复这一对数据叫键值对、键值对对象、或 Entry Map 的体系结构&#xff1a; Map的常见API&#xff1a; 方式的实现&#xff1a;注意 Map …

UDP通信以及本地套接字

1. UDP 1.1 UDP 通信&#xff1a; UDP服务端创建出来的套接字不是监听套接字&#xff0c;直接就是通信套接字。 #include <sys/types.h> #include <sys/socket.h> ssize_t sendto(int sockfd, const void *buf, size_t len, int flags,const struct sockaddr *de…

网络原理-TCP/IP(1)

应用层 我们之前编写完了基本的java socket, 要知道,我们之前所写的所有代码都在应用层中,都是为了完成某项业务,如翻译等.关于应用层,后面会有专门的讲解,在此处先讲一下基础知识. 应用层对应着应用程序,是程序员打交道最多的一层,调用系统提供的网络api写出的代码都是应用层…

正式阶段高等数学复习之不定积分

不定积分这部分是为后面的定积分做准备的&#xff0c;整体上的框架可以分为2&#xff08;定义&#xff09;3&#xff08;计算方式&#xff09;3&#xff08;能积出来的三个函数&#xff09; 1、不定积分的概念&#xff1a;求某一个函数的不定积分就是求这个函数的原函数&#…

DIY_SmartWatch_S3

​​​​​ 简介&#xff1a;成熟的智能手表方案DIY&#xff1b;采用乐鑫ESP32-S3&#xff0c;支持蓝牙和WIFI。240x280彩色LCD触摸屏&#xff1b;内置9D运动睡眠传感器&#xff0c;支持SPI接口扩展在线心率&#xff0c;血氧等健康传感模组&#xff1b;支持USB TypeC&#xff…

第4章 数据表示与特征工程

目录 1. 分类变量1.1 One-Hot编码&#xff08;虚拟变量&#xff09;检查字符串编码的分类数据 1.2 数字可以编码分类变量 2. 分箱、离散化、线性模型与树3. 交互特征与多相似特征4. 单变量非线性变换总结&#xff08;2~4&#xff09;5. 自动化特征选择5.1 单变量统计5.2 基于模…

[GN] 设计模式—— 创建型模式

文章目录 创建型模式单例模式 -- 确保对象唯一性例子优化饿汉式懒汉式 优缺点使用场景 简单工厂模式例子&#xff1a;优化优缺点适用场景 工厂方法模式 -- 多态工厂的实现例子优缺点优化适用场景 抽象工厂模式 -- 产品族的创建例子优缺点适用场景 总结 创建型模式 单例模式 –…

2024年新提出的算法:(凤头豪猪优化器)冠豪猪优化算法Crested Porcupine Optimizer(附Matlab代码)

本次介绍一种新的自然启发式元启发式算法——凤头豪猪优化器(Crested Porcupine Optimizer&#xff0c;CPO)。该成果于2024年1月发表在中科院1区SCI top期刊Knowledge-Based Systems&#xff08;IF 8.8&#xff09;上。 1、简介 受到凤头豪猪&#xff08;CP&#xff09;各种…

驼背的危害,远比您能想到的还要多!

现在的年轻人才20多岁的年纪&#xff0c;就拥有了80多岁的腰椎。 不同于老年人由于骨质疏松而引发的驼背&#xff0c;年轻人驼背大部分是因为工作或学习中长期不正常坐姿导致&#xff0c;也称姿势性驼背。 我们日常工作的时候&#xff0c;习惯性的肩膀前倾去工作&#xff0c;导…

【amis低代码前端框架】vue2集成百度低代码前端框架amis

什么是amis&#xff1a;amis 是一个低代码前端框架&#xff0c;它使用 JSON 配置来生成页面&#xff0c;可以减少页面开发工作量&#xff0c;极大提升效率。 第一步&#xff1a;下载amis 命令行内执行以下命令下载安装amis npm i amis第二步&#xff1a;下载完毕amis后 将nod…

[React源码解析] Fiber (二)

在React15及以前, Reconciler采用递归的方式创建虚拟Dom, 但是递归过程不可以中断, 如果组件的层级比较深的话, 递归会占用线程很多时间, 那么会造成卡顿。 为了解决这个问题, React16将递归的无法中断的更新重构为异步的可中断更新, Fiber架构诞生。 文章目录 1.Fiber的结构2…

在Windows11的WSL上运行Llama2-7b-chat 下

上一篇博客讲了我跑Llama的demo的心路历程&#xff08;上一篇博客传送门&#xff09;&#xff0c;这篇我们主要是讲下怎么配置。 快速开始 使用Linux、Linux、Linux&#xff0c;重要的事情说三遍&#xff0c;如果你和我一样懒得安装双系统&#xff0c;那么在Windows下安装一个…

java组装复杂的map结构

如下图数据库查出来的记录要组装成如下图所示的map结构。 直接上代码 package com.rt.test.other;import org.apache.commons.lang.StringUtils;import java.util.*;public class TestMap {public static void main(String[] args) {Map<String,String> mapnew LinkedHa…

vue 使用 v-viewer 用于图片浏览的Vue组件,支持旋转、缩放、翻转等操作,基于viewer.js。

作者连接 npm&#xff1a; npm install v-viewerlegacy viewerjs main.js 引入&#xff1a; // 引入Viewer插件 import VueViewer, { directive as viewerDirective } from v-viewer; // 引入Viewer插件的图片预览器的样式 import viewerjs/dist/viewer.css; // 使用Viewer图片…

深入Pyecharts:桑基图绘制与炫酷效果实战【第38篇—python:桑基图】

文章目录 深入Pyecharts&#xff1a;桑基图绘制与炫酷效果实战桑基图简介安装 Pyecharts简单桑基图的绘制自定义桑基图的炫酷效果高级样式定制 多组数据桑基图的展示动态桑基图的绘制结合真实数据的桑基图案例导出和分享进阶应用&#xff1a;桑基图与其他图表的组合总结 深入Py…