市级大数据中心大数据资源平台概要设计方案（ppt可编辑）

news2024/11/16 13:35:08

本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除。

大数据管理中心发展背景

为建设卓越全球城市，实现政府治理能力现代化目标，由市大数据中心牵头，在政务公共数据管理和互联网政务服务方面采取了一系列的实践工作。根据《市公共数据和一网通办管理办法》要求，前期已在“一网通办”的政务服务领域进行了信息化项目建设，在提升了政府治理能力和公共服务水平的同时，也产生了汇聚全市政务公共数据，探索政务服务领域应用的需求。
市大数据中心作为全市政务数据的主要管理单位，承担着政策本地化落实、政务数据交换、大数据应用研究、信息化建设运维以及其他数据相关的工作职责，从中心成立之初便开始研究政务数据管理和应用的方法，去年年底探索了以政务数据交换共享为核心的实践，但随着对中心职能的理解加深，我们认为中心不仅作为全市政务数据的“枢纽中转中心”，更应该成为各政务服务条线领域的“归集管理中心”，为本市的经济活动、公共事业、社会关系、人员密度等各城市管理领域提供数据层面的最大支撑。

大数据共享交换平台建设与使用情况

大数据中心自去年开始，根据整体规划启动了市数据共享交换平台项目的建设，并于2019年1月开始正式进行全市范围的试运行。
平台建设内容包括：
1、总集成及部分应用开发：平台集成门户及整体平台的基础功能菜单级整合；
2、数据治理子系统：包含数据交换模块和服务管理模块，实现数据资源目录及三清单的管理，并提供市级数据库的对外发布利用；
3、数据共享交换子系统：实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能，以及数据湖数据的存储管理、共享与交换；
4、数据质量监管及支撑子系统：实现数据质量管理功能，包括数据质量规则制定、数据质量稽核、数据质量问题闭环管理；
5、大数据支撑管理子系统：包含市级数据湖和市级数据库，汇聚“四大基础库”、“市级统建系统”、“各市级委办系统”、“各行政区系统”的经过初始治理的原始数据；并存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源，为城市管理、公共服务等提供数据来源；

本期平台建设目标分析

聚：推进人口、法人、空间地理库数据源整合，促进电子证照库对接利用。逐步推进社会数据、互联网数据等采集汇聚。

管：构建一站式数据资产可视化管理，通过对数据资产的血缘谱系和信息资源目录的统一管理，实现数据的全过程管理，以及各环节安全监管。

通：实现基于应用场景的数据资源授权管理机制，推动公共数据按需充分共享。实现数据分级分类开放管理，扩展共享交换平台功能。

用：开展主题数据库建设，推动数据资源整合及数据分析应用。开展数据应用模型及算法研究，探索数据服务模式创新。

安：打造整体安全管控体系，保证平台上政务数据在数据汇聚、数据管理、数据共享、数据开放等全生命周期中的安全防护能力。

本期平台建设内容分析

总体架构·大数据资源平台功能架构规划

总体架构·大数据资源平台功能架构设计

总体架构——大数据资源平台部署架构

总体架构·大数据资源平台数据架构

大数据资源平台支撑数据共享交换（生产职能）、数据分析、数据开放三大核心数据服务，包括大数据资源区、对内共享交换区和对外开放区三大数据区。

大数据资源区：包括市级数据湖和市级数据库两大数据资源
数据湖：主要存放市级政府部门业务数据库、未经加工的原始业务数据库，支持存储结构化、非结构化等多种类型的数据。
市级数据库：主要用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源。
对内共享交换区：主要用于存放全市各部门、各区政务数据资源汇集和共享交换过程中的数据，包括直接共享交换的数据和来自市级数据库加工后的数据。
对外开放区：主要用于存放对外开放的数据，通过单独的对外开发区与大数据资源区隔离，可以提供更高级别的数据安全保护。

总体架构·大数据资源平台权限架构

整体对应关系17

1、数据管理子系统·批数据接入

批数据处理通过数据采集平台任务调度的方式，根据时间戳定时探查委办局前置库数据以及结构化文件的变动，通过数据采集平台的解析，抽取增量数据到数据湖。

1、数据管理子系统·流数据接入

流数据处理通过数据湖内独立部署kafka消息系统，采用委办局推送或自动拉取的方式，将流数据接入大数据支撑平台。

1、数据管理子系统·数据支撑平台

批数据处理：
各类批数据通过数据采集功能进入数据支撑平台，经过存储、清洗、汇总和关联汇总等，产生应用数据，并实现数据共享或开放。
流数据处理：
流数据通过数据采集功能进入数据支撑平台后，根据不同需求，可实现实时数据计算后的开放，也可实现通过实时数据分析后汇总产生应用数据，进而实现数据共享或开放。

1、数据管理子系统·数据资产管理

1、根据提供方供数责任，对接入数据资源进行编目，维护其业务属性和管理属性，使其初步具备共享条件。
2、参照数据标准设计数据模型结构、业务代码，通过建立变更管理和版本控制，实现数据模型管控。
3、通过基础元数据定义数据资产规格（如：库表、文件、文件夹、接口等），并借助统一平台实现资源接入。

1、数据管理子系统·数据开发调度管理

数据开发调度管理能够支撑多种混搭数据库环境的开发调度功能，实现数据从“采集→加工→对外应用服务”的全生命周期管理。基于元数据以及日志数据提供端到端的全过程数据开发质量管控能力。
支撑数据架构管理、数据关系管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱、数据分层管理、数据运维管理、数据资产管理功能。

1、数据管理子系统·数据开发调度管理

1、数据管理子系统·数据共享服务

数据共享交换服务基于大数据区共享层的数据目录，对各委办局及其应用系统间进行数据共享、交换。

3、平台集成门户·共享及运营门户

共享及运营门户
门户集成数据治理子系统、数据管理子系统、事件中心、数据开发子系统等业务系统。提供统一的待办工单流转和个人消息提醒功能，通过门户入口实现对业务的协同管理。门户提供统一的权限管理并适配各管理子系统。提供角色互斥配置，实现权限的管、用、审分离。各用户单位可自主管理用户和授权。门户实现CA认证、统一身份认证和单点登录。门户集成的各个系统界面风格上实现统一，包括列表样式、页面布局页面颜色搭配、字体大小、按钮风格等。