本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除

1.1 项目建设内容

对于本次区级大数据资源平台的建设，将按照“总体规划一步到位，平台建设分步实施，数据赋能逐步升级”的原则，落实数据交换共享和协同应用需求，逐步提升区级大数据资源中心能级。初期先完成数据资源平台的搭建，后续依托基础平台的建设成果，逐步完善丰富XX区大数据资源、运营平台、管理机制、运维支撑、组织保障体系和典型智慧应用的建设。

区级大数据资源平台项目建设的主要目标是要搭建XX区统一的大数据资源管理平台并实现基础功能架构，出台相关管理办法，支撑全区各政务部门的数据共享需求；建立大数据资源中心，完成标准化数据仓库的建设，并构建基础及融合数据库，为全区的政务处理、经济发展、社会民生、城市管理、乡村振兴等实现数据赋能。

l 建设统一的大数据资源管理与应用平台：建设包含数据支撑底座、数据交换子平台、数据整理治理子平台、数据服务子平台，数据分析支撑子平台以及数据资源门户为核心功能的大数据资源平台，实现大数据综合管理与服务功能；

l 启动区级大数据资源中心建设：完成标准化数据仓库的设计与规划建设，并完成与区各委办业务与管理系统、S市大数据资源平台以及物联网相关平台数据的对接，汇聚各类业务数据，构建区级大数据资源中心；

l 在XX区资源中心数据湖基础上，建设基础数据库，包括人口综合库、法人综合库、电子证照库以及地理空间库，为全区各政务部门提供人口、法人、证照与地理空间相关的数据服务；

l 在区级资源中心数据湖以及基础库的基础上，持续深入大数据资源的建设与应用探索，基本完成支撑全区一网通办、一网统管、城市规划、应急指挥等主题的资源归集，并形成相关的专题库和主题库；

l 建立统一的政府数据信息资源目录，建立动态更新机制，明确全区各部门可向其他政府机构共享的公共数据，建立全区统一的数据交换共享平台及数据中心，对上对下实现垂直共享，横向打通各部门间的数据交换共享，实现部门间业务协同和指挥联动；

l 充实现有管理功能，形成共享工作体制和制度。

1.1.1 建设数据交换子平台

建设全区统一的数据数据交换子平台，形成公共数据归集、交换、共享的核心枢纽；打通全区各单位之间数据资源共享通道，实现双向数据互通。具体，在本次区级大数据资源平台建设项目中，数据交换子平台的建设内容包括：

Ø 数据交换配置：提供数据交换配置功能，能够提供对于交换周期，时间的交换策略配置、接口配置交换任务配置功能；

Ø 数据服务管理：提供数据服务管理功能，将清洗后的数据以及场景化分析后的数据注册为数据服务，统一进行管理与对外共享；

Ø 数据共享接口：将清洗后的数据以及场景化分析后的数据注册到服务管理系统中，统一进行对外共享，并且对共享行为进行统一管理和审计；

Ø 数据交换监控：提供数据交换监控功能，实时监控交换过程中核心服务运行状况，包括交换平台整体运行状态、交换域运行状态、交换节点运行状态、交换流程运行状态等，保障数据交换稳定。

1.1.2 建设数据治理子平台

建设大数据治理子平台，提供数据标准管理、元数据管理、数据质量管理能力，实现对数据的规范治理与管理；提供数据工厂能力，实现对归集的数据进行清洗、加工，支撑业务的数据应用需求。具体，在本次区级大数据资源平台建设项目中，数据治理子平台的建设内容包括：

Ø 资源目录管理：提供资源目录管理功能，包括：资源编目、目录提交、目录审核、目录发布、目录汇总、目录查询等；

Ø 数据标准管理：提供数据标准管理功能，包括：字典标准管理、命名标准管理、维度标准管理及数据项标准管理；

Ø 元数据管理：提供元数据管理功能，包括：元数据正向采集、元数据维护、元数据查询、元数据导入/导出、元数据血缘分析；

Ø 数据质量管理：提供数据质量管理功能，包括：质量模型配置、质量规则管理、方案配置调度、质检结果查看、质检分析报告；

Ø 数据开发平台：提供数据开发平台能力，支持可视化开发和原生态开发两种开发模式，实现原生态开发与可视化编排的互相转换；

Ø 统一调度管理：提供统一调度管理功能，提供流程设计与管理、调度策略管控、任务调度控制、等功能模块。

1.1.3 建设数据资源门户

建设统一的数据资源门户，有效集成整合各子平台应用功能模块，数据资源目录整合、统一用户账号、组织架构、角色权限、业务流程、信息展示以及统一运维等方面的管理，全面打造面向各单位工作人员的一体化统一数据管理与应用门户。

利用数据资源门户推动全区公共数据和社会数据的交互和开放使用，加强政企数据互动、加快统一公共数据归集、强化数据管理治理、探索数据应用，促进数据共享协同与开放，为提升全区政府治理能力，实现管理向服务转变提供支撑。具体，在本次区级大数据资源平台建设项目中，数据资源门户的建设内容包括： 

Ø 门户首页：提供门户首页，在首页可以看到共享目录数量、共享资源数量、推荐目录和接口、信息资源；

Ø 统一用户管理：提供统一用户管理功能，实现统一组织架构、人员管理，对用户的属性、权限进行划分设定；

Ø 统一认证管理：提供对用户身份的统一管理与统一的系统用户身份认证服务；

Ø 整合资源管理：提供统一的数据资源整合服务，包括：资源检索、资源查询、资源展示、资源申请等；

Ø 统一审批管理：提供统一的流程审批管理功能，包括：流程发起、流程流转、流程审批等；

Ø 统一消息管理：提供统一消息管理功能，包括：消息类型管理、消息渠道管理、通用规则管理、自定义规则管理、消息过期、消息发送；

Ø 统一日志管理：提供多种日志记录方式，并支持日志提醒与日志分析、日志审计管理；

Ø 数据资产管理：提供数据资产管理功能，包括：数据资产分类管理、资产目录、资产地图、资产版本管理、资产统计管管理；

Ø 资源目录服务：提供资源目录服务功能，实现资源目录对外共享，并提供目录查询、目录统计等服务；

Ø 统一监控运维：提供统一监控运维功能，保证整个数据资源平台的稳定与高效运行，并提升数据资源全生命周期的保障执行力和运维效率。具体功能包括：

l 提供监控资源管理功能，支持资源模型的增删改基本维护操作，创建需要管理的资源对象，并对所有被监管对象进行集中管理；

l 提供基础资源监测功能，对整个平台所涉及到的服务器、存储、操作系统、中间件等基础实施进行监控；

l 提供应用系统监控功能，对平台的各个应用服务的运行情况进行监控，及时发现故障与风险，并告警；

l 提供监控告警管理功能，提供告警规则管理功能，实现告警规则的自定义管理和维护；

l 提供平台运维管理功能，负责对用户提交以及系统自动发现的故障或文件进行集中记录，可将故障分派给不同人员进行处理并对故障处理过程及结果进行跟踪管理。

1.2 总体建设方案

1.2.1 中心总体定位

区级大数据资源平台建设的核心是汇聚全区各类公共数据，建立面向政务顾问、经济发展、城市管理、社会公共服务与乡村振兴的数据资源库与数据服务。为智慧城市提供全面、高效、安全、智能的数据管理与应用支撑，是智慧城市建设总体战略与落地规划中的重要组成部分。

1.2.2 总体解决方案

1.2.2.1 平台总体蓝图

针对区级大数据资源平台的建设，我们将基于当前主流的大数据技术框架为XX区搭建一个大数据管理与应用平台。利用数据平台的数据采集功能，将XX区各级政府单位的政务数据、城市管理相关的监控视频等物联数据、企业事业单位数据，互联网等社据汇聚起来，形成统一的XX区级大数据资源池。

之后，在利用平台的数据治理与建模开发能力，将采集到的数据有效地进行分类整理与融合，构建诸如综合人口库、产业经济主题库、旅游数据库、菜园花鸟数据库，乡村产业经济振兴库等数据应用服务，并利用统一门户将相关数据应用对外开放，向XX区各级单位、企事业单位等用户提供数据服务，由此构建XX区的数据资源中心，实现对全区政务等数据的集中汇聚、统一管理与共享利用，为全区政务处理与经济发展提供数据支撑。具体，本次项目的解决方案蓝图如下：

1.2.2.2 平台总体架构

区级大数据资源平台平台基于基础设施（网络&技术&存储）、技术标准体系规范及信息安全保障体系建设数据支撑底座、数据交换、数据资源中心（基础及融合数据库）、数据整理治理、数据服务、数据分析、数据共享应用及数据资源门户模块，并实现与S市大数据资源平台的共享与交换。

1.2.2.3 平台架构关系

架构关系说明：

ü 基于数据治理平台，搭建数据治理产线：各个委办局梳理资源，形成目录清单并制定数据治理相关规范，基于目录及规范搭建数据治理产线；

ü 数据共享交换平台：数据治理/服务/分析平台设置数据归集调度任务，通过数据源采集数据到数据湖（数据资源中心）；

ü 数据源：各个委办设置前置机放置源数据；

ü 数据资源中心：对通过数据共享交换平台采集的数据进行存储；

ü 数据基础支撑平台：数据治理/服务/分析平台通过数据基础支撑平台进行数据读取、处理与存储；

ü 数据资源门户：通过治理后资源在门户进行展示，并为各个委办提供浏览及申请入口，同时经过申请的数据如果需要清洗/转换操作，则数据治理平台将根据治理规范及产线进行数据的加工处理，并将处理后的有效数据同步给门户；

ü 数据共享交换平台：用户经过门户申请的数据，将通过数据共享交换平台进行数据的共享。

ü 统一维护平台及数据安全管理将为整个数字区级大数据资源平台的平台建设保驾护航。

1.2.3 项目实施方案

在本项目中，首先需要建设一套大数据资源管理与应用平台，并基于大数据资源管理与应用平台，利用平台中的各类功能，通过汇聚数据、数据治理、数据开发与数据服务等手段，逐步建设各类区级数据资源（包括：数据湖、基础库、主题库、主题库等）。

具体，项目的总体建设实施方案如下：

2 资源平台建设方案

2.1 平台总体架构

区级大数据资源平台的总体架构由支撑体系（标准规范支撑体系、管理运行维护支撑体系、安全支撑体系）、网络系统、信息资源平台软硬件系统环境、平台应用系统（数据支撑底座、数据交换子平台、数据整理治理子平台、数据资源门户），以及数据资源中心（数据湖、基础库、主题库、专题库）组成。具体平台架构如下：

2.2 数据交换子平台建设

建设全区统一的数据数据交换子平台，形成公共数据归集、交换、共享的核心枢纽；打通全区各单位之间数据资源共享通道，实现双向数据互通。

2.2.1 建设方案概述

通过本项目数据共享交换平台建设，构建XX区数据共享交换体系，推动政务数据的跨层级、跨地域、跨系统、跨部门、跨业务的共享利用，为公共基础库、业务主题库，提供底层数据支撑。

XX区数据交换系统基于电子政务云搭建，为全区数据管理部门提供云端的数据共享交换服务的统一平台，可实现部门前置节点与政务云中心节点间、部门与部门间稳定可靠的双向信息传递。

2.2.1.1 架构设计

鉴于数据源应用的异构平台、异构系统接入的复杂性，数据共享交换平台建设应统一技术架构、统一接入标准规范（包括技术规范、接入规范、管理规范、运行规范等），同时既要充分考虑系统的安全性、可扩展性，又要充分考虑数据交换的实时性、可靠性和高效性，实现各系统数据的采集、同步、筛选比对等业务功能目标。

因此，本次数据共享交换平台建设将充分利用信息化手段，采用当前主流的技术标准，主要包括数据库技术、数据集成技术、消息中间件、SOA体系架构等技术，采用组件化和松耦合的设计思路，实现统一平台架构、统一技术标准、统一数据接口。数据交换子平台建设围绕数据资源的采集交换、数据传输、交换监控流程进行，以保证平台功能、服务更加贴近实际业务应用需要。

具体，本次区级大数据资源平台中的数据交换子平台的总体业务与逻辑架构设计如下：

利用数据交换平台与各政务部门进行互联，通过数据传输系统各委办的数据资源汇集到数据中心；对汇集到数据中心中的数据进行统一的加工、处理；将经过数据治理后的数据中心中的数据交换到各类基础信息库中，服务管理系统将各类基础信息库中的数据进行服务封装和服务发布，提供给各委办或决策分析等系统使用。

总之，通过数据交换平台的建设与实施，将为XX区构建完善的数据共享交换体系，为本项目总体体系建设提供数据共享交换服务支撑。

2.2.2 数据交换配置

获取信息资源中定义的信息资源更新频率，自动实现采集、可以配置全量或者增量采集方式，可以配置数据提供部门在数据中心部门前置库的存储位置等。

能够提供对于采集周期，时间的采集策略配置、接口配置采集任务配置功能。

对于应用数据采集，需要管理的关键业务点有采集点、数据传输。主要性能指标包括：在采样周期内成功取得文件的数量、采集数据间隔时间、采集文件大小、进程状态、文件连续性、采集状态、传输速率等。

2.2.3 数据交换前置

（1）灵活的数据交换需求

系统需满足各部门的数据资源交换需求，提供自主、可控的数据交换服务：

在供需关系匹配模式上，一对一、一对多、多对一、多对多的数据交换匹配模式；

在交换方向上，提供支持单向、双向的数据交换方式；

在数据库数据抽取方面，支持全量抽取和增量数据抽取，增量抽取支持时间戳、触发器以及基于日志分析的数据抽取方式；

在运行模式上，支持自动运行和手工控制运行方式；

在交换系统与部门对接的应用系统交互模式上，支持主动交换和被动交换；

在交换时效性上，支持实时交换、定时交换、周期性交换等模式；

（2）异构平台兼容性需求

作为基础性软件设施，数据交换系统接入部门众多，各个相关单位的系统运行环境各异，因此，交换系统需要支持各种异构的平台环境，包括：系统平台、数据库环境等。交换系统应支持运行在各种主流的操作系统平台上，包括：Linux、Windows、Unix等各种操作系统，支持物理机部署和虚拟机部署，针对不同数据存储的系统不同，应支持各种常见的数据库管理系统，并能够对国产数据库系统提供良好的兼容能力。