11万字数字政府智慧政务大数据建设平台（大数据底座、数据治理）

本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除。
部分资料内容：

一.1.1 数据采集子系统

数据采集需要实现对全区各委办单位的数据采集功能，包括离线采集、准实时采集和实时采集的采集方式，根据各委办局业务数据的情况进行采集技术的实现。

Ø 数据采集：政府数据来源多样，包含视频类数据、物联感知类数据以及传统的政务公共数据，各数据来源的数据格式也不一致，在收集的过程中需对数据进行规范化处理，以便于管理使用。

Ø 大数据存储：实现现有应用的大量结构化数据、半结构化数据，以及将全市统一规划的大量图片、视频资料等非结构化数据的存储需求，要求大数据基础平台采用分布式文件系统实现对汇聚的多类型海量数据的存储。

Ø 大数据分析计算：数据分析的处理速度、准确度对实际应用的及时性、高效性都有至关重要的影响。大数据平台提供分布式计算、流式计算、内存计算多种数据计算引擎，能够针对不同的场景采用不同的计算模型，对数据进行大规模批量处理或者实时处理，大大提升政府部门的决策效率能力。

Ø 分布式资源管理和调度：Hadoop 2.0中的资源管理系统，它是一个通用的资源模块，可以为各类应用程序进行资源管理和调度。

Ø 大数据集群运维管理：作为运维系统，为数据基础支撑子平台提供高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装/升级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。

一.1.2 数据治理子系统

建设大数据治理子平台，提供数据标准管理、元数据管理、数据质量管理能力，实现对数据的规范治理与管理；提供数据工厂能力，实现对归集的数据进行清洗、加工，支撑业务的数据应用需求。具体，在本次杨浦大数据资源平台建设项目中，数据治理子平台的建设内容包括：

Ø 资源目录管理：提供资源目录管理功能，包括：资源编目、目录提交、目录审核、目录发布、目录汇总、目录查询等；

Ø 数据标准管理：提供数据标准管理功能，包括：字典标准管理、命名标准管理、维度标准管理及数据项标准管理；

Ø 元数据管理：提供元数据管理功能，包括：元数据正向采集、元数据维护、元数据查询、元数据导入/导出、元数据血缘分析；

Ø 数据质量管理：提供数据质量管理功能，包括：质量模型配置、质量规则管理、方案配置调度、质检结果查看、质检分析报告；

Ø 数据开发平台：提供数据开发平台能力，支持可视化开发和原生态开发两种开发模式，实现原生态开发与可视化编排的互相转换；

Ø 统一调度管理：提供统一调度管理功能，提供流程设计与管理、调度策略管控、任务调度控制、等功能模块。

一.1.3 数据资源中心

在本次项目中，我们需要制定全区公共数据汇聚的标准规范和管理制度，归集全区各单位的政府公共数据，形成XX市的数据资源湖。同时经过对数据进行清洗、转换、融合、治理后，形成高质量的公共数据资源，构建形成杨浦标准化数据仓库。

基于全区的数据资源湖，利用经过治理后的数据，可以针对某一特领域的业务数据共享、应用需求，按主题归集形成专题库和主题库，并面向政务部门及社会进行数据开放。此外，我们还将持续开展、深入杨浦大数据的应用探索，围绕跨部门、跨领域、跨行业的数据应用需求，对数据实体进行数据关联、数据融合和衍生计算，生成算法标签，逐步建立不同领域的应用专题或主题库构建面向全区多部门提供统筹的数据共建共享共用的数据服务。具体，在本次杨浦大数据资源平台建设项目中，数据资源门户的建设内容包括：

Ø 建立XX市级数据湖：构建全区公共数据的存储与计算空间，支撑各类数据资源的汇聚存储、处理计算与查询应用，并依据部门类别、数据源类别等提供资源隔离的多租户数据应用空间；

Ø 完成数据对接的实施：完成与区各委办业务与管理系统、XX大数据资源平台以及物联网相关平台数据的对接，汇聚各类业务数据，形成全区公共数据资源池；

Ø 建设基础库：建设全区统一的基础人口综合库、法人综合库、电子证照库以及地理空间库，支撑全区人口、法人、电子证照与地理空间等数据相关应用；

Ø 建设主题库：建设全区统一的产业经济主题库、电子证照主题库、权力事项主题库等，支撑全区产业经济相关数据应用。

Ø 主题库

围绕跨部门、跨领域、跨行业等的通用应用服务，对数据实体进行数据关联、数据融合和衍生计算，生成算法标签，提供超级应用级数据服务。主题库的建设是为了满足某一特大型领域的业务共建共享需求，需要多个部门合作，在大数据主管部门的支撑下，构建面向全区多部门提供统筹的数据共建共享共用的数据服务。

为了解决目前全区面向企业法人提供服务缺失基础数据的情况，本次项目拟建设XX市企业精准服务主题库。

Ø 专题库

面向特定领域专题应用的数据服务。一般由各自委办局自行开发建设，也可以根据实际情况由委办局委托大数据中心代建代运营。作为领域的专题数据，一般不作为支撑大型跨领域、跨行业的超级综合应用并向外部门提供数据服务，更多的是满足部门自身需求。

一.1.4 数据共享子系统

为减少不同委办大数据服务中共性模块的重复建设，实现对外服务的规范、安全管理和成功案例的快速复制，最大程度吸引外部开发能力，建设大数据对外服务基础平台，提供数据交换管理、自助数据探索、个性化推荐、行业标签等共性服务功能，实现大数据对外服务的快速部署。

建设数据共享服务将功能和接口，要求以应用需求为导向，在政务服务、市场监管、城市管理、社会治理等领域探索开展公共数据共享应用，为跨区域协同发展提供数据支撑。

包含数据交换和服务管理，支持结构化库表下发、文件共享、API接口共享、非结构化数据共享、接口代理等多种数据共享方式。

一.1.5 门户子系统

在XX市大数据资源平台项目的基础上扩展功能。主要包括消息推送、数据推送、个人信息管理、系统管理等功能。

建立数据开放门户：主要实现数据目录、数据接口、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各项门户目录的建设。包含业务流程申请、展示、统计、查询等功能。

Ø 分析、统计、展示功能

将数据共享情况、数据归集情况进行统计分析后展示。可对填报、统计分析数据设置审批岗，对数据进行双重把关，对统计结果进行推送。KPI指标监控、监控指标预警信息及时推送、数据钻取，实现由粗-细，切换维度的数据分析、可视化图表，易于信息获取。

Ø 查询及业务流程申请功能

当委办向大数据中心提出查询要求，需要通过申请审批完成数据资源分享，同意后，方可对委办开放查询服务，以满足委办对于某项或某类数据的需要。

大数据中心对接委办的管理流程，委办提出需求需要查询某数据项，将在该门户提出申请，如三清单一目录的申请，直接进行登记。

一.1.6 统一运维子系统

为了实现杨浦大数据资源平台下的高效运行和维护，提供标准化的监控管理指标和数据，对云资源、应用和业务对象的性能数据管理、运行状态监视和告警管理等，及时发现异常和潜在问题，对云管理运行过程中的监控及容量使用情况等运维数据进行深入分析，保障大数据资源平台稳定、高效的运行以及资源安全、合理的分配。构建一站式数据资产可视化管理，实现对数据生产的全过程监控，实现对数据资产的血缘谱系和信息资源目录的统一管理。