【版权声明】本资料来源网络,仅用于行业知识分享,供个人学习参考,不得作商业用途。【侵删致歉】如有侵权请联系小编,将在收到信息后第一时间进行删除!
完整资料领取见文末,部分资料内容:
1.1 大数据中心平台设计
1.1.1 平台总体架构
XXX市电子政务大数据中心总体结构如下:
XXX市电子政务大数据中心总体结构
XXX市电子政务大数据中心总体结构包括信息资源、支撑平台、专题应用三个层次,以及标准法规体系和安全保障体系。
(一)运行环境:运行管理体系包括运行管理机制、运行监控管理系统两部分。运行管理机制包含支持大数据中心运作的相关机制、制度,对大数据中心的管理依靠的是合理的运行管理机制。对运行管理机制的实施需要配备相关人员和相应的运行监控管理系统,运行监控管理系统的监控管理功能包括面向安全性的用户管理、权限管理和密码管理;面向可用性的节点管理、交换规则管理和和状态监控;面向可靠性的数据备份和恢复;面向性能优化的性能监控;面向运行管理机制的信息管理等。
(二)信息资源:信息资源是电子政务大数据中心的核心,主要包括基础数据、共享业务数据和统计分析数据。本期基础数据主要是企业法人单位基础信息。以现有市工商局、市质监局、市国税局、市地税局的法人单位数据为基础建立全市企业基础信息库。
(三)支撑平台:大数据中心支撑平台包括数据共享交换平台、共享数据管理子系统、目录管理服务子系统、共享业务管理子系统、系统配置管理子系统和系统安全管理子系统。负责数据的采集、数据汇总、数据分发、数据转换、数据更新通知等,实现各业务部门之间、业务部门与大数据中心之间的同构或者异构系统信息交换。数据管理系统负责对采集数据的比对、审核校验、标准转换、发布、维护等工作,控制数据的输入和输出,为数据质量把关。
(四)标准法规体系:大数据中心标准法规体系包括政务数据共享试行规范、政务信息资源共享管理办法和实施细则、实施指南等,是促进政务信息资源共享的规范化、制度化,形成政务信息共享长效机制的保障。
(五)安全保障体系:安全保障体系包括物理安全、网络安全、系统安全、应用程序安全、数据资源安全和安全认证,从安全技术和安全管理机制两个方面为大数据中心提供安全保障。安全保障体系与大数据中心的建设边界是:物理安全、网络安全、系统安全和安全认证由安全子系统项目负责,应用软件的安全和数据的安全由大数据中心负责。
1.1.2 信息资源
信息资源是大数据中心最重要的资源。大数据中心的信息资源分布状态具有阶段性,每个阶段都对应信息资源整合的不同阶段,体现信息资源的管理集中、有机分布的特点。根据“基于数据,围绕数据,面向数据”的建设思路,我们进行信息资源体系的总体规划,然后具体描述共享型的共享数据库、操作型的业务数据库和分析型的历史数据库这三类信息资源的构建、维护和使用。
1.1.2.1 信息资源规划的总体思路
信息资源规划的总体思路主要包括如下几个方面:
Ø 数据共享标准化
首先共享数据是标准的,其次共享的方法和途径是规范的。目前各系统信息资源数据库已经有多种存在方式,要解决系统间信息的互连、互通、互操作,必须针对共享数据建立共同遵守的标准规范,只有编码是统一的、格式是统一的、数据交换的方式是统一的,才能保证数据是一致的,才能实现对数据交换和数据共享的有效管理。
Ø 业务数据相对独立
各职能部门分管业务的范围和职责不同。因此,系统在全局考虑、统一设计的同时,还要充分考虑不同业务部门自身的特点,在统一规划的前提下,保证支持不同业务活动的数据具有相对独立性,建立面向各部门进行联机事务处理的业务数据库。
Ø 决策数据集成化
建设大数据中心的另一个目的就是将各部门的业务结果数据有机地集成在一起,进行综合查询和统计分析,为各级领导的决策提供有力的数据支持。
1.1.2.2 信息资源体系结构
大数据中心信息资源体系结构
对公共服务系统、业务应用、决策分析提供支持,大数据中心的数据库包含如下内容:
Ø 共享数据库,包含:自然人基础数据、法人基础数据库、元数据库、标准代码库、共享业务数据(如果业务部门之间通过大数据中心进行数据交换)。
Ø 统计分析数据库,汇集各业务部门的统计分析数据,为决策提供数据支持。
Ø 运行管理数据库,用于监控管理、节点管理、日志等。
Ø 公共服务数据库,提供对公共服务系统的数据支持。
1.1.2.3 共享数据一致性的保证
共享数据包括自然人和法人基础数据及其元数据和标准代码数据、共享业务数据。共享数据一致性问题是大数据中心面临的关键问题。从范围上划分,共享数据包括基础数据,基础数据包含基准数据。
l 基准数据
基准数据是指唯一表示自然人和法人的数据字段集合,自然人有身份证号码和姓名标识,法人有法人机构代码和名称标识。基准数据主要来源是市公安局和市质监局。基准数据必须保证在整个社会保障信息系统是一致的,将来扩展到整个电子政务系统是一致的。市公安局和市质监局负责将更新的信息交换到大数据中心;市大数据中心负责汇总数据,进行比对整理校验,形成一致的基准数据,通过数据共享与交换平台分发给市级各业务部门和区大数据中心;由业务部门/区大数据中心校验更新自身的基准数据,保证基准数据的一致性。基础更新频度要达到每天更新甚至实时更新。数据的传递和分发通过数据交换平台实现。
l 基础数据
基础数据是指自然人和法人的常用基本信息,各业务部门日常管理都需要用到的面向主题的数据。基础数据包括自然人和法人的基准数据和其他元数据。主要来源是市级业务部门和区大数据中心。基础数据一致性必须建立于基准数据一致性的基础上。基础数据的一致性也需要通过数据共享与交换平台和相应的机制、管理办法来保证。各部门按照业务职能明确元数据维护责任和权限,定期将在办理业务过程中更新的元数据项数据提供给大数据中心;大数据中心根据基准数据一致性的原则,对各业务部门提供的数据进行比对校验,正确的数据增加或更新到数据库中,并每天按照各业务部门业务要求,将更新数据分发到各业务信息系统;各业务部门可以直接使用这部分数据作为支撑行政业务和行政管理的信息资源,也可以作为业务参考信息。基础数据的范围将随着元数据范围的扩大而扩大。这部分数据同时可作为社保卡的数据。基础数据更新的频度,按照元数据使用的频度分别定义,通过部门协商机制研究确定,最低要求每周更新,一般每天更新,业务关联度较高的信息,要实现实时更新。数据的传递和分发通过数据交换平台实现。
l 元数据标准和标准代码数据
元数据标准和标准代码数据由市大数据中心维护更新,并发布给各业务部门和区大数据中心使用,由于业务部门系统内部沿用的代码可能与大数据中心的发布版本不一致,业务部门需保证与其他业务部门进行共享交换的数据必须遵循大数据中心的标准规范,而在系统内部可以采取逐步过渡迁移的方案,尽量减少影响业务运作。
l 共享业务数据
共享业务数据是指多个业务部门之间需要共享使用的数据,作为各业务部门进行行政管理的参考数据。数据来源渠道包括市级业务部门、区级大数据中心、社会保障卡和公共服务等业务运营机构。共享业务数据以业务数据的发生地管理部门为准。这类数据由各业务部门按业务需求和协商的频度提供给大数据中心,在大数据中心处提供各部门查询。由于这类数据量比较大,预计可以分业务、分批更新。
1.1.2.4 共享数据库的建立过程
共享数据库的建立采取逐步扩展的策略,达到数据整体上的一致性、完整性和准确性是一个逐步完善的渐进式递归过程。共享数据库的建立由业务驱动,业务部门提供的自然人、法人基础数据经数据源单位确认后存入基准数据库,并反馈业务部门,经过不断的提交和确认,基准数据库的数据不断增加,覆盖范围不断扩大,比对的工作量逐步减少。在基准数据库的基础上,不断补充其他的自然人、法人基础信息,最终形成自然人、法人共享数据库。
采取围绕自然人和法人基准数据为核心,在核心的基础上不断扩充和完善自然人和法人共享数据的策略进行建设。首先建立和整理自然人和法人基准数据库,保证核心的准确性,为各业务部门进行数据清洗和整理提供基础;再在基准库的基础上搭建自然人和法人共享数据库的整体框架,共享的信息内容成熟一个、整合一个、交换一个。
1.1.3 支撑平台
XXX市电子政务大数据中心支撑平台主要包括:数据共享交换子系统、目录管理服务子系统、共享数据管理子系统、共享业务管理子系统、系统配置管理子系统和系统安全管理子系统。
1.1.3.1 数据共享交换子系统
数据共享交换子系统为全市各业务部门提供数据交换服务。
主要功能包括:
(1)交换管理
提供交换节点、交换服务和交换桥接的配置、调度和检测功能;提供交换服务和交换桥接的日志查询和统计功能。
(2)交换服务
提供共享域内交换节点之间的数据共享交换服务,包括采集、分发、汇总和转发;提供交换节点与业务系统之间的交换桥接服务,实现数据提供和获取;提供跨域交换服务,实现共享域之间通过对接节点进行数据交换。
数据交换引擎是数据共享交换平台的核心。数据交换引擎主要包括服务处理和数据接口。
(一)服务处理
数据交换引擎运行过程示意图如下:
图表 6数据交换引擎运行示意图
数据交换引擎接负责收并处理数据交换服务请求,实现数据的交换。主要包括:
(1)服务请求监听器
服务请求监听器采用监听机制,实现对服务请求的并发接收。
(2)服务解释处理器
服务解释处理器负责解释执行服务请求。服务请求监听器把服务请求转发到解释处理器,服务解释处理器查询所请求的服务定义,根据服务定义产生执行序列并控制各个交换节点实现交换服务。在数据交换压力大的时候,根据服务的优先级高低,控制交换服务的执行顺序,确保高优先级的服务优先执行。
(3)服务定义
服务定义记录了服务的项选参数以及设置,描述了服务应该如何解释和执行。交换服务可以定义服务优先级等信息。
(4)接口控制
接口控制负责把命令序列发送到各个交换节点,控制交换节点上的数据接口,驱动数据交换的执行。
(5)传输管道
数据的交换过程是在传输管道中进行的,传输过程分为三部分,数据输出,网络传输、数据输入。在源节点的数据输出接口把数据由数据源读出,并根据服务配置经过数据加密、数据压缩等过滤器。经数据输出接口输出的数据通过消息中间件传输到目标节点。目标接点的数据接口接收到数据后反向经过各种过滤器把数据还原出来,然后写入到目标数据源。
(6)管道管理
管道管理器负责管理数据交换过程中的传输管理,包括管理的创建、动态分配、撤消等操作。
(7)日志监控
日志监控按级别记录数据交换引擎在运行过程中的事件记录,提供监控功能。
(二)数据接口
数据共享交换平台支持三种数据接口方式:交换库方式、文件方式以及Web服务方式,业务系统通过交换平台进行数据共享交换时,可以根据实际的情况选择合适的数据接口方式接入交换平台。
在接入节点时,根据实际情况选用一种或多种接口类型。对于有业务系统存在,只要求提供或获取共享业务数据的情况,建议采用数据库类型接口;对于需要获取基础数据的情况,以及实时性要求高的情况,建议使用Web 服务类型接口;文件类型接口根据实际情况决定是否采用。
1.1.3.2 目录管理服务子系统
目录管理服务子系统是支撑平台的核心子系统,提供政务信息资源目录的注册管理以及政务信息资源的发现定位服务。
主要功能包括:
(1)目录管理
提供数据主题的管理功能,数据主题包含了对信息资源的语义信息和规格信息等;提供对目录层次结构的管理,包括系统自动管理以及手工管理两种方式。
(2)目录服务
按部门、专项以及分类标签等方式浏览信息资源目录;提供信息资源的检索和统计功能。
文章引用的资料均通过互联网等公开渠道合法获取,仅作为行业交流和学习使用,并无任何商业目的。其版权归原资料作者或出版社所有,本文作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权,请立即通知作者删除。
如需获取完整内容,请转发后私信“获取资料”。