1、 背景介绍及难点分析
近年来,我国在大数据发展方面持续发力,取得了明显成效。但也要看到,目前我国大数据发展还存在“孤岛化”“碎片化”等问题,无序参与过度与创新参与不足并存,导致大数据资源配置统筹不,部门间缺乏有效互动,开放的大数据平台缺失,大数据的应有作用尚未充分发挥出来。
目前某省政府 70 多个省级部门拥有和管理的数据, 如典型的公安、交通、医疗、 卫生、就业、社保、地理、 文化、教育、科技、环境、金融、 统计、气象等数据, 呈现数量巨大,结构复杂,类型众多特点。 但各部门却各自为战、 独立建设, 即使在省级部门内部也是垂直和水平并存。无法有效支撑某省政府“群众办事百项堵点疏解行动”和实现“一网通办”的信息化建设目标。
各部门数据问题突出表现如下:
(1) 各部门信息化差异大: 信息化程度差, 老旧数据多; 各部门信息系统建设自成一体、数据融合困难。
(2) 缺乏统一数据标准、 无细化技术规范: 数据格式五花八门, 信息获取困难; 数据模型差异大; 同样的数据往往有多个来源, 缺乏准确的数据识别和指标定义, 造成数据口径不一致,统计指标差异大。
(3) 数据保护主义严重, 数据资源分散: 受到部门利益以及相关法律、法规与行政管理体制等约束,各部门对各自业务数据有很强的保护意识,各局委办自成一体,信息孤岛情况严重;数据资源分散在不同的部门的业务系统中,没有实现资源有效的汇集整合,更难以实现整合数据价值点挖掘,支撑决策分析。
(4) 数据权限设定难, 数据安全风险大: 数据所有者理解难, 导致数据审批流程难以确认; 数据汇集后,无端到端的安全保证。
2、 建设过程
政务主数据管理立足于对政务信息化的深刻理解, 依托于成熟、先进的主数据管理解决方案,全面梳理识别出全省范围内的主数据,建立起有某省特色的主数据管理体系,为政府职能转变升级,打造透明、阳光、责任政府,以及响应国家层面的政务大数据公开和数据驱动创新创业的大格局保驾护航。具体实现如下:
(1) 制定统一的数据标准,技术规范。 严格遵循数据标准规范,在数据治理过程中,稽核数据质量,针对问题数据形成数据工单,下发数据提供者,不断提升提供者提交的数据规范性。
(2) 实现政务数据资源共享。 打破信息孤岛,变“群众跑腿”为“信息跑路”,变“群众来回跑”为“部门协同办”,变被动服务为主动服务,快速实现政府部门间跨地区、跨层级的信息共享, 强化业务协同应用。
(3) 丰富的政务应用:利用数据开展大数据分析,辅助政府在政府治理、 服务民生和产业发展等方面做智慧决策。
(4) 立体的安全保障
⚫ 数据管理安全:统一管理策略融入数据流, 每个环节都需要嵌入数据安全管理和数据安全策略的执行。
⚫ 数据隐私保护:基于用户授权、白名单( 敏感用户)提供差异化的隐私策略, 提供覆盖整个数据生命周期的隐私保护。
⚫ 数据开放安全:数据资源安全分级、 开放策略制定、 数据授权机制以及安全合规。
(5) 安全分析:职能监测、威胁预测、智能响应以及安全态势分析。
某省主数据管理实现方案如下图所示: 具体实现根据实现方案, 从以下几个方面进行:
(1) 主数据识别和采集
⚫ 主数据识别、 标准化: 依据某省政务活动的需要, 编制某省自然人、社会法人基础库的数据元标准和通用代码标准, 以规范自然人、法人主数据管理工作的开展。
⚫ 主数据采集: 按照对主数据的共享的时效性要求, 可采用两种方案进行。
(2) 主数据清洗和转换
⚫ 非实时数据: 对于非实时数据,首先进入归集库,在归集库中存放和原始数据一致的镜像。 归集库的数据需通过一定的清洗(如剔重、 过滤无效数据等)和转换(如代码、数据格式转换等) 后, 形成符合技术和业务标准的数据进入中心库, 以作为省大数据中心对外共享开放的最原始数据。清洗和转换可通过 ETL 工具实现。
⚫ 实时数据: 实时数据因其低延时的要求,需使用实时流数据处理方法进行数据的清洗和转换后,直接进入中心库。
(3) 基础库建设和服务
⚫ 基础库建设: 政府数据来源广、共享需求大,如果对数据只做识别、集成、 质量管理等操作, 无法实现主数据的高效、高质共享。 因此, 需依据业务需求,对采集来的主数据进行逻辑数据模型设计、整合打通数据,来减少数据冗余、提高数据的访问效率。
⚫ 数据服务: 自然人和法人基础库的数据, 可通过 API 接口的方式对外提供服务。 API 网关可提供 API 快速开发和部署、 负载均衡、流量控制、接口日志、接口服务质量管理等功能。 各委办局使用统一的接口协议和数据标准进行自然人、法人主数据的访问。
(4) 数据治理
数据治理目标如下:
1. 建立全省统一的自然人、法人库数据标准, 并进行统一的管理、维护和查询引用;
2. 通过数据质量管理系统落实数据标准的落地, 持续推进全省主数据数据质量的改进;
3. 通过元数据管理为主数据管理的各个数据处理阶段提供数据标准、数据映射关系和数据规则的描述,保障主数据管理的数据质量。
3、 建设成果
因政府的特殊性, 某省政府主数据管理与其它行业的主数据管理,存在许多的差异。在某省政府主数据管理解决方案中, 针对某省的特点, 因地制宜地采取了对应的措施。
⚫ 坚决推行“一数一源”,对于每一项主数据, 依据各级机构的行政职能和业务属性来准确识别数据来源。 发生数据不一致、冲突时,以数据源的数据为准。 (如自然人基本信息:自然人的身份证、姓名、性别等数据来源于公安, 婚姻来源于民政,学历、 教育信息来源于教育部门。 )
⚫ 对于省垂直的系统,优先从省厅局获取数据, 地市数据作为参考,对于地市水平的系统,优先从地市获取数据,省厅局数据作为参考。
⚫ 在“一数一源”基础上, 使用上下级机构或平行机构的数据和数源单位进行主数据的交叉核对, 以提高自然人、法人主数据的及时性、准确性。
数据管理治理平台整体流程如下图所示。
本平台除主数据管理外,还涉及到共享交换、目录、 共享网站、 统一维护管理平台、 ETL 等系统。所有系统在客户侧的入口都是共享网站, 因此主数据管理系统需和共享网站进行集成,通过共享网站单点登陆进行账号安全认证,并将问题数据工单推送到统一维护管理平台。平台同事也确保了数据安全。 自然人、法人的许多信息涉及到个人隐私、商业机密等,在共享时需要高度保证数据的安全性, 以防止非法窃听、信息涉密等。 本项目对敏感信息做了事前、 事中、 事后三个阶段安全保障。