238页9万字大数据治理与服务平台建设及数据服务实施方案(word)

news2024/11/24 5:41:57

本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除。

1 项目解决方案

1.1 建设业务技术方案

1.1.1 业务需求分析

根据对招标要求的理解,建设业务需求主要包括如下几个方面:

(1)建设完善数据库:通过人口、法人、空间地理库数据源整合开发,并对接电子证照库。实现对人口、法人、空间地理信息、证照等的接入、整合、开发、利用。结合实际,构建公共主题库及专题库,为应用提供安全高质的专题数据服务。

(2)建立数据管理子系统:主要实现数据架构管理、数据关系管理、数据资产管理、数据标签管理、数据异常管理、数据分析管理、数据流程管理、流数据处理、知识图谱功能。

(3)扩展数据治理子系统:通过国家资源管理子系统实现资源申请、撤销、审核、查询、配置、目录管理、业务流程对接、监控模块对接等功能。

(4)建设大数据综合应用(一期):通过宏观经济、市场运行、民生幸福、城市立方体等专题应用的建设,构建大数据综合应用示范辅助领导决策,构建应用管理中心支撑数据应用,以为各部门提供优质的数据服务。

(5)建设数据开放子系统(一期):通过数据应用方管理、开放清单管理、数据开放管理、开放授权管理等构建全面的数据开放子系统,为数据应用方、数据管理方、外部第三方等提供数据注册、身份认证、订阅分发、开放数据追溯等功能。

(6)扩展平台集成门户:在大数据资源平台项目的基础上扩展功能。主要包括消息推送、数据推送、个人信息管理、系统管理等功能。

(7)建立数据开放门户:主要实现数据目录、数据接口、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各项门户目录的建设。

1.1.2 数据资源范围

本次项目建设范围覆盖招标方客户单位以及所有委办局。数据来源即为来自委办局、四大库、互联网及社会等业务数据。

本项目建设中公共数据管理涉及数据的汇聚、抽取、治理、交换、共享等全生命周期,在生命周期的各个阶段对数据的归属权、管理权有明确的界定,有利于各个项目参与单位能够做到权责明确、协调统一。

1.1.3 数据资源层次

本项目建设将于平台采用数据湖+数据库的数据存储架构。数据湖与数据库依托于大数据支撑平台建设。

(1) 数据湖

数据湖是所有从外部数据源落地到招标方客户单位的统一数据存储空间。

数据湖基于政务云提供的云数据库和云存储服务进行搭建(通常包括关系型数据库、NoSQL数据库、列数据库、分布式文件存储等),主要存放政府部门业务数据库、未经加工的原始业务数据库,支持存储结构化、非结构化等多种类型的数据。

数据湖通过大数据资源平台,与各部门业务应用系统、区级各部门或区数据管理部门的前置节点进行交换。数据湖中的共享数据依据元数据进行编目,并建立动态更新的资源目录。

数据湖的数据存储规模极其庞大,需要支持存储扩展和横向、纵向迁移,直接用于分析的平均价值密度较低,通常需经过预处理、集成后,形成高质量公共数据资源。

(2)数据库

数据库,用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的公共数据资源,其数据来源主要来自于数据湖。对于如一网通办等特殊应用,平台支持各部门政务应用系统与数据资源池的直接双向交互,无需通过数据湖进行中转,通过平台的调度引擎可进行交换链路的灵活设置。

数据库以面向不用数据应用、行业领域及主题进行划分(如:综合业务协同、公共基础库、公共主题库、扩展主题库等),并为业务应用和终端用户提供业务对象访问、数据集访问等数据类服务,支撑辅助决策、数据可视化、数据开放、数据挖掘分析等不同公共数据应用场景。

通过大数据资源平台提供的数据集成总线,对数据湖数据进行批量离线处理或实时处理,并将处理结果落地到数据资源池。数据资源池中的共享数据也需要依据元数据进行编目,并建立动态更新的资源目录。

数据库的数据存储规模极其庞大,需要采用合适的大数据平台对明细数据和汇总数据进行存储计算,计算结果可以使用分布式文件存储或关系型数据库,用于应用访问或直接展现。

1.1.4 整体业务架构

建立全市数据管理与利用体系:本项目将依托S市数据共享交换子平台,持续汇入各市级委办、各区县、市级统建系统、四大库的数据,并新增接入互联网及社会数据,通过数据生命周期管理子系统提供公共数据管理、数据层次管理、数据关联及流向分析、统一数据地图等功能,整合法人库、人口库、空间地理库数据源,并通过数据处理子系统建立经济活动、公用事业、社会关系等公共主题库,提供各类专业业务领域主题库建设的数据支撑,通过数据服务总线对外提供利用。建设安全管理子系统,提供安全数据采集、敏感数据管理、安全监管中心等功能。另外,将建立宏观经济、市场运行、民生幸福、城市综合体等一系列专题应用,在数据利用层面,通过平台集成门户对政务部门提供数据利用支撑,通过数据开放子系统与数据开放门户对各类社会机构提供数据利用支撑;进一步推动与促进数据共享交换与利用的生态体系构建,持续基于公共数据进行业务创新。

通过本次项目建设的各子系统、整合的人口、法人、空间地理库数据源,新建的公共主题库、专题库等,结合S市数据共享交换子平台,将初步构建较为完整的S市大数据资源平台,支撑智慧政府的改革。

1.1.5 业务功能描述

1.1.5.1 数据库建设

建设完善市级数据库:通过人口、法人、空间地理库数据源整合开发,并对接电子证照库。实现对人口、法人、空间地理信息、证照等的接入、整合、开发、利用。结合S市实际,构建公共主题库及专题库,为应用提供安全高质的专题数据服务。

1.1.5.1.1 公共基础库

1.1.5.1.1.1 人口库数据源整合

人口基础信息库提供身份核查和信息查询共享服务,通过输入公民姓名和身份证号码,便可查询居民身份号码和姓名匹配度以及死亡(注销)标识,也可提供公民性别、民族、出生日期、出生地等信息查询。

人口库数据源整合利用大数据资源平台已归集的人口相关数据,对人口库数据接入相关功能进行数据接入来源方面的功能整合开发。

通过对人口库数据源的全面梳理,对于原来由人口库向数据提供部门采集且已(将)接入大数据资源平台的数据,通过相关数据接入功能整合开发,改由大数据资源平台直接向人口库提供,不再需要相关数据提供部门重复提供。

1.1.5.1.1.2 法人库数据源整合

作为全市法人信息的基础数据库,法人库把原先碎片化存放的信息归集到法人名下,全面立体的展示法人相关信息。同时,法人库及S市法人信息共享与应用系统为全市其他平台和应用提供有力支撑。

法人库数据源整合利用大数据资源平台已归集的法人相关数据,对法人库数据接入相关功能进行数据接入来源方面的功能整合开发。

通过对法人库数据源的全面梳理,对于原来由法人库向数据提供部门采集且已(将)接入大数据资源平台的数据,通过相关数据接入功能整合开发,改由大数据资源平台直接向法人库提供,不再需要相关数据提供部门重复提供。

1.1.5.1.1.3 空间地理库数据源整合

空间地理库提供地图服务、影像服务、地名地址服务、三维服务与坐标转换等功能服务,持续为全市用户提供优质的地理信息服务。

空间地理库数据源整合,利用大数据资源平台已归集的空间地理相关数据,对空间地理库数据接入相关功能进行数据接入来源方面的功能整合开发。

通过对空间地理库数据源的全面梳理,对于原来由空间地理库向数据提供部门采集且已(将)接入大数据资源平台的数据,通过相关数据接入功能整合开发,改由大数据资源平台直接向空间地理库提供,不再需要相关数据提供部门重复提供。

1.1.5.1.2 支持公共主题库

立足于公共基础库,跨领域跨专题的数据提取并按主题进行整合汇聚,形成公共主题库,形成对专题的公共支撑。公共主题库数据来源不限于政府部门数据,包括事业单位、企业提供数据和互联网采集数据等。

1.1.1.1 数据治理子系统

扩展数据治理子系统:通过国家资源管理子系统实现资源申请、撤销、审核、查询、配置、目录管理、业务流程对接、监控模块对接等功能。

国家资源申请模块:开发资源申请功能,供资源需求方进行资源申请管理

资源撤销模块:开发资源撤销功能,供资源提供方进行资源撤销管理

资源审核模块:开发资源审核功能,供主管部门进行资源申请的审核管理

查询模块:查询已上线的所有资源及已发布的资源管理功能开发

消息管理模块:查看申请审核消息、待办消息、预警消息的消息管理功能开发

配置管理模块:配置管理功能开发,提供配置库表、文件资源申请审核、服务接口申请审核等功能

应用及事项管理模块:应用及事项管理功能开发,提供服务事项管理、政务事项管理等功能

使用单位对接模块:将本区数据共享交换平台使用单位信息注册到市数据共享交换平台的功能开发

目录对接模块:目录对接功能开发,提供下发目录接口秘钥、更新授权秘钥、目录分类获取、目录分类注册、目录分类变更、目录分类撤销管理等功能

资源对接模块:资源对接功能开发,提供库表资源对接发布、库表资源对接订阅、库表资源对接变更、库表资源对接撤销管理等功能

业务流程对接模块:业务流程对接功能开发,提供市数据共享交换平台对接管理功能

通知管理模块:通知管理功能开发,提供通知下发管理等功能

对接监控模块:监控目录及资源对接运行情况的功能开发

1.1.1.2 大数据综合应用

根据宏观经济、市场运行、民生幸福、城市立方体等专题应用的建设的要求,构建大数据综合应用示范辅助领导决策。

建立事件服务功能,主要实现事件规则定义、事件管理功能。

规则定义:事件规则定义提供简单事件的定义、复杂事件的组合规则定义,通过过滤、聚合和关联识别事件。

事件采集:时间采集提供事件采集的适配接口和信息转换,支持实时接收各系统的事件信息,完成信息的标准化处理。

事件处理:事件处理提供多事件并发处理的进程管理,对事件数据流进行大任务高并发的处理。

事件管理:开发事件管理功能,实现复杂事件的事件列表查看、事件处理等功能。

事件分发:事件分发是将事件下发给事件的订阅者,用于事件驱动型的业务触发。

在数据服务和事件服务的双重支撑下,构建应用管理中心支撑数据应用,为各部门提供优质的数据服务。

1.1.1.2.1 宏观经济专题

经济运行监测:开发包括GDP运行态势、工业增加值趋势、投资及消费趋势、对外贸易进出口运行态势、价格水平运行态势、金融运行态势的经济运行监测专题分析展示功能

宏观经济预测:开发包括GDP增速预测、工业增加值增速预测、M2增速预测,CPI预测的宏观经济预测专题分析展示功能

宏观景气指数预测:开发包括宏观预警指数、宏观一致指数、宏观先行指数、宏观滞后指数的宏观景气指数预测专题分析展示功能

市场主体发展:开发包括市场主体数量分析、区域活力分析、行业活力分析的市场主体发展专题分析展示功能

人口和就业:开发包括全市及各区人口情况、就业情况、人力资源情况的人口和就业专题分析展示功能

1.1.1.2.2 市场运行专题

主体准入分析:开发包括主体市场准入分析、主体市场退出分析、主体变迁分析的主体准入专题分析展示功能

产业结构调整:开发包括产业结构分布、产业结构调整分析的产业结构调整专题分析展示功能

主体经营分析:开发包括主体营收分析、主体纳税分析、就业规模分析的主体经营专题分析展示功能

大众创业分析:开发包括创业密度、创业热点行业分布、创业类型、创业年龄分布、创业者学历分布、创业生存周期、创业发展、创业与就业的大众创业专题分析展示功能

中小企业发展:开发包括对中小企业主体数量、分布区域、分布行业、生命周期情况分析的中小企业发展专题分析展示功能

电子商务发展:开发包括电子商务平台、电子商务经营者、电子商务交易、电子商务维权的电子商务发展专题分析展示功能

区域市场发展:开发包括产业数量分析、市场主体排名的区域市场发展专题分析展示功能

1.1.1.2.3 民生幸福专题

人口大数据首页:开发包括区域人口密度分布、人口增长趋势、老龄化趋势、不同年龄阶段的性别比、流动人口民族构成的人口大数据首页分析展示功能

人口迁移:开发包括外省市迁入本市的人口分布情况、职业特征、年龄特征、学历特征、迁移趋势特征的人口迁移专题分析展示功能

老龄化及养老:开发包括老龄化发展趋势、老年配套设施分布及完善情况、老年人疾病、养老方式、老年消费、老年需求的老龄化及养老专题分析展示功能

流动人口:开发包括流动人口的聚集地分布、流动人口来源地、流动人口转化为常驻人口的比例趋势、流动人口的民族构成、子女入学率、犯罪率、犯罪类型的流动人口专题分析展示功能

公共安全:开发包括刑事犯罪、交通违章的公共安全专题分析展示功能

食品安全:开发包括食品生产、食品流通、餐饮服务、食品检测、食品维权、食品事故的食品安全专题分析展示功能

政务服务能力:开发包括事项分类、办件数量、办件来源、跑腿次数、办理时限、办结率、行政相对人、各区热点事项的政务服务能力专题分析展示功能

1.1.1.2.4 城市综合体专题

城市立方体模型:开发包括360度分析展示、区域挖掘分析的城市立方体模型专题分析展示功能;

社区画像:开发包括公共能服务能力排名、老龄化排名、学龄儿童排名、人口结构、年龄结构、收入分布、民族结构、学历分布的社区画像专题分析展示功能。5cbd445035d66f09c6b3b8315ea74f66.jpeg

1.1.1.3 数据开放子系统

建设数据开放子系统(一期):通过数据应用方管理、开放清单管理、数据开放管理、开放授权管理等构建全面的数据开放子系统,为数据应用方、数据管理方、外部第三方等提供数据注册、身份认证、订阅分发、开放数据追溯等功能。

实现可配置的数据开放管理,支持配置后流通任务自动分发部署,在供应端与需求端节点实现标准化的数据接口,数据流通过程可支持标准化业务流程管理,实现自动化、可机读的数据流通,其中:数据开放需支持单条实时流通、异步批量流通两种模式,流通性能不低于10,000QPS。

1.1.1.3.1 数据应用方管理

身份注册:开发身份注册功能,提供自然人、法人身份注册;

身份验证:开发身份验证功能,区分使用者身份实现个性化服务,包括通过App或人脸识别进行身份验证以及法人用户通过法人一证通进行身份验证。

1.1.1.3.2 开放清单管理

公共数据资源ACL:开发公共数据资源ACL功能,提供公共信息资源目录的查看,基于目录实现数据访问控制;公共数据资源可根据公共信息资源目录及供应情况,使数据使用者获知公共数据提供的范围、方式、更新频率等信息,并整体控制某项数据资源是否开放;

公共数据服务接口注册:开发公共数据服务接口注册功能,实现公共数据服务发布;使得数据使用者获知公共数据服务接口与应用的获取方式、接口形式等信息,控制接口的可用性。

数据应用注册:开发数据应用注册功能,实现公共数据应用发布;可管理数据资源目录与清单、公共数据服务接口与数据应用的注册,以及第三方数据服务的注册。

第三方数据服务支持方服务接口注册:开发第三方数据服务支持方服务接口注册功能,实现第三方数据服务支持方服务接口发布;公共数据服务接口与应用注册需维护公共数据服务接口清单,第三方数据服务支持方以接口形式提供应用数据,便于数据使用者整合使用。提供接口获取方式等信息,控制接口可用性。

1.1.1.3.3 数据开放管理

可通过该管理模块对数据开放进行全过程的管理,不仅需要包括目录查看、数据信息项查看、数据应用查看、接口信息查看在内的一般性访问,还需包括建立与划分数据主题,开放数据资源的收藏、订阅与分发管理。除此之外,还需建立消息定义事件,由事件驱动事物执行的功能。

数据主题建立:开发数据主题建立功能,建立并管理数据主题

数据主题划分:开发数据主题划分功能,建立数据资源与主题的关联

消息事件管理:开发消息事件管理功能,按照消息定义建立事件,由事件驱动事务的执行

一般性访问:开发一般性访问功能,包括目录查看、数据信息查看、应用信息查看、接口信息查看等功能

收藏:开发收藏功能,注册的访问者收藏特定的数据集、接口、应用

订阅:开发订阅功能,注册的访问者可收藏对频繁更新的同类数据资源

订阅分发:开发订阅分发功能,当数据资源更新时,系统根据事件向相关订阅者推送

1.1.1.4 平台集成门户

扩展平台集成门户:基于统一鉴权中心的基础上实现多租户管理,并根据租户角色提供开发者门户(内部)、运营门户以及开放门户。

并在门户功能框架下实现消息推送、数据推送、个人信息管理、系统管理等功能。

篇幅有限,无法完全展示,喜欢资料可转发+评论,私信了解更多信息。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/488966.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

网站遭遇XSS注入如何排查及解决

首先要明白什么是XSS注入 存储型 XSS 的攻击步骤: 攻击者将恶意代码提交到目标网站的数据库中。用户打开目标网站时,网站服务端将恶意代码从数据库取出,拼接在 HTML 中返回给浏览器。用户浏览器接收到响应后解析执行,混在其中的…

Docker部署spring boot项目

在docker部署时首先要保证一般部署能够访问。 docker命令部署spring boot项目 目前主流的java框架为spring,软件包为jar包,只需以jar为基础构建容器环境。打包为jar后只需要jvm就可以运行,因此需要以jdk为镜像构建容器。 基于命令构建jdk环…

MySQL面试八股文:索引篇

索引的定义 索引是数据库中用来加速数据查询的一种数据结构。它可以将数据表中的某一列或多列进行排序,以便快速查找数据,减少数据库的扫描次数,提高查询速度。 索引的优缺点 索引的优点是可以大幅度提高数据查询的速度,尤其是…

( 数组和矩阵) 565. 数组嵌套 ——【Leetcode每日一题】

❓565. 数组嵌套 难度:中等 索引从 0 开始长度为N的数组 A,包含 0 到 N - 1 的所有整数。找到最大的集合 S并返回其大小,其中 S[i] {A[i], A[A[i]], A[A[A[i]]], ... } 且遵守以下的规则。 假设选择索引为 i 的元素 A[i] 为 S 的第一个元…

【Java|golang】1003. 检查替换后的词是否有效

给你一个字符串 s ,请你判断它是否 有效 。 字符串 s 有效 需要满足:假设开始有一个空字符串 t “” ,你可以执行 任意次 下述操作将 t 转换为 s : 将字符串 “abc” 插入到 t 中的任意位置。形式上,t 变为 tleft “…

【软考高项笔记】第1章 信息化发展1.3 现代化创新发展

1.3 现代化创新发展 1.3.1 农业农村现代化 采棉机,传感器检查温度湿度 乡村振兴战略 建设基础设施 发展智慧农业 建设数据乡村1.3.2 两化融合与智能制造(工业) 信息化 工业化 发展战略 坚持自主可控,安全高效,推进产业…

VESC操作入门——双轮毂电机控制和CAN通信

目录 一、VESC驱动轮毂电机1.1、硬件准备1.2、硬件接线1.3、校准电机1.4、主操作界面 二、CAN通信2.1、硬件连接2.2、代码说明2.3、发送指令 三、双轮毂电机3.1、校准第二个电机参数3.2、硬件连接3.3、CAN总线发送指令 四、把VESC做为USB转CAN模块 ODrive、VESC和SimpleFOC 教程…

【星戈瑞】Sulfo-Cyanine5 mal 磺酸跟水溶性生物标记试剂

水溶性Sulfo-Cyanine5 mal是一种用于生物标记和荧光成像的荧光染料。它的化学名称是Cyanine5 maleimide,分子式为C29H27ClN2O4S,分子量为576.05。Cyanine5 mal属于Cyanine染料家族,具有强烈的吸收和发射光谱,适用于生物分子的标记…

( 数组和矩阵) 769. 最多能完成排序的块 ——【Leetcode每日一题】

❓769. 最多能完成排序的块 难度:中等 给定一个长度为 n 的整数数组 arr ,它表示在 [0, n - 1] 范围内的整数的排列。 我们将 arr 分割成若干 块 (即分区),并对每个块单独排序。将它们连接起来后,使得连接的结果和按升序排序后…

云服务器vCPU和CPU有什么区别?

云服务器的vCPU和物理服务器的CPU有什么区别?阿里云百科以阿里云服务器ECS为例, 阿里云服务器vCPU和CPU是什么意思?CPU和vCPU有什么区别?一台云服务器ECS实例的CPU选项由CPU物理核心数和每核线程数决定,CPU是中央处理…

推荐算法实战项目:FNN 原理以及案例实战(附完整 Python 代码)

本文要介绍的是FNN模型,出自于张伟楠老师于2016年发表的论文《Deep Learning over Multi-field Categorical Data》。 论文提出了两种深度学习模型,分别叫做FNN(Factorisation Machine supported Neural Network)和SNN&#xff0…

如何利用 Kotlin 特性封装 DataStore

Jetpack DataStore是一种数据存储解决方案,由于使用了 Kotlin 协程或者 RxJava 以异步、一致的事务方式存储数据,用法相较于其它存储方案 (SharedPreferences、MMKV) 会更加特别,所以目前网上都没有什么比较好的 DataStore 封装。 个人了解了…

(十)Shapefile文件创建——创建Shapefile和dBASE

(十) Shapefile文件创建——创建Shapefile和dBASE ArcCatalog 可以创建新的 Shapefile 和 dBASE表,并可进行属性项及索引的操作定义 Shapefile 的坐标系统。当在目录中改变 Shapefile 的结构和特性 (Properties)时必须使用 ArcMap 来更新或重…

动态规划 --- 01背包

动态规划 — 01背包 一直到现在都非常害怕动态规划,因为基本上自己都无法想出dp递推式,太难受了 T.T 今天再一次遇到了需要写01背包的情况,根据自己学习的一点点经历,再稍微总结一下01背包吧,虽然是个被认为dp入门的…

自学Python必须知道的优秀社区

国内学习Python网站: 知乎学习平台:Python - 基础入门 - 知学堂黑马程序员视频库:大数据学习路线2023版-黑马程序员大数据学习路线图菜鸟教程:菜鸟教程 - 学的不仅是技术,更是梦想!极客学院:极…

香港服务器租用攻略:如何优化用户体验?

服务器是网站、应用程序和其他在线内容的核心,对于在线业务来说是至关重要的。如今,随着互联网的普及和数字化转型,越来越多的企业选择在香港租用服务器,以满足其业务需求。但是,租用服务器并不仅仅是选择一个服务商并…

让chatGPT给我写一个CSS,我太蠢了

前言 CSS这东西,让AI写的确有点难度,毕竟它写出来的东西,没办法直接预览,这是其次。重要的是CSS这东西怎么描述,不好描述啊,比如我让他给我制作一个这样的效果出来,没办法描述,所以…

AcWIng1085. 不要62(数位DP)

文章目录 一、问题二、分析三、代码 一、问题 二、分析 这道题涉及的算法是数位DP。如果大家不懂数位DP的话,可以先去看作者之前的文章:第五十章 动态规划——数位DP模型 假设一个数 n n n,我们先求出从 1 1 1到 n n n当中,所有…

《花雕学AI》如何用ChatGPT提升工作效率:适合不同场合的实用技巧大全

实用技巧分类目录 一、最佳ChatGPT 4提示 二、最佳写作和内容创作ChatGPT提示 三、最佳趣味性ChatGPT提示 四、最佳网络开发的ChatGPT提示 五、最佳音乐主题ChatGPT提示 六、最佳职业主题ChatGPT提示 七、最佳用于教育的ChatGPT提示 八、最佳用于市场营销的ChatGPT提示 九、最…

MEET开发者 | 选择和努力一样重要,专访杭州三汇测试工程师齐雪莲

「MEET开发者」栏目的第二期嘉宾是来自杭州三汇的测试工程师——齐雪莲。她是从小在新疆长大的甘肃人,10岁的时候回到了甘肃,大学又考回了新疆,在塔里木大学就读计算机科学与技术专业。 毕业后齐雪莲入职了三汇新疆办事处任测试一职&#xff…