【中项】系统集成项目管理工程师-第4章 信息系统架构-4.4数据架构

news2024/11/14 18:21:05

前言:系统集成项目管理工程师专业,现分享一些教材知识点。觉得文章还不错的喜欢点赞收藏的同时帮忙点点关注。 

       软考同样是国家人社部和工信部组织的国家级考试,全称为“全国计算机与软件专业技术资格(水平)考试”,目前涵盖了计算机软件、计算机网络、计算机应用技术、信息系统、信息服务5大领域,总共27个科目,也是分为初、中、高三个级别。

       通信专业主要需要关注“计算机网络”这个专业类别,可以考的科目有初级资格的“网络管理员”、中级的“网络工程师”。

       还有5个高级资格专业,分别是“信息系统项目管理师“”系统分析师“”系统架构设计师“”网络规划设计师“”系统规划与管理师“。

       软考高级证书在通信行业比较吃香,主要原因有两个: 通信行业与计算机软件是相近专业,评职称满足相近专业的要求; 通信高级不能以考代评,但软考高级可以,很多考生通过考软考高级来评高级职称。
————————————————

                       

4.4数据架构

       数据架构描述了组织的逻辑和物理数据资产以及相关数据管理资源的结构。数据架构的主要内 容涉及数据全生命周期之下的架构规划,包括数据的产生、流转、整合、应用、归档和消亡。数据 架构关注数据所处的生命周期环节中数据被操作的特征和数据类型、数据量、数据技术处理的发展、数据的管控策略等数据领域的概念相关。

4.4.1发展演进

       作为信息系统架构的组成,数据架构在不同时代其形态也是不一样,它是随着信息技术的不断 发展而向前演进,主要经历了单体应用架构时代、数据仓库时代和大数据时代等。

1.单体应用架构时代

       在信息化早期(20世纪80年代),信息化初步建设,信息系统以单体应用为主,例如:早期的 财务软件、OA办公软件等。这个时期数据管理的概念还在萌芽期,数据架构比较简单,主要就是  数据模型、数据库设计,满足系统业务使用即可。

2.数据仓库时代

       随着信息系统的使用,系统的数据也逐步积累起来。这时候,人们发现数据对组织是有价值的,但是割裂的系统导致了大量信息孤岛的产生,严重影响了组织对数据的利用。于是,一种面向 主题的、集成的、用于数据分析的全新架构诞生了,它就是数据仓库。

       与传统关系数据库不同,数据仓库系统的主要应用是OLAP ,支持复杂的分析操作,侧重决策  支持,并且提供直观易懂的查询结果。这个阶段,数据架构不仅关注数据模型,还关注数据的分布 和流向。

3.大数据时代

       大数据技术的兴起,让组织能够更加灵活高效地使用自己的数据,从数据中提取出更多重要的 价值。与此同时,在大数据应用需求的驱动下,各类大数据架构也在不断发展和演进着,从批处理 到流处理,从大集中到分布式,从批流一体到全量实时

4.4.2基本原则

       数据架构的设计原则是在遵循架构设计通用原则的情况下,有数据架构自身的特殊考虑。合理 的数据架构设计应该是解决以下问题:功能定位合理性问题,面向未来发展的可扩展性问题,处理 效率高效或者说高性价比的问题;数据合理分布和数据一致性问题。

1.数据分层原则

       首先,组织数据按照生命周期就是分层次的,因此数据分层原则更多应该解决的是层次定位合 理性的问题。在给每个层次进行定位的同时,对每个层次的建设目标、设计方法、模型、数据存储 策略及对外服务原则进行一定的约束性定义和控制。

2.数据处理效率原则

       合理的数据架构需要解决数据处理效率的问题。所谓的数据处理效率并不是追求高效率,而是 追求合理,因为所有的数据存储和处理都是有代价的。换句话讲:数据处理效率的问题也可以说是 解决满足数据处理效率要求的成本合理化的问题。

       数据处理的代价主要就是数据存储与数据变迁的成本,在实践中,真正影响数据处理效率的是 大规模的原始数据的存储与处理。在这些原始明细数据的加工、处理、访问的过程中,尽量减少明 细数据的冗余存储和大规模的搬迁操作,可以提升数据处理效率

3.数据一致性原则

       合理的数据架构能够有效地支持数据管控体系,很多的数据不一致性是因为数据架构不合理所 导致的。其中,最大的原因就是数据在不同层次分布中的冗余存储以及按照不同业务逻辑的重复加 工。因此,如何在数据架构中减少数据重复加工和冗余存储,是保障数据一致性的关键所在

4.数据架构可扩展性原则

       数据架构设计的可扩展性原则可以从以下角度来保障:

基于分层定位的合理性原则之上。只有清晰的数据层次定位,以及每个数据层次合理的模型  和存储技术策略,才能更好地保证数据架构在未来支持新增业务类型、新增数据整合要求、新增数 据应用要求的过程中的可扩展性。

架构的可扩展性需要对数据存储模型和数据存储技术也进行考虑。 5.服务于业务原则

合理的数据架构、数据模型、数据存储策略,最终目标都是服务于业务。例如,社会保险快速的业务流程运转以及高效而且精准的业务决策支持,是社会保险行业两方面的业务目标。因此, 时候在面临满足某种业务特殊目标的时候,可以为了业务的体验放弃之前的某些原则

4.4.3架构举例

       本项目采用集中式的数据资源管理模式建设全市统一的数据中心,汇聚全市就业、社保、劳动 关系等社会保险内部各类数据资源,以及银行、税务、公安等外部数据资源。按照统一的技术规范、数据编码和格式标准,进行数据清洗整合、数据建模、数据挖掘,构建社会保险数据仓库,并 根据治理主体应用需求,从数据仓库中抽取归集相关数据,形成保险档案、公共服务、监控治理、 决策分析等专题库。主要数据资源库包括源数据库、交换库、过渡库、整合库、主题库等。

1)源数据库。源数据库是某城市社会保险智慧治理中心所需数据的源端,包括社保数据、就 业数据、劳动关系数据、人事人才数据等社会保险内部数据以及银行、税务、公安等外部部门数据。

2)交换库。利用OGG等同步工具或通过数据同步、服务调用等方式将源端的数据库同步到 交换数据库中,采用数据同步或者镜像的方式,降低对源数据库的影响。

3)过渡库。通过OGG For Bigdata抽取变量数据、Sqoop抽取、推送、导入等方式抽取交换库 中的数据,存储于Hadoop平台中的过渡库中,以便提高大批量数据处理性能。

4)整合库。对过渡库的数据进行对照、转换、清洗、聚集,按照统一的库表结构存储在整合 库中,为各主题库提供增量数据源和全量数据源。

5)主题库。主题库即服务库,根据治理主题应用需求,从整合库中提取所需数据,为治理应 用和可视化展现提供支撑。

1 #include "stdio.h"
2 void main()
3 {
4     int time;
5     for (time=1;time<=10;time++)
6     printf("%d、喜欢的帮忙点赞收藏加关注哦!\n",time);
7 }

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1944852.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

hamcrest 断言框架使用示例和优势分析

引言 在软件测试领域&#xff0c;断言是验证代码行为是否符合预期的关键环节。Hamcrest 断言框架&#xff0c;以其独特的匹配器&#xff08;Matcher&#xff09;概念和清晰的失败信息&#xff0c;赢得了广泛的赞誉。尽管 Python 标准库中没有内置的 Hamcrest 库&#xff0c;但…

【前端新手小白】学习Javascript的【开源好项目】推荐

目录 前言 1 项目介绍 1.1 时间日期类 1.2 网页store类 1.3 事件类 1.4 Number类 1.5 String类 1.6 正则验证类 1.7 ajax类 1.8 data数据类 1.9 browser浏览器类 2 学习js-tool-big-box开源项目时有哪些收获 2.1 你可以这样做 2.2 如果你需要使用本项目 2.3 你…

开局一个启动器:从零开始入坑ComfyUI

前几天刷某乎的时候看到了一位大佬写的好文&#xff0c;可图 IP-Adapter 模型已开源&#xff0c;更多玩法&#xff0c;更强生态&#xff01; - 知乎 (zhihu.com) 久闻ComfyUI大名&#xff0c;决定试一下。这次打算不走寻常路&#xff0c;不下载现成的一键包了&#xff0c;而是…

矩估计与最大似然估计的通俗理解

点估计与区间估计 矩估计与最大似然估计都属于点估计&#xff0c;也就是估计出来的结果是一个具体的值。对比区间估计&#xff0c;通过样本得出的估计值是一个范围区间。例如估计一个人的年龄&#xff0c;点估计就是最终直接估计年龄为50岁&#xff0c;而区间估计是最终估计的…

Qt源码交叉编译带openssl的Qt版本

一.背景 近期项目由于对接的后台服务是https的&#xff0c;之前交叉编译的Qt是不带openssl的&#xff0c;为了能支持https&#xff0c;必须要重新编译Qt。 二.环境 环境准备&#xff1a; Ubuntu版本 &#xff1a;18.04&#xff1b; openssl 版本&#xff1a;1.1.1.g&#xff1b…

go-kratos 学习笔记(5) 删除hellword从新生成服务

go-kratos 删除hellword模版里的服务&#xff0c;从新生成服务users 直接删除api/helloword 目录&#xff0c;在api目录下新建 users目录&#xff1b;使用命令生成新的proto #项目根目录执行 kratos proto add api/users/user.protobuf generate生成的user.proto需要根据自己…

CCS光源的高输出TH2系列平面光源

光源在机器视觉系统中起着重要作用&#xff0c;不同环境、场景及应用合适光源都不一样&#xff0c;今天我们来看看高输出TH2系列平面光源。它可以对应高速化的生产线&#xff0c;为提高生产效率做出贡献。 TH2系列光源的特点&#xff1a; 1、实现了更高一级的高亮度 实现了更…

Ubuntu22.04系统安装nodejs 14 保姆级教程

下载软件包 从NodeSource 的官方源下载并安装 Node.js 14.x 版本的软件包&#xff0c;适用于 Debian 和 Ubuntu 系统&#xff1a; curl -sL https://deb.nodesource.com/setup_14.x | sudo -E bash - 更新软件源 更新软件源 sudo apt-get update 下载bodejs14 下载nodejs14 sud…

Doris全方位教程+应用实例

Impala性能稍领先于presto,但是presto在数据源支持上非常丰富&#xff0c;包括hive、图数据库、传统关系型数据库、Redis等 缺点&#xff1a;这两种对hbase支持的都不好&#xff0c;presto 不支持&#xff0c;但是对hdfs、hive兼容性很好&#xff0c;其实这也是顺理成章的&…

单片机学习(18)--红外遥控器

红外遥控器 17.1红外遥控的基础知识1.红外遥控简介2.硬件电路3.基本发送和接收4.NEC编码5.遥控器键码6.51单片机的外部中断7.外部中断寄存器 17.2红外遥控的程序代码1.红外遥控&#xff08;1&#xff09;工程目录&#xff08;2&#xff09;main.c函数&#xff08;3&#xff09;…

ubuntu在命令行输出里查找内容,dmesg

直接执行查看日志指令会出来很多页。dmesg为开机日志信息。记录了开机时硬件的过程 sudo dmesg 执行结果&#xff1a; 可以用竖号“|”&#xff0c;在前一条命令返回的内容进行查找。下图为查找bluetooth sudo dmesg |grep -i bluetooth

ufw命令简介

正文共&#xff1a;3999 字 41 图&#xff0c;预估阅读时间&#xff1a;4 分钟 我们之前在CentOS系统中研究了iptables命令的使用方法&#xff08;iptables命令简介&#xff09;&#xff0c;还做了简单的应用实验&#xff08;如何通过iptables配置URL过滤黑名单&#xff1f;、如…

DevExpress WinForms自动表单布局,创建高度可定制用户体验(二)

使用DevExpress WinForms的表单布局组件可以创建高度可定制的应用程序用户体验&#xff0c;从自动安排UI控件到按比例调整大小&#xff0c;DevExpress布局和数据布局控件都可以让您消除与基于像素表单设计相关的麻烦。 P.S&#xff1a;DevExpress WinForms拥有180组件和UI库&a…

LeetCode:删除排序链表中的重复元素(C语言)

1、问题概述&#xff1a;给定一个已排序链表的头&#xff0c;删除重复元素&#xff0c;返回已排序的链表 2、示例 示例 1&#xff1a; 输入&#xff1a;head [1,1,2] 输出&#xff1a;[1,2] 示例 2&#xff1a; 输入&#xff1a;head [1,1,2,3,3] 输出&#xff1a;[1,2,3] 3…

【Python】一文向您详细介绍 K-means 算法

【Python】一文向您详细介绍 K-means 算法 下滑即可查看博客内容 &#x1f308; 欢迎莅临我的个人主页 &#x1f448;这里是我静心耕耘深度学习领域、真诚分享知识与智慧的小天地&#xff01;&#x1f387; &#x1f393; 博主简介&#xff1a;985高校的普通本硕&#xff…

set 与 map底层实现

目录 set与map底层基本介绍​ 红黑树的迭代器 operator 情况一&#xff1a;右不为空 情况二&#xff1a;右为空 operator-- 情况一&#xff1a;end()-- 情况二&#xff1a;左子树不为空 情况三&#xff1a;右子树不为空 项目代码 RBTree.h myMap.h mySet.h set与m…

TCP的socket的API

关键的两个类 1)ServerSocket 该类专门给服务器用的,这个构造方法传入端口进行连接 accept相当于是接听操作,进行连接 close关闭当前套接字,当socket对象与进程的生命周期不一致时需要提前释放资源,就需要调用close 为什么UDP的客户端服务器中没有这个close方法,因为这个sock…

Manticore Search(es轻量级替代)

概念&#xff1a; Manticore Search 是一个使用 C 开发的高性能搜索引擎&#xff0c;创建于 2017 年&#xff0c;其前身是 Sphinx Search 。Manticore Search 充分利用了 Sphinx&#xff0c;显着改进了它的功能&#xff0c;修复了数百个错误&#xff0c;几乎完全重写了代码并保…

服务器数据恢复—Isilon存储集群节点误删除的数据恢复案例

Isilon存储结构&#xff1a; Isilon存储使用的是分布式文件系统OneFS。在Isilon存储集群里面每个节点均为单一的OneFS文件系统&#xff0c;所以Isilon存储在进行横向扩展的同时不会影响数据的正常使用。Isilon存储集群所有节点提供相同的功能&#xff0c;节点与节点之间没有主备…

国产大模型之光-Kimi AI

又是一年年中&#xff0c;各种工作总结、报告数不胜数&#xff0c;打工人们又面临年中绩效的考核&#xff0c;还恰逢毕业季&#xff0c;又有很多校招朋友初入职场&#xff0c;成为打工人&#xff0c;老板PUA&#xff0c;Mentor不带教&#xff0c;加班熬夜掉头发。 现在各大互联…