1、数据建模
概念模型:信息模型,不依赖具体的计算机系统,也不对应具体的DBMS,概念级别;基本元素包括:实体、属性、域(属性的取值范围)、键(标识符、身份证)、关联(事务之间关系)
逻辑模型:包括层次、网状、关系(最重要)、面向对象、对象关系;关系完整性涉及约束:实体、参照、用户定义
物理模型:具体技术实现因素,真实数据存放;基本元素包括:表、字段、视图、索引、存储过程、触发器
建模过程:
数据需求分析:用户需求-数据流图
概念模型设计:建立逻辑模型,关系模式
逻辑模型设计: 转化为关系模式
物理模型设计: 转换成真正数据库结构,命名,确定字段等
元数据与数据元 :
元数据 :是关于数据的数据。它描述了其他数据的特征,使我们能够理解和有效地使用这些数据
数据元:是构成数据库或数据集一部分的最小单位。它通常指的是表格中的一个特定字段或列
元数据是关于数据的描述性信息,而数据元是构成数据集或数据库的具体单元
2、数据标准化
定义:实现数据共享的基础。使得数据简单化、结构化和标准化
包括元数据标准化、数据元标准化、数据模式标准化、数据分类与编码标准化和数据标准化管理
数据元提取:自上而下(Top-Down)提取法和自下而上 (Down-Top)提取法。对于新建系统的数据元提取,一般适用“自上而下”的提取法
数据元制定过程:描述→界定业务范围→开展业务流程分析与信息建模→借助于信息模型,提取数据元,并按照一定的规则规范其属性→对于代码型的数据元,编制其值域,即代码表→与现有的国家标准或行业标准进行协调→发布实施数据元标准并建立相应的动态维护管理机制
数据模式描述方法有:图描述(有IDEFIX方法和UML图)方法和数据字典方法
数据标准化管理:确定数据需求、制定数据标准、批准数据标准和实施数据标准
3、数据运维
工作内容包括:数据存储、资源调度管理、存储资源管理、负载均衡、安全管理、数据备份、数据容灾、数据质量和评价控制
备份结构有:DAS备份结构、基于LAN的备份结构、LANFREE备份结构和SERVER-FREE备份结构
备份策略:完全备份、差分备份和增量备份
数据容灾: 应用容灾和数据容灾
RPO(允许丢失的数据量)、RTO(系统恢复的时间)
数据质量评价控制 :直接评价法和间接评价法、前期控制和后期控制
数据清理三个步骤: 数据分析→数据检测→数据修正
4、数据开发利用
包括数据集成、数据挖掘和数据服务(目录服务、查询服务、浏览和下载服务、数据分发服务)、数据可视化、信息检索
数据挖掘:
任务包括数据总结、关联分析、分类和预测、聚类分析和孤立点分析
流程一般包括确定分析对象、数据准备、数据挖掘、结果评估与结果应用五个阶段
数据服务: 涉及数据目录服务、数据查询与浏览及下载服务、数据分发服务
数据可视化:可视化的表现方式分为七类:一维数据可视化、二维数据可视化、三维数据可视化、多维数据可视化、时态数据可视化、层次数据可视化和网络数据可视化
信息检索:
方法:全文检索、字段检索、基于内容的多媒体检索、数据挖掘
技术包括:布尔逻辑检索技术、截词检索技术、临近检索技术、限定字段检索技术、限制检索技术
5、数据安全
安全后果:非授权的信息泄露、非授权的数据修改、拒绝服务
威胁方式:无意(自然灾害,软硬件错误,人为因素)、有意(授权用户、恶意代理)
安全对策:防止非法的数据访问、防止推导、保证数据库的完整性、保证数据的操作完整性、保证数据的语义完整性、审计和日志、标识和认证、机密数据管理、多级保护、限界
安全机制:用户的身份认证、存取控制、数据库加密、数据审计、推理控制
6、练一练
7、思维记忆导图