📂 第六章、数据库技术基础

📁 6.1 基本概念

📖 6.1.1 数据库与数据库管理系统

数据库系统是一个采用了数据库技术，有组织地、动态地存储大量相关联数据，方便多用户访问的计算机系统，广义上讲，DBS 是由数据库、硬件、软件和人员组成的。

数据库是统一管理的、长期储存在计算机内的、有组织的相关数据的集合。其特点是数据间联系密切、冗余度小、独立性较高、易扩展，并且可为各类用户共享。

Tips—数据库系统的构成 ：

1、数据库
 
2、硬件平台
 
3、软件（应用程序）
 
4、数据库管理员

数据定义（DDL）：用户可以对数据库的结构描述，包括外模式、模式和内模式的定义；数据库完整性定义；安全保密定义，如口令、级别和存取权限等。

数据库操作（DML）：数据库的增删改查。

📖 6.1.2 数据库技术的发展

数据库技术发展阶段：
↓
人工管理阶段 (1、数据量少；2、数据不保存；3、没有软件管理系统)
↓
文件系统阶段(1、数据可长期保留；2、数据不属于某个特定应用；3、文件组织形式多样化)
↓

数据库系统阶段（1、采用复杂数据模型表示数据结构；2、较高的数据独立性）

文件系统特点：

1）数据冗余：
文件与应用程序密切相关，相同的数据集合在不同的应用程序中使用时，经常需要重复定义、重复存储，数据冗余度大。
 
2）数据不一致性：
由于相同数据的重复存储，单独管理，给数据的修改和维护带来难度，容易造成数据的不一致。
 
3）数据孤立：
数据联系弱。由于数据分散在不同的文件中，而这些文件可能具有不同的文件格式，文件之间是孤立的，从整体上看没有反映现实世界事物之间的内在联系，因此很难对数据进行合理的组织以适应不同应用的需要。

📖 6.1.3 DBMS的功能和特点

DBMS是位于用户与操作系统之间的一层数据管理软件，是一个大型复杂的软件系统 。

数据库管理系统（DBMS）是数据库系统的核心软件，有一组相互关联的数据的集合和一组用以访问这些数据的软件组成，主要功能包括:
数据定义功能、数据操纵功能、数据库的运行管理、数据组织、存储管理和数据库的建立与维护。

特点：

1.数据结构化且统一管理

2.有较高的数据独立性

3.数据控制功能

(1)数据库的安全性 (2)数据的完整性 (3)并发控制 (4)故障恢复：事物内部故障、系统故障、介质故障及计算机病毒。
 
故障恢复主要是指恢复数据库本身，即在故障引起数据库当前状态前后不一致后，将数据库恢复到某个正确状态或一致状态，恢复的原理非常简单，就是建立冗余数据，冗余是物理级别的，通常认为逻辑级别是没有冗余的。

DBMS分类：关系型数据库系统、面向对象的数据库系统、对象关系数据库系统。

其中面向对象数据库系统的两个特点：

1、面向对象数据模型能完整地描述现实世界的数据结构，能表达数据间的嵌套、递归联系；
 
2、具有面向对象技术的封装性和继承性提高了软件的可重用性。

关系型数据库是表的集合，表是记录的集合；属性指表的一列。

常用的查询语言:域关系、元组关系、关系代数。

📖 6.1.4 数据库系统的体系结构

站在数据库管理系统的角度看：

数据库系统体系结构一般采用三级模式结构。

站在用户的角度看：

数据库系统体系结构分为集中式、分布式、C/S（客户端/服务器）和并行结构。

📖 6.1.5 数据库系统的三级模式结构

三级模式和两级映像: ⭐ ⭐ ⭐

三级模式:

1、外模式(子模式、用户模式) ——提高了数据的逻辑独立性和物理独立性。其中外模式是面向用户和应用程序员，对应的视图，保证数据库安全性的一个有力措施 ，每个用户只能看见和访问所对应的外模式中的数据，一个数据库可以有多个外模式。。
 
2、模式(概念模式、逻辑模式) ——是面向建立和和维护数据库人员，对应的是表，一个数据库只有一个模式。
 
3、内模式(存储模式)——是面向系统程序员，对应的是存储文件，一个数据库只有一个内模式。

两级映像:

模式/内模式的映像: 该映像存在于概念级和内部级之间，实现了概念模式到内模式之间的相互转换，。
外模式/模式的映像：该映像存在于外部级和概念级之间，实现了外模式到概念模式之间的相互转换。
 
通过三级模式二级映像，当内模式改变时，外模式不需要改变，当外模式改变时，逻辑模式也是不一定要改变，
 
正是三级模式间的两层映像保证了数据库系统中的数据具有较高的数据独立性。
 
数据独立性包括数据逻辑独立性和数据物理独立性。
 
数据逻辑独立性——指当数据库的内模式发生改变时，数据的逻辑结构不变，为了保证应用程序的正确执行，需要修改外模式 /（概念）模式之间的映像。
 
数据物理独立性——指用户的应用程序与数据库的逻辑结构是相互独立的，为了保证应用程序的正确执行，需要修改（概念）模式 / 内模式之间的映像。

eg1：

三个级别：

与三级模式相对应，数据库系统可以划分为三个抽象级：

(1)用户级数据库：
对应于外模式，是用户看到和使用的数据库，又称用户视图。一个数据库可有多个不同的用户视图。
 
(2)概念级数据库：
对应于模式，是所有用户视图的最小并集，一个数据库应用系统只有一个DBA视图。
 
(3)物理级数据库：
对应于内模式，是数据库的低层表示，它描述数据的实际存储组织，是最接近于物理存储的，又称为内部视图。

📁 6.2 数据模型

📖 6.2.1 数据模型的基本概念

模型是对现实世界特征的模拟和抽象，数据模型是对现实世界数据特征的抽象。

常用的数据模型分为概念数据模型和基本数据模型。

1、概念数据模型也称为信息模型，是按用户的观点对数据和信息建模，是现实世界到信息世界的第一层抽象，强调其语义表达功能，易于用户理解，是用户和数据库设计人员交流的语言主要用于数据库设计。这类模型中最著名的是实体联系模型，简称 E-R 模型。
 
2、基本数据模型是按计算机系统的观点对数据建模，是现实世界数据特征的抽象，用于DBMS 的实现。不同的数据模型具有不同的数据结构形式，目前最常用的数据结构模型有层次模型 (hierarchical model)、网状模型 (network model)、关系模型(relational Model)和面向对象数据模型 (object oriented model)。其中，层次模型和网状模型统称为非关系模型。

📖 6.2.2 数据模型的三要素

数据库结构的基础是数据模型，用来描述数据的一组概念和定义。数据模型的三要素是数据结构、数据操作以及数据的约束条件。

📖 6.2.3 E-R模型 ⭐ ⭐ ⭐

实体联系模型简称 E-R模型，所采用的3个主要概念是实体、联系和属性。

实体-联系模型（E-R模型）用以描述现实世界的概念模型，E-R图中，实体集中作为主码（或主键）的一部分属性名下面加下划线标明，另外，实体集与联系的线段上标注联系的类型。

E-R模型中，实体通常用矩形框内写明实体名表示，联系用菱形框内写明联系名表示，属性用椭圆形写明属性值表示。
  
实体是现实世界中可以区别与其他对象的“事件”或“物体”，每个实体由一组特性（属性）来表示，其中的某一部分属性可以唯一标识实体，例如学校的教师定义为实体集，职工号就是实体的属性。

属性是实体某方面的特性，E-R模型属性分类：

1、简单属性和复合属性：简单属性（比如职工性别）是原子的、不可再分的，复合属性可以细分为更小的部分（比如职工家庭地址可以细分省市县等）。
 
2、单值属性和多值属性：一个属性可以是单值也可以是多值的，比如职工姓名和工号是单值，职工亲属姓名为多值。
 
3、NULL属性：当实体某个属性上没有值或属性值未知时，用NULL值来表示无意义或不知道。
 
4、派生属性：由其他属性得来，比如职工生日或者年龄可以根据身份证得来，参加工作时间可以得出工作年限。

实体的联系分为实体内部的联系和实体与实体之间的联系。实体内部的联系反映数据在同一记录内部各字段间的联系，这里着重讨论实体集之间的联系。

1.两个不同实体之间的联系
  (1)1:1（一对一）：班主任和班级的关系
  (2)1: （一对多）：班级和学生的关系
  (3) * ： * （多对多）：学生和课程的关系
  
2.两个以上不同实体集之间的联系
  (1)1:1:1
  (2)1:1: *
  (3)1: ：*：比如一个特护病房有多个病人和多个医生，一个医生只负责一个病房，一个病人只属于一个病房。
  

(4) * ：* ：*：供应商、项目和零件之间的关系，单个供应商可以为多个项目提供多种零件，每个项目可以使用多个供应商提供的零件，每个零件可以由不同的供应商提供。

3.同一实体集内的二元联系

同一实体集内的各实体之间也存在1:1、1:和:*关系，比如职工和领导的1:*联系，职工实体集内的婚姻联系1:1。

eg2：
  
扩充的E-R模型:

1.弱实体
弱实体是指某实体是否存在必须以另一个实体为前提，例如企业职工与家属的联系，家属就属于“弱实体”，职工与家属之间的所属联系属于依赖关系。在扩展的 B-R图中，弱实体用双线矩形框表示。

2.特殊化
特殊化：实体间存在共性，也具有各自的特殊性，这样，一个实体集可以按照某些特征区分为几个子实体，比如学生分为男生、女生，或者学生可以分为小学生、初中生、高中生。

E-R模型应用举例: ⭐ ⭐ ⭐

📖 6.2.4 基本的数据模型

层次模型(Hierarchical Model)：

层次模型采用树型结构表示数据与数据间的联系。在层次模型中，每个结点表示一个记录类型(实体)，记录之间的联系用结点之间的连线表示，并且根结点以外的其他结点有且仅有个双亲结点。上层和下一层类型的联系是1:n 联系(包括1:1联系)。

层次模型不能直接表示多对多的联系。若要表示多对多的联系，可采用冗余节点法或虚拟节点分解法。
 
缺点：只能表示1:n 的联系，尽管有许多辅助手段实现 m:n 的联系，但较复杂不易握:由于层次顺序严格和复杂，插入删除操作的限制比较多，导致应用程序编制比较复杂。
   
优点:记录之间的联系通过指针实现，比较简单，查询效率高。
   
1968年，美国IBM 公司推出的IMS 系统(信息管理系统)是典型的层次模型系统，20世纪70年代在商业上得到了广泛的应用。

网状模型(Network Model)：

采用网络结构表示数据与数据间联系的数据模型称为网状模型(Network Model)。在网状模型中，允许一个以上的节点无双亲，一个节点可以有多于一个的双亲。

网状模型(也称 DBTG 模型)是一个比层次模型更具有普遍性的数据结构，是层次模型的一个特例。

Tips—层次模型和网状模型的主要区别:

(1)网状模型中子女节点与双亲节点的联系不唯一，因此需要为每个联系命名。

(2)网状模型允许复合链，即两个节点之间有两种以上的联系。

优点: 能更为直接地描述现实世界，具有良好的性能，存取效率高。
 
缺点:结构复杂。

关系模型(RelationalModel)：

关系模型(Relation Model)是目前最常用的数据模型之一。关系数据库系统采用关系模型作为数据的组织方式，在关系模型中用表格结构表达实体集以及实体集之间的联系，其最大特色是描述的一致性。关系模型是由若千个关系模式组成的集合。一个关系模式相当于一个记录型，对应于程序设计语言中类型定义的概念，关系是一个实例，也是一张表，对应于程序设计语言中变量的概念。给定变量的值随时间可能发生变化，类似地，当关系被更新时，关系实例的内容也随时间发生了变化。

由于关系模型比网状、层次模型更为简单灵活，因此，数据处理领域中，关系数据库的使用已相当普遍。但是，现实世界存在着许多含有更复杂数据结构的实际应用领域，例如 CAD数据、图形数据和人工智能研究等，需要有一种数据模型来表达这类信息，这种数据模型就是面向对象的数据模型。

面向对象数据模型(Object Oriented Model)：

面向对象数据模型(Object Oriented Model)的核心概念如下:
(1)对象和对象标识(OID)。对象是现实世界中实体的模型化，与记录、元组的概念相似，但远比它们复杂。每一个对象都有一个唯一的标识，称为对象标识。对象标识不等于关系模式中的记录标识，OID 是独立于值的，全系统唯一的。
   
(2)封装(encapsulate)。每一个对象是状态 (state)和行为(behavior)的封装。对象的状态是该对象属性的集合，对象的行为是在该对象状态上操作的方法(程序代码)的集合。被封装的状态和行为在对象外部是看不见的，只能通过显式定义的消息传递来访问。
   
(3)对象的属性 (object attibute)。对象的属性描述对象的状态、组成和特性，对象的某个属性可以是单值或值的集合。对象的一个属性值本身在该属性看来也是一个对象。
   
(4)类和类层次(class and class hierarchy)。
1、类。所有具有相同属性和方法集的对象构成了一个对象类。任何一个对象都是某个对象类的一个实例 (instance)。对象类中属性的定义域可以是任何类，包括基本类，如整型、实型和字串等;一般类，包含自身属性和方法类本身。
2、类层次。所有的类组成了一个有根有向无环图，称为类层次(结构)。一个类可以从直接/间接祖先(超类)中继承(inhent)所有的属性和方法，该类称为子类。
   
(5)继承(inherit)。子类可以从其超类中继承所有属性和方法。类继承可分为单继承(即一个类只能有一个超类)和多重继承 (即一个类可以有多个超类)。面向对象数据模型比网络、层次、关系数据模型具有更加丰富的表达能力。由于面向对象模型的丰富表达能力，模型相对复杂。

📁 6.3 数据存储和查询

数据库系统的功能部件通常可划分为存储管理器和查询处理器部件

📖 6.3.1 存储管理器

存储管理器负责数据库中数据的存储、检索和更新。

存储管理器组件包括:

(1)权限及完整性管理器。检查试图访问数据库用户的权限，检测数据是否满足完整性约束.
 
(2)事务管理器。保证一旦发生了故障，数据库的一致性状态，以及并发事务执行时不发生冲突。
 
(3)文件管理器。管理磁盘空间的分配，管理用于表示磁盘所有信息的数据结构。
 
(4)缓冲管理器。负责将数据从磁盘放入内存，并决定哪些数据应被缓冲放入内存。

📖 6.3.2 查询处理器

查询处理器的组件包括:

(1)DDL解释器。解释DDL语并将其放入数据字典中。
 
(2)DML 编译器。将查询语言中的 DML 语句翻译为一个计算方案，包括一系列查询计算引擎能理解的命令。

📁 6.4 数据仓库和数据挖掘基础知识

📖 6.4.1 数据仓库

数据仓库 是一个用以更好地支持企业（或组织）决策分析处理的、面向主题的、集成的、不可更新的（相对稳定的）、随时间不断变化的数据集合。

本质上和数据库一样，是长期储存在计算机内的、有组织、可共享的数据集合。

数据仓库的基本特征：

数据仓库的数据是面向主题的；
数据仓库的数据是集成的；
数据仓库的数据是不可更新的；
数据仓库的数据是随时间不断变化的。

数据仓库与数据库的比较：

数据仓库反映历史变化的属性主要表现：

(1)数据仓库中的数据时间期限要远远长于传统操作型数据系统 中的数据时间期限。

(2)传统操作型数据系统中的数据含有“当前值”的数据，这些数据在访问时是有效的，当然数据的当前值也能被更新，但数据仓库中的数据仅仅是一系列某一时刻生成的复杂的快照。

(3)传统操作型数据系统中可能包含也可能不包含时间元素，如 年、月、日、时、分、秒等，而数据仓库中一定会包含时间元素。

数据仓库系统的体系结构：

数据仓库的后台工具：包括数据抽取、清洗、转换、装载和维护工具。
 
数据仓库服务器：相当于数据库系统中的DBMS，负责管理数据仓库中数据的存储管理和数据存取，并给OLAP服务器和前台工具提供存取接口(如SQL查询接口)。
 
OLAP（On-Line Transaction Processing）服务器：透明地为前台工具和用户提供多维数据视图；
OLAP服务器则必须考虑物理上这些分析数据的存储问题 。
 
前台工具：包括查询报表工具、多维分析工具、数据挖掘工具和分析结果可视化工具等

📖 6.4.2 数据挖掘

数据挖掘是从大量数据中发现并提取隐藏在内的、人们事先不知道的但可能有用的信息和知识的一种新技术 。
 
目的：帮助决策者寻找数据间潜在的关联，发现经营者被忽略的要素 。
 
数据挖掘技术涉及数据库技术、人工智能技术、机器学习、统计分析等多种技术。

数据挖掘和传统分析方法的区别：

本质区别：
数据挖掘是在没有明确假设的前提下去挖掘信息，发现知识 。
 
数据挖掘所得到的信息应具有事先未知、有效和可实用3个特征。 
 

数据挖掘的数据源：

从数据仓库中来
优点：许多数据不一致的问题都较好地解决了，在数据挖掘时大大减少了清理数据的工作量
缺点：建立数据仓库是一项巨大的工程，耗时耗力 。
 
从数据库中来
如果只是为了数据挖掘，可以把一个或几个OLTP数据库导入一个只读的数据库中，然后在上面进行数据挖掘。

数据挖掘的功能 ：

1、趋势和演变分析
2、关联分析
3、聚类
4、概念描述
5、偏差检测

数据挖掘的流程 ：

(1)问题定义
在开始数据挖掘之前最先的也是最重要的要求就是熟悉背景知识，弄清用户的需求 。
 
(2)建立数据挖掘库
要进行数据挖掘必须收集要挖掘的数据资源。一般建议把要挖掘的数据都收集到一个数据库中。
 
(3)分析数据
分析数据就是通常所进行的对数据深入调查的过程。从数据集中找出规律和趋势，发现因素之间的相关性。
 
(4)调整数据
通过上述步骤的操作，对数据的状态和趋势有了进一步的了解， 这时要尽可能对问题解决的要求能进一步明确化、进一步量化。
 
(5)模型化
在问题进一步明确，数据结构和内容进一步调整的基础上，就可以建立形成知识的模型。
 
(6)评价和解释