【数据库】物理操作的一趟扫描算法机制原理，理解关系代数据与物理计划的关系，以及代价评估的应用和算法优化

news2024/12/25 9:15:16

一趟扫描算法

专栏内容：

手写数据库toadb
本专栏主要介绍如何从零开发，开发的步骤，以及开发过程中的涉及的原理，遇到的问题等，让大家能跟上并且可以一起开发，让每个需要的人成为参与者。
本专栏会定期更新，对应的代码也会定期更新，每个阶段的代码会打上tag，方便阶段学习。

开源贡献：

toadb开源库

个人主页：我的主页
管理社区：开源数据库
座右铭：天行健，君子以自强不息；地势坤，君子以厚德载物.

文章目录

一趟扫描算法
前言
概述
适用场景
扫描迭代器
扫描算法类型
扫描操作应用类型
- 一次一个元组的操作
- 整个表的操作
- - 去重
  - 分组
总结
结尾

前言

随着信息技术的飞速发展，数据已经渗透到各个领域，成为现代社会最重要的资产之一。在这个大数据时代，数据库理论在数据管理、存储和处理中发挥着至关重要的作用。然而，很多读者可能对数据库理论感到困惑，不知道如何选择合适的数据库，如何设计有效的数据库结构，以及如何处理和管理大量的数据。因此，本专栏旨在为读者提供一套全面、深入的数据库理论指南，帮助他们更好地理解和应用数据库技术。

数据库理论是研究如何有效地管理、存储和检索数据的学科。在现代信息化社会中，数据量呈指数级增长，如何高效地处理和管理这些数据成为一个重要的问题。同时，随着云计算、物联网、大数据等新兴技术的不断发展，数据库理论的重要性日益凸显。

因此，本专栏的分享希望可以提高大家对数据库理论的认识和理解，对于感兴趣的朋友带来帮助。

概述

在前一篇博文中，我们介绍了操作符代价评估模型，根据代价来区分，在扫描操作中，如果对表的文件从磁盘只读取一遍，就叫做一趟扫描算法；并不是所有扫描能够在读取一遍时完成。

本文主要分享一趟扫描算法原理和机制，包括扫描迭代器的实现，对于一元操作和二元操作下的流程介绍。

适用场景

表扫描的操作，操作的数据块必须加载到缓冲区中，也就是在内存中使用，针对表的大小与缓存区的大小的关系，可以大致分为以下几种情况：

读取一次磁盘，操作对象可以全部存放到缓冲区中，比如投影，选择操作；
操作处理结果不能全部存放在缓冲区中，这就需要将中间结果的一部分再次写入磁盘，此时就需要多趟算法，比如去重等操作；

一趟算法适用于操作对象能装入缓冲区的操作，还有操作结果也能全部装入缓冲区的操作，此外就需要两趟，甚至更多趟算法。

扫描迭代器

在从基本表中获取数据时，我们并不会将整个表全部加载到缓冲区，因为数据库往往并发很多操作，分配给每个操作的缓冲区是有限的。因此，在扫描时，我们需要使用迭代器的模式，每次从迭代器中返回一个元组，然后进行处理，直到迭代器为空为止。

迭代器实现的接口主要有三个，打开表Open(), 获取一条元组GetNext()，关闭表Close()；

用代码表示扫描如下：

void Open(relation r)
{
    r.Open(mode);
    curr = r;
}

tuple GetNext()
{
    t = curr.GetNext();

    return t;
}

void Close()
{
    curr.Close();
}