前置知识,参考上一篇博客:CMU15-445-Spring-2023-Project #1 - 前置知识(lec01-06)
在存储管理器中实现缓冲池。缓冲池负责将物理页从主内存来回移动到磁盘。它允许 DBMS 支持大于系统可用内存量的数据库。缓冲池的操作对系统中的其他部分是透明的。例如,系统使用page唯一标识符(page_id_t)向缓冲池请求一个页面,但系统并不知道该页面是否已在内存中,也不知道系统是否需要从磁盘中获取该页面。
实现必须是线程安全的。
Task #1 - LRU-K Replacement Policy
这部分负责追踪缓冲池中的页面使用。
Impl:
src/include/buffer/lru_k_replacer.h
src/buffer/lru_k_replacer.cpp
LRU-K算法的基本思想是维护一个大小为K的历史记录,记录最近K次访问的信息。当需要替换缓存中的数据时,LRU-K会根据这个历史记录来判断哪些数据是最近最少使用的,然后将其替换出去。
与LRU相比,LRU-K增加了对历史访问的考量,因此更加灵活,能够更好地适应不同访问模式下的缓存需求。
LRU-K 算法驱逐的帧的后向 k 距离是替换器中所有帧的最大值。后向 k 距离计算为**当前时间戳(指当前时间而不是history中最近时间戳)**与前第 k 次访问时间戳之间的时间差。历史访问次数少于 k 次的帧的后向 k 距离为 +inf。当多个帧的后向 k 距离为 +inf 时,替换者会驱逐history中最末时间戳最小的帧。
- Evict(frame_id_t* frame_id):驱逐与所有其他可驱逐帧相比后向 k-distance 最大的帧。在输出参数中存储帧 ID 并返回 True。如果没有可驱逐帧,则返回 False。驱逐不同于remove,区别在于只需要将is_evictable_置为false即可。
- RecordAccess(frame_id_t frame_id):记录给定帧 ID 在当前时间戳被访问,没有存储该帧则新建一个node,此方法应在页面被固定在 BufferPoolManager 中后调用。
- Remove(frame_id_t frame_id):清除指定帧的所有访问历史记录,并从node_store_中删除。只有在 BufferPoolManager 中删除页面时才调用此方法。
- SetEvictable(frame_id_t frame_id, bool set_evictable):该方法控制帧是否可驱逐。它还控制 LRUKReplacer 的大小。具体来说,当某个页面的引用计数达到 0 时(pageGuard进行drop->bpm进行unpin),其对应的帧就会被标记为可驱逐,替换器的大小也会随之增加。
- Size():该方法返回当前 LRUKReplacer 中可驱逐帧的数量。
Task #2 - Buffer Pool Manager
实现缓冲池管理器(BufferPoolManager)。BufferPoolManager 负责从 DiskManager 抓取数据库页面并将其存储到内存中。BufferPoolManager 还可以在收到明确指示或需要删除页面以便为新页面腾出空间时,将脏页面写出到磁盘。
系统中的所有内存页面都由 Page 对象表示。缓冲池管理器无需了解这些页面的内容。Page 对象只是缓冲池中内存的容器,也就是说,每个页面对象都包含一个内存块,DiskManager 将把它用作从磁盘读取物理页面内容的复制位置。缓冲池管理器(BufferPoolManager)会重复使用同一个页面对象来存储数据,因为数据会在磁盘上来回移动。这意味着,在系统的整个生命周期中,同一个页面对象可能包含不同的物理页面。页面对象的标识符(page_id)可追踪其包含的物理页面;如果页面对象不包含物理页面,则其 page_id 必须设置为 INVALID_PAGE_ID。
每个页面对象还维护一个计数器(pincount),用于记录 “固定” 该页面的线程数。缓冲池管理器不允许释放被钉住的页面。每个页面对象也会记录它是否变脏(write过)。需要记录页面在解除固定前是否被修改过。BufferPoolManager 必须先将脏页面的内容写回磁盘,然后才能重新使用该对象。
BufferPoolManager 实现将使用 LRUKReplacer 类。LRUKReplacer 将跟踪页面对象被访问的时间,以便在必须释放帧以腾出空间从磁盘复制新的物理页面时,决定驱逐哪个页面对象。在 BufferPoolManager 中将 page_id 映射到 frame_id 时,请再次注意 STL 容器不是线程安全的。
Impl:
src/include/buffer/buffer_pool_manager.h
src/buffer/buffer_pool_manager.cpp
- FetchPage(page_id_t page_id):从缓冲池中获取指定page,此时增加pincount,且无法被驱逐;如果page不在缓冲池中,从空闲列表或替换器中选择一个frame(总是先从空闲列表中查找),通过调用 disk_manager_->ReadPage() 从磁盘读取页面,然后替换frame中的旧页面。如果空闲列表中没有可用页面,且所有其他页面当前都被固定(evictable),则应返回 nullptr。如果旧页面is dirty,需要先写入磁盘。
- UnpinPage(page_id_t page_id, bool is_dirty):is_dirty 参数会跟踪页面在固定期间是否被修改,如果页面之前is_dirty就为true,但是还没有写入磁盘,也就是脏页面会被缓冲,不会立即写回,避免下次fetch又要从磁盘读出。这时就不能置为false。如果pincount减为0了,需要将驱逐标记设为true。
- FlushPage(page_id_t page_id):刷新页面,将页面写入磁盘,而不管其固定状态如何。
- NewPage(page_id_t* page_id):在缓冲池中创建一个新的page,AllocatePage() 私有方法会为 BufferPoolManager 提供一个唯一的新页面 ID。
- DeletePage(page_id_t page_id):删除缓冲池中的指定page,DeallocatePage() 方法是一个无操作的方法,它模仿释放磁盘上的页面。
- FlushAllPages()
DiskManager::WritePage() 函数需要在获取的页面为脏时,或者刷新页面时调用。不要忘记unset页面的is dirty标记。
Task #3 - Read/Write Page Guards
在缓冲池管理器中,FetchPage 和 NewPage 函数返回的指针指向已被钉住的页面。钉住机制确保在页面上没有更多读写之前,页面不会被驱逐。要表明内存中不再需要该页面,必须手动调用 UnpinPage。
实现用于存储 BufferPoolManager 和 Page 对象指针的 BasicPageGuard。页面防护确保一旦相应的页面对象退出作用域(析构),就会调用 UnpinPage。
由于 BasicPageGuard 隐藏了底层的页面指针,因此它还可以提供 read-only/write API,这些 API 可提供编译时检查,以确保为每个用例正确设置 is_dirty 标志。
在未来的项目中,多个线程将读写同一页面,因此需要读写器锁存来确保数据的正确性。请注意,在页面类中,有相关的锁定方法用于此目的。与取消页面锁定类似,在使用页面后可能会忘记取消锁定。为了缓解这一问题,将实现 ReadPageGuard 和 WritePageGuard,一旦页面超出范围,它们就会自动解除锁定。
Impl:
src/storage/page/page_guard.cpp
src/buffer/buffer_pool_manager.cpp
实验结果
优化方面,减少stl的使用会明显增加qps。