MongoDB存储引擎发展及WiredTiger深入解析(二)

news2024/11/15 18:40:06

在现代的数据管理领域中,MongoDB作为一个高性能、开源的NoSQL数据库系统,已经在全球范围内被广泛应用。而MongoDB背后的存储引擎,作为其数据管理的核心组件,也经历了不断的发展和优化。本文将对MongoDB的存储引擎发展进行简要回顾,并重点介绍其当前的默认存储引擎——WiredTiger。

一、MongoDB存储引擎发展概述

在早期,MongoDB主要使用的是MMAPv1存储引擎。基于内存映射文件的数据管理方式,MMAPv1在某些特定场景下表现出色。然而,随着数据量的增长和复杂应用场景的增多,MMAPv1在大量写入操作下的性能瓶颈逐渐显现。

为了解决这个问题,MongoDB团队开始寻找新的存储引擎方案。最终,他们选择了收购WiredTiger存储引擎团队,并在后续的版本中将其集成为MongoDB的新存储引擎。自MongoDB 3.2版本起,WiredTiger正式成为了默认存储引擎,为MongoDB带来了显著的性能提升和更多的功能特性。

二、WiredTiger存储引擎的实现原理

  1. 核心数据结构:B树

WiredTiger的核心数据结构是B树,这是一种自平衡的搜索树。B树能够在O(log n)的时间复杂度内进行查找、插入和删除操作,这使得WiredTiger能够在大规模数据存储的场景下,仍能够保持较低的查询延迟和高吞吐量。WiredTiger使用B树来管理数据的索引,以实现高效的数据访问和修改。

在这里插入图片描述

  1. 多版本并发控制(MVCC)

WiredTiger还采用了多版本并发控制(MVCC)的机制,这是一种并发控制技术。通过为每个事务创建不同的数据版本,MVCC实现了并发事务的隔离性。在WiredTiger中,每个数据页都会记录事务的版本号,以及该版本号对应的数据。当事务需要读取数据时,WiredTiger会根据事务的版本号来选择合适的数据版本。这种机制可以避免读取操作与写入操作之间的冲突,提高并发性能。

  1. 数据压缩算法

为了减少数据存储的空间占用,WiredTiger实现了一系列的数据压缩算法。数据压缩可以通过使用更少的磁盘空间来存储数据,从而减少IO操作的次数,提高系统的整体性能。WiredTiger支持多种压缩算法,如Snappy、LZ4等,用户可以根据实际需求选择合适的压缩算法。

  1. 事务管理与日志记录

在WiredTiger中,每个事务都有一个唯一的事务ID,用于标识事务的开始和结束。事务的提交是通过将所有修改操作写入事务日志来实现的,确保数据的持久性和一致性。在系统发生故障时,WiredTiger可以通过回放事务日志来恢复数据的一致性。

  1. Cache与WAL

WiredTiger的Cache采用Btree的方式组织,每个Btree节点为一个page,root page是btree的根节点,internal page是btree的中间索引节点,leaf page是真正存储数据的叶子节点。btree的数据以page为单位按需从磁盘加载或写入磁盘。WiredTiger采用Copy on write的方式管理修改操作(insert、update、delete),修改操作会先缓存在cache里,持久化时,修改操作不会在原来的leaf page上进行,而是写入新分配的page。

此外,按照MongoDB的默认配置,WiredTiger的写操作会先写入Cache,并持久化到WAL(Write Ahead Log)。每60秒或log文件达到2GB时,会做一次Checkpoint,将当前的数据持久化,产生一个新的快照。

总结来说,WiredTiger存储引擎的实现原理主要包括B树的使用、MVCC机制、数据压缩算法以及事务管理和日志记录等。这些机制的结合使得WiredTiger能够在大规模数据存储和高并发访问的场景下,提供高性能和高可靠性的数据存储解决方案。

三、WiredTiger存储引擎深入解析

在这里插入图片描述

WiredTiger是一个高性能、可扩展的存储引擎,为MongoDB提供了强大的数据存储和管理能力。以下是WiredTiger存储引擎的一些关键特性和优势:

  1. 文档级别的并发控制:WiredTiger支持文档级别的并发控制,这意味着多个客户端可以同时修改集合中的不同文档,而不会相互干扰。这种并发控制机制大大提高了MongoDB的并发处理能力和整体性能。

  2. 高度可压缩的数据存储:为了减少磁盘空间的占用和降低I/O开销,WiredTiger支持多种压缩算法,如Snappy、zlib等。通过压缩数据和索引,WiredTiger能够更高效地存储和管理大量数据,同时提高查询性能。

  3. 支持事务:从MongoDB 4.0版本开始,WiredTiger引擎引入了多文档事务的支持。事务是一组操作,要么全部成功,要么全部失败,保证了数据的一致性和完整性。这对于需要执行复杂操作和处理关键数据的应用场景至关重要。

  4. 基于B+树的索引:WiredTiger使用B+树作为索引结构,支持快速的数据检索和范围查询。B+树是一种平衡的多路搜索树,能够有效地管理大量的索引数据,提供高效的查询性能。

  5. 日志和检查点机制:为了保证数据的持久性和恢复能力,WiredTiger采用了日志(journaling)和检查点(checkpoint)机制。日志记录了所有的数据修改操作,可以用于在系统崩溃后恢复数据。检查点则是将内存中的数据定期刷新到磁盘上,确保数据的持久性。这种机制保证了即使在意外情况下,数据也能得到完整的恢复。

  6. 灵活的存储配置:WiredTiger提供了灵活的存储配置选项,可以根据不同的工作负载和硬件环境进行优化。开发者可以根据实际需求调整内存大小、缓存策略、日志大小等参数,以适应特定的性能需求和应用场景。

四、总结与展望

通过引入WiredTiger存储引擎,MongoDB在数据存储和管理方面取得了显著的进步。WiredTiger的高性能、高并发、可压缩和事务支持等特点,使得MongoDB能够处理大规模的数据集,并满足各种复杂应用场景的需求。

未来,随着技术的不断发展和应用场景的不断拓展,MongoDB和WiredTiger将继续优化和演进,为开发者提供更加高效、稳定和灵活的数据存储解决方案。我们期待着MongoDB和WiredTiger在未来的发展中带来更多的创新和突破。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1444289.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据结构——6.2 图的存储与基本操作

6.2 图的存储与基本操作 概念 图的存储 邻接矩阵存有向图和无向图 根据邻接矩阵求度: 无向图:第i个结点的度 第i行 (或第列) 的非零元素个数 有向图: 第i个结点的出度 第i行的非零元素个数 第i个结点的入度 第i列的非零元素个数 第i个结…

数据库恢复

文章目录 前言一、事务1.概念2.定义语句3.ACID特性 二、数据库恢复的必要性1.为什么要进行数据库恢复2.数据库恢复机制的作用 三、数据恢复使用的技术1.数据转储2.登记日志文件 四 、不同故障的数据恢复策略1.事务内部的故障2.系统故障3.介质故障 五、具有检查点的恢复技术1.检…

【机器学习笔记】基于实例的学习

基于实例的学习 文章目录 基于实例的学习1 基本概念与最近邻方法2 K-近邻(KNN)3 距离加权 KNN4 基于实例/记忆的学习器5 局部加权回归5 多种回归方式对比6 懒惰学习与贪婪学习 ​ 动机:人们通过 记忆和行动来推理学习。 1 基本概念与最近邻方…

Cubase学习:音频转midi

大家好!我是诗书画唱!今天要分享的小技巧就是Cubase中的音频转midi的功能!希望对你有所帮助!以后我会在这个账号分享自己知道的很多小技巧!关注我!不迷路!大家也可以关注我后,在我的空间搜索关键词,找到各种对应的教程进行学习,非常的方便!而且自己的教程会尽可能纠…

数据结构~~树(2024/2/8)

目录 树 1、定义: 2、树的基本术语: 3、树的表示 树 1、定义: 树是一种非线性的数据结构,它是由n(n>0)个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树&…

《动手学深度学习(PyTorch版)》笔记8.4

注:书中对代码的讲解并不详细,本文对很多细节做了详细注释。另外,书上的源代码是在Jupyter Notebook上运行的,较为分散,本文将代码集中起来,并加以完善,全部用vscode在python 3.9.18下测试通过&…

C++初阶:适合新手的手撕vector(模拟实现vector)

上次讲了常用的接口:C初阶:容器(Containers)vector常用接口详解 今天就来进行模拟实现啦 文章目录 1.基本结构与文件规划2.空参构造函数(constructor)4.基本函数(size(),capacity(),resize(),reserve())4.增…

Android---Jetpack Compose学习002

Compose 布局。Compose 布局的目标:1)实现高性能;2)让开发者能够轻松编写自定义布局;3)在 Compose 中,通过避免多次测量布局子级可实现高性能。如果需要进行多次测量,Compose 具有一…

【MySQL】数据库的基础——数据库的介绍、MySQL的介绍和架构、SQL分类、MySQL的基本使用、MySQL的存储引擎

文章目录 MySQL1. 数据库的介绍1.2 主流数据库 2. MySQL的介绍2.1 MySQL架构2.2 SQL分类2.3 MySQL的基本使用2.4 MySQL存储引擎 MySQL 1. 数据库的介绍 数据库(Database,简称DB)是按照数据结构来组织、存储和管理数据的仓库。它是长期存储在计…

安装了多个Java版本如何指定特定版本

Java版本问题的实战场景 机器安装了一个JDK 8的安装版本,默认的安装路径是 C:\Program Files\Java,JDK的安装版本同时安装了JDK 和JRE, 安装的路径分别是: JDK 路径: C:\Program Files\Java\jdk1.8.0_361JRE 路径: C…

Java图形化界面编程——菜单组件 笔记

2.7 菜单组件 ​ 前面讲解了如果构建GUI界面,其实就是把一些GUI的组件,按照一定的布局放入到容器中展示就可以了。在实际开发中,除了主界面,还有一类比较重要的内容就是菜单相关组件,可以通过菜单相关组件很方便的使用…

在 Windows上恢复删除照片的 4 种有效方法

您是否曾在 Windows 7/8/10/11 中不小心删除过照片?如何轻松快速地恢复已删除的照片?在这里这篇文章列出了几种在Windows 11/10/8/7中恢复已删除照片的可行方法,而MiniTool数据恢复软件 是丢失照片恢复的最佳选择。 意外删除的照片 根据一项…

【深度学习每日小知识】卷积神经网络(CNN)

在深度学习领域,卷积神经网络(CNN)彻底改变了视觉分析领域。凭借从图像中提取复杂模式和特征的能力,CNN 已成为图像分类、目标检测和面部识别等任务不可或缺的一部分。本文全面概述了 CNN,探讨了其架构、训练过程、应用…

《CSS 简易速速上手小册》第5章:CSS 动画与过渡(2024 最新版)

文章目录 5.1 CSS 过渡基础:网页的微妙舞步5.1.1 基础知识5.1.2 重点案例:按钮悬停效果5.1.3 拓展案例 1:渐变显示导航菜单5.1.4 拓展案例 2:动态调整元素大小 5.2 关键帧动画:编排你的网页芭蕾5.2.1 基础知识5.2.2 重…

宠物空气净化器哪个牌子好?养猫家庭如何挑选宠物空气净化器?

养猫的朋友都知道,猫咪掉毛是一个令人头痛的问题。猫毛和皮屑会漂浮在空气中,不仅遍布全屋的各个角落,而且清理起来也非常麻烦,特别是那些难以清除的猫毛。更糟糕的是,这些猫毛还可能引发人们的过敏反应,如…

Netty源码系列 之 HashedWheelTimer源码

Netty优化方案 之前总结NioEventLoop以及其他内容时,已经总结了Netty许多优化的设计方案。 1.Selector的优化 (1) 为epoll空转问题提供了解决思路,虽然并没有从根本上解决epoll空转问题,但是使用一个计数器的方式可以减少空转所带来的性能…

[word] word如何打印背景和图片? #微信#其他#经验分享

word如何打印背景和图片? 日常办公中会经常要打印文件的,其实在文档的打印中也是有很多技巧的,可以按照自己的需求设定,下面给大家分享word如何打印背景和图片,一起来看看吧! 1、打印背景和图片 在默认的…

【数据结构与算法】【小白也能学的数据结构与算法】迭代算法专题

🎉🎉欢迎光临🎉🎉 🏅我是苏泽,一位对技术充满热情的探索者和分享者。🚀🚀 🌟特别推荐给大家我的最新专栏《数据结构与算法:初学者入门指南》📘&am…

面向数据报编程-UDP协议

目录 前言: 1.UDP协议API 1.1UDP编程原理 1.2DatagramSocket类 (1)DatagramSocket构造方法 (2)DatagramSocket普通方法 1.3DatagramPacket类 (1)DatagramPacket构造方法 (2…

电商小程序03登录页面开发

目录 1 创建应用2 创建页面3 首页功能搭建4 登录页搭建5 设置叠加效果总结 小程序开发在经过需求分析和数据源设计之后,就可以进入到页面开发的阶段了。首先我们需要开发登录的功能。 登录功能要求用户输入用户名和密码,勾选同意用户协议和隐私协议&…