Go 存储系列:LSM存储引擎 LevelDB

news2024/11/18 3:43:34

概念介绍

LSM-Tree 被是一种面向写多读少应用场景的数据结构 ,被 Hbase、RocksDB 等强力 NoSQL 数据库采用作为底层文件组织方式。

简单的LSM-Tree 包含 2 层树状数据结构:

  • Memtable 并完全驻留在内存中(假设 T0)

  • SStables 存储在磁盘中(假设 T1)
    在这里插入图片描述

  • 记录会先从 memtable T0 组件中读取,如果没有,则会从 SStables T1 组件中读取

  • 新记录被插入到 memtable T0 组件中。 如果插入导致 T0 组件超过某个大小阈值,则会从 T0 中删除连续的条目段并将其合并到磁盘上的 T1 中。

LSM-Tree

Memtable

MemTable是在内存中的数据结构,用于保存最近更新的数据,会按照Key有序地组织这些数据,LSM树对于具体如何组织有序地组织数据并没有明确的数据结构定义,例如Hbase使跳跃表来保证内存中key的有序。

因为数据暂时保存在内存中,内存并不是可靠存储,如果断电会丢失数据,因此通常会通过WAL(Write-ahead logging,预写式日志)的方式来保证数据的可靠性。

SSTables (Sorted String Table )

有序键值对集合,是LSM树组在磁盘中的数据结构。为了加快SSTable的读取,可以通过建立key的索引以及布隆过滤器来加快key的查找。

数据合并

由于我们将数据作为 SSTable 存储在磁盘中,假设有 N 个 SSTable,每个表的大小为 M,那么最坏情况读取时间复杂度是 O(N* Log(M) ),因此,随着 SSTable 数量的增加,读取时间复杂度也会增加。
另外,当我们刚刚刷新数据库中的 SSTable 时,多个 SSTable 中存在相同的 Key,LSM 会使用Compactor,Compactor 在后台运行,合并 SSTables 并删除具有相同行的多行,并添加带有最新数据的新键,并将它们存储在新的合并/压缩的 SSTable 中。

goleveldb 中LSM树实现

  • https://github.com/justinethier/keyva/
  • https://github.com/syndtr/goleveldb

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1110076.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

可视化(Visual) SQL初探

一、背景 在当今数字化时代,数据信息作为企业和组织的宝贵资源之一,如何挖掘其中的价值并帮助企业和组织个体决策,已然成为炙手可热的话题。数据分析作为其具体载体,是从数据中提取信息、洞察机遇、制定战略、做出决策的关键过程…

在云计算环境中,如何利用 AI 改进云计算系统和数据库系统性能

文章目录 前言一、关于唐明洁教授二、AI for System2.1 面向分布式作业的人工智能2.1.1 现阶段企业云计算系统环境所遇到的普遍痛点2.1.2 云计算系统环境所遇到的普遍痛点的解决方案(一)Google Autopilot Eurosys 2021方案(Pod级别&#xff0…

熟练使用 Redis 的五大数据结构:Java 实战教程

入门 入门阶段主要记住 Redis 的命令,熟练使用 Redis 的 5 大数据结构就可以了。 如果没有 Redis 环境,可以直接通过这个网址https://try.redis.io/,很赞,它会给你模拟一个在线的环境可供你尽情使用! 熟练使用Redis的…

C++11lambda表达式--你了解C++的lambda表达式吗?他的底层是怎样的呢?

文章目录 1.lambda表达式的出现1.1C98对内置类型排序1.2C98对自定义类型排序1.3C11中lambda表达式对数据进行排序 2.lambda表达式的语法2.1lambda表达式语法的介绍2.2lambda表达式语法的讲解1.交换函数的lambda表达式写法2.捕捉列表捕捉3.捕捉列表混合捕捉4.不能相互赋值 可以拷…

excel怎么固定前几行前几列不滚动?

在Excel中,如果你想固定前几行或前几列不滚动,可以通过以下几种方法来实现。详细的介绍如下: **固定前几行不滚动:** 1. 选择需要固定的行数。例如,如果你想要固定前3行,应该选中第4行的单元格。 2. 在E…

2023年全网最新 Windows10 搭建 Node.js 环境教程

目录 一、Node.js安装包下载1.1 官网下载node.js安装包1.2 百度网盘获取node.js安装包 二、Windows上安装Node.js三、配置npm在安装全局模块时的路径和缓存cache的路径二、Pycharm 调用 NodeJS 运行 js 代码的环境配置 本文将向大家介绍在 Windows10 上安装 Node.js 的方法。本…

短视频剪辑矩阵系统开发源码----源头搭建

短视频剪辑矩阵系统开发源码----源头搭建 目录 一、源码技术构建源码部署搭建交付之---- 二、短视频矩阵系统功能模型搭建 三、短视频矩阵系统开发的路径呢规则 一、源码技术构建源码部署搭建交付之---- 1.需要协助系统完成部署、接口全部正常接入、系统正常运行多久&#…

canvas操作像素的处理,图片操作例子,黑白蒙版等

经常拍照的同学会使用图片处理软件,给自己的照片加上各种效果。图片处理软件也是软件,同样也是由代码写的,那么如何实现图片处理呢,这章我们就探讨一下这个问题。 canvas中像素处理涉及到3个方法,我们先来看一下API吧…

Jmeter项目实战

一,性能测试流程 性能需求分析 性能方案设计 业务建模 脚本优化 执行测试 收集性能数据 结果分析 性能测试报告 二,性能需求分析 项目管理系统业务:登录 注册 搜索(一般最核心的就是登陆,大多只对登录做压测&a…

Spring framework day 01:spring 整合数据源(连接池)

前言 在现代的企业应用开发中,数据库是不可或缺的一部分。而对于大部分的应用程序来说,与数据库的交互涉及到频繁的连接、查询和事务操作。为了提高应用程序的性能和可扩展性,使用连接池来管理数据库连接是一个不错的选择。而 Spring 框架提…

基于多线程+队列实现生产者和消费者

基于多线程队列实现生产者和消费者 需求分析设计思路代码展示 需求分析 需要设计一个系统,能够实时接收视频传来的车牌数据并注入到对应的车辆实体类中。这可能涉及到多线程编程,以处理并监督车牌数据的流入和处理。下面是一种可能的设计思想&#xff1…

如何一起修改多张图片大小?一键修改多张图片尺寸的技巧

如果我们需要在社交平台上分享图片信息,就要把调整图片大小到平台要求的尺寸,单张图片尺寸修改比较简单,要是多张的话,为了提高处理效率,我们就要用到专业工具了;今天分享一个在线图片编辑器,利…

ES6 Class和Class继承

1.class的基本语法 class可以理解为是一个语法糖,将js只能通过构造函数创建实例的方法进行了补充 构造函数: function Person ({ name, age18 }) {this.name namethis.age age } new Person({name: 张三}) Class类: class Person {con…

TCP 传输、重传及工作原理

IP和MAC层的内存受限,用于发送数据包。因此,它们都会限制消息的长度。 这一限制要求TCP在提供给IP层之前,将可变长度的字节打包成多个段。每个段的长度应该是合适的。 下面是一个简单的图示,展示了段是如何通过互联网发送的。 1*I…

淘宝店铺所有商品数据接口及店铺商品数据分析

获取淘宝店铺所有商品数据的接口是淘宝开放平台提供的接口,通过该接口可以获取店铺所有商品数据。 通过淘宝开放平台接口获取店铺所有商品数据的方法如下: 在开放平台注册成为开发者并创建一个应用,获取到所需的 App Key 和 App Secret 等信…

华为数通方向HCIP-DataCom H12-831题库(单选题:301-310)

第301题 关于配置防火墙安全区域的安全级别的描述,错误的是 A、同一系统中,两个安全区域不允许配置相同的安全级别 B、只能为自定义的安全区域设定安全级别 C、安全级别一旦设定不允许更改 D、新建的安全区域,系统默认其安全级别为1 答案:D 解析: 新创建的安全区域缺省未…

UE4/5:通过Blender制作BlendShape导入【UE4/5曲线、变形目标,blender形态键】

UE4/5里面,我们经常可以在一些骨骼模型上面看到相关的曲线,如Metahuman里面就是通过这个曲线来改变人物的脸部表情。 而这里笔者将教导如何去制作这种曲线。 这种曲线都是存在于骨骼模型上的,所以我们要么直接制作骨骼模型导入ue&#xff0…

【SOPHON】算能盒子SE-16的配套x86交叉编译环境搭建

目录 工具包简介配置盒子内部的开发环境配置盒子外部的开发环境安装tpu-mlir安装libsophon 环境 安装sophon-ffmpeg和sophon-opencv环境sophon-sail_x.y.z.tar.gz安装 盒子默认登录:admin/admin SophonSDK既兼容第三代BM1684芯片,也支持第四代BM1684X芯片…

MIT6.5830 Lab0-Go tutorial实验记录(四)

MIT6.5830 Lab0-Go tutorial实验记录(四) – WhiteNights Site Lab0的最后一步–对.csv文件进行查询。 实验步骤 更改handlers.go 那么首先修改下handlers中的方法,毕竟现在不是从sqlite中查询数据了。 // TODO: some code goes here // Ge…

rabbitmq发送json格式 utf8编码数据

参考文章:Spring-Cloud RabbitMQ 用法 - 发送json对象 - 简书 生产者: 消费者: