Rockdb简介

news2025/1/11 4:17:05

背景

最近在使用flink的过程中,由于要存储的状态很大,所以使用到了rockdb作为flink的后端存储,本文就来简单看下rockdb的架构设计

Rockdb设计

Rockdb采用了LSM的结构,它和hbase很像,不过严格的说,基于LSM结构的存储都差不多,我们简单看一下它的架构图
在这里插入图片描述

写操作

1.写记录会先写入到WAL日志文件中,由于是顺序写,速度不会慢,然后再把记录写入内存中的memtable中,如果memtable达到阈值,就把这个memtable变成一个不可变的Immutable-memtable,此外会再创建出来一个新的memtable用于接收用户写入

2.Immutable-memtable内存表的数量达到上限后,会把他们的数据刷新到SSTable磁盘文件中,只保存固定数量的Immutable-memtable内存表

3.定期把低Level的sst文件合并成高Level的sst文件,其目的是为了清理已经被删除的记录,由于sstable文件是只Append,所以删除操作只有在文件合并的时候才会实际发生,此外,减少sst文件的个数,也有助于读取操作的性能

读操作

1.读首先读取memtable内存表,如果没有,从索引(布隆过滤器索引BloomFilterIndex或者数据索引DataIndex)中查找到记录所在的sstable文件的块位置,注意,索引(布隆过滤器索引BloomFilterIndex或者数据索引DataIndex)的数据最好是常驻内存的,也就是对于flink来说,state.backend.rocksdb.memory.high-prio-pool-ratio的配置值不要设置为0

2.获取到记录所在的sstable的对应数据块后,优先从内存中的BlockCache查找数据块,如果找到,查询结束,否则,继续下一步

3.读取sstable文件中的指定数据块的数据,返回记录后把对应的数据块放到BlockCache中,以便下次查找

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1220907.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

希亦ACE和小吉内衣洗衣机选哪个?两款洗衣机对比

内衣洗衣机可以称得上是实现幸福的小家电,它不仅懒人的福音还是我们打工人的福音,在每天下班之后可以有时间休息了,洗完澡还有要手洗内衣裤,真的很痛苦,拥有了内衣洗衣机简直是一件非常幸福的事情,但现在市…

wpf devexpress Property Grid创建属性定义

WPF Property Grid控件使用属性定义定义如何做和显示 本教程示范如何绑定WP Property Grid控件到数据和创建属性定义。 执行如下步骤 第一步-创建属性定义 添加PropertyGridControl组件到项目。 打开工具箱在vs,定位到DX.23.1: Data 面板,选择Prope…

HarmonyOS 实现底部导航栏

该功能实现需要Tabs、TabsController、TabContent、Column等组件 Tabs相当于Android中的BottomNavigationView TabContent相当于Android中的fragment TabBuilder内相当于每个Item Entry Component struct Main {public tabsController : object new TabsController()State c…

后端接口性能优化分析-多线程优化

👏作者简介:大家好,我是爱吃芝士的土豆倪,24届校招生Java选手,很高兴认识大家📕系列专栏:Spring源码、JUC源码🔥如果感觉博主的文章还不错的话,请👍三连支持&…

微软 Gradle 强强联手,Gradle 构建服务器正式开源!

作者:Nick Zhu - Senior Program Manager, Developer Division At Microsoft 排版:Alan Wang Gradle 构建服务器 (Build Server for Gradle) 在九月份,我们宣布 Microsoft 和 Gradle 联手探索了一种基于 Build Server Protocol(B…

用户运营:如何搭建用户分析体系

在运营的工作范畴中,用户运营是很重要的一个环节,甚至有公司会设置专门的“用户运营”岗位。 用户运营的价值体现在多个方面,不仅可以帮助引流、吸引更多用户使用产品,在用户正式使用产品之后的运营则更为重要。通过日常用户运营&…

思源笔记的优缺点 vs Obsidian vs Logseq vs Trilium

新用户对思源笔记的印象。(PS:两年前我试用过思源笔记,被卡顿劝退了) 优点 相比obsidian, 可在文档树拖拽 拖拽调整笔记顺序 拖拽使一个笔记成为另一个笔记的子笔记,树状结构 设置-文档树,默认…

儿童玩具上架亚马逊和国际站及TEMU平台CPC认证

儿童玩具上架亚马逊和国际站及TEMU平台CPC认证办理 最近相当火爆的玩具重力萝卜刀也在全网做屏霸,听上去像是一种能让你在虚拟世界中模拟挖矿的神奇工具。但实际上,它是一种新型玩具,不仅具备重力感应功能,还可以进行切割和挖掘。…

合璧之光,共创辉煌|明道云伙伴大会2023圆满结束

2023年11月3日至11月4日,“合璧之光明道云伙伴大会2023”在上海星河湾酒店顺利举行,报名参会人数超过1800人。大会邀请到明道云标杆客户及合作伙伴分享组织落地零代码的经验及各行业领域解决方案,包括越秀集团、豫园股份、远大医药&#xff0…

CTF-虚拟机——【前置知识三】

文章目录 内存虚拟化常见缩写虚拟机内存访问原理影子页表扩展页表VPID(Virtual Processor Identifier):TLB(Translation Lookaside Buffer)资源优化 内存虚拟化 能够提供在Guest机制中识别为从零开始的连续的物理地址…

redis运维(九)字符串(二)字符串过期时间

一 字符串过期时间 细节点: 注意命令的入参和返回值 ① 再谈过期时间 说明: 设置key的同时并且设置过期时间,是一个原子操作 ② ttl 检查过期时间 ③ persist 删除过期时间 ④ redis 删除过期key的机制 ⑤ 惰性删除 惰性理解:让过期…

redis运维(八)数据类型(一)字符串

一 字符串 说明: 不需要精通,但是得有一个粗略的认识,然后利用help command查看具体使用仅做记录查询 ① 基础概念 说明: ex是用来收敛内存使用率备注: 早期set是不带ex的默认: 不设置ex,是常驻内存 key和value的命名规范 …

浅谈基于云计算的环境智能监控系统

随着经济的飞速发展,环境污染也越来越严重,环境监控成为了政府与社会关注的焦点。本文提出了一种基于云计算的环境智能监控系统——EasyCVR,该系统综合应用了传感器、云计算、大数据、人工智能等技术,具有实时、准确、高效的监控能…

Docker安装MinIO遇到的问题汇总——持续更新中

文章目录 Docker安装MinIO遇到的坑前言问题1:执行docker run报错Error response from daemon问题2:启动MinIO容器浏览器无法访问问题3:上传文件报错InvalidResponseException问题4:上传文件报错Connection refused最终的启动指令问…

Linux系统(CentOS7)上安装MYSQL8.x

Linux系统是CentOS7版本,今天在新电脑上安装MYSQL,跟着网上的文章,尝试了好几次,都是启动失败,删了安,安了删,搞了一下午,头昏脑胀,网上的一些文章太乱了,每种…

CSS样式穿透

当我们在vue项目中使用第三方组件时,有时候需要去修改某些元素的样式,但有时写的css样式不会覆盖组件的样式,所以要用到样式穿透。 常用的方法有这几种:(1)>>> (2)/deep/ …

matlab层次分析法模型及相关语言基础

发现更多计算机知识,欢迎访问Cr不是铬的个人网站 代码放在最后面! 这篇文章是学习层次分析法模型的笔记。 1.什么时候用层次分析法 层次分析法是建模比赛中最基础的模型之一,其主要用于解决评价类问题(例如:选择哪种方案最好、…

【杂谈】-蓝牙低功耗数据传输模式比较

蓝牙低功耗数据传输模式比较 文章目录 蓝牙低功耗数据传输模式比较1、无连接数据传输2、无连接数据传输的优点3、无连接数据传输的局限性 3、面向连接的数据传输4、面向连接模式的优点5、面向连接模式的局限性6、家庭自动化项目的性能观察 物联网(IoT)设…

【Spring Cloud】黑马头条 用户服务创建、登录功能实现

点击去看上一篇 一、创建用户 model 1.创建用户数据库库 leadnews_user 核心表 ap_user 建库建表语句 这里一定要使用 navicat,执行SQL 文件,以防止 cmd 中的编码问题 先将 SQL 语句,保存在电脑中,再使用 navicat 打开 CREATE…

指针——C语言初阶

一.指针基本概念&#xff1a; 指针是内存中一个最小单元的编号&#xff0c;也就是地址平时口语中说的指针&#xff0c;通常指的是指针变量&#xff0c;是用来存放地址的变量 #include<stdio.h> int main() {int a 0;//a是整型变量&#xff0c;占用四个字节的内存空间&a…