redis基本架构:一个键值数据库包含什么?(这篇文章主要是一个引导的作用)

news2024/9/23 14:36:20

我们设计一个简单的smpliekv数据库,来体验简直数据库包含什么

体来说,一个键值数据库包括了访问框架、索引模块、操作模块和存储模块四部分(见
下图)。接下来,我们就从这四个部分入手,继续构建我们的 SimpleKV。

 

采用什么样的访问模式呢?

访问模式通常有两种:一种是通过函数库调用的方式供外部应用使用,比如,上图中的
libsimplekv.so,就是以动态链接库的形式链接到我们自己的程序中,提供键值存储功能;
另一种是通过网络框架以 Socket 通信的形式对外提供键值对操作,这种形式可以提供广
泛的键值存储服务。在上图中,我们可以看到,网络框架中包括 Socket Server 和协议解

不同的键值数据库服务器和客户端交互的协议并不相同,我们在对键值数据库进行二次开
发、新增功能时,必须要了解和掌握键值数据库的通信协议,这样才能开发出兼容的客户
端。
实际的键值数据库也基本采用上述两种方式,例如,RocksDB 以动态链接库的形式使用,
而 Memcached 和 Redis 则是通过网络框架访问。后面我还会给你介绍 Redis 现有的客户
端和通信协议。
通过网络框架提供键值存储服务,一方面扩大了键值数据库的受用面,但另一方面,也给
键值数据库的性能、运行模型提供了不同的设计选择,带来了一些潜在的问题。

举个例子,当客户端发送一个如下的命令后,该命令会被封装在网络包中发送给键值数据
库:

 PUT hello world
键值数据库网络框架接收到网络包,并按照相应的协议进行解析之后,就可以知道,客户
端想写入一个键值对,并开始实际的写入流程。此时,我们会遇到一个系统设计上的问
题,简单来说,就是网络连接的处理、网络请求的解析,以及数据存取的处理,是用一个
线程、多个线程,还是多个进程来交互处理呢?该如何进行设计和取舍呢?我们一般把这
个问题称为 I/O 模型设计。不同的 I/O 模型对键值数据库的性能和可扩展性会有不同的影
响。

举个例子,如果一个线程既要处理网络连接、解析请求,又要完成数据存取,一旦某一步
操作发生阻塞,整个线程就会阻塞住,这就降低了系统响应速度。如果我们采用不同线程
处理不同操作,那么,某个线程被阻塞时,其他线程还能正常运行。但是,不同线程间如
果需要访问共享资源,那又会产生线程竞争,也会影响系统效率,这又该怎么办呢?所
以,这的确是个“两难”选择,需要我们进行精心的设计。

你可能经常听说 Redis 是单线程,那么,Redis 又是如何做到“单线程,高性能”的呢?

这个问题以后再说

如何定位键值对的位置?

索引的类型有很多,常见的有哈希表、B+ 树、字典树等。不同的索引结构在性能、空间消
耗、并发控制等方面具有不同的特征。如果你看过其他键值数据库,就会发现,不同键值
数据库采用的索引并不相同,例如,Memcached 和 Redis 采用哈希表作为 key-value 索
引,而 RocksDB 则采用跳表作为内存中 key-value 的索引。
一般而言,内存键值数据库(例如 Redis)采用哈希表作为索引,很大一部分原因在于,
其键值数据基本都是保存在内存中的,而内存的高性能随机访问特性可以很好地与哈希表
O(1) 的操作复杂度相匹配。
SimpleKV 的索引根据 key 找到 value 的存储位置即可。但是,和 SimpleKV 不同,对于
Redis 而言,很有意思的一点是,它的 value 支持多种类型,当我们通过索引找到一个
key 所对应的 value 后,仍然需要从 value 的复杂结构(例如集合和列表)中进一步找到
我们实际需要的数据,这个操作的效率本身就依赖于它们的实现结构。
Redis 采用一些常见的高效索引结构作为某些 value 类型的底层数据结构,这一技术路线
为 Redis 实现高性能访问提供了良好的支撑

不同操作的具体逻辑是怎样的?

SimpleKV 的索引模块负责根据 key 找到相应的 value 的存储位置。对于不同的操作来
说,找到存储位置之后,需要进一步执行的操作的具体逻辑会有所差异。SimpleKV 的操
作模块就实现了不同操作的具体逻辑:

对于 GET/SCAN 操作而言,此时根据 value 的存储位置返回 value 值即可;
对于 PUT 一个新的键值对数据而言,SimpleKV 需要为该键值对分配内存空间;
对于 DELETE 操作,SimpleKV 需要删除键值对,并释放相应的内存空间,这个过程由
分配器完成。

如何实现重启后快速提供服务?

impleKV 虽然依赖于内存保存数据,提供快速访问,但是,我也希望 SimpleKV 重启后
能快速重新提供服务,所以,我在 SimpleKV 的存储模块中增加了持久化功能

 从这张对比图中,我们可以看到,从 SimpleKV 演进到 Redis,有以下几个重要变化:

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/807270.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【MyBatis】MyBatis 3.5+版本报错合集(持续更新)

报错:BindingException 1. org.apache.ibatis.binding.BindingException: Type interface xxx is not known to the MapperRegistry. 2. org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): xxx 解决方案 在pom.xml中添加如下代码…

NetApp FAS控制器的启动过程详解

了解NetApp FAS存储系统的控制器启动过程对于控制器故障的诊断分析非常重要,最近在给几个小朋友培训NetApp,顺便把这个启动过程总结了一下,分享给大家,遇到控制器故障,就可以照方抓药了,如果还是搞不懂&…

自学网络安全(黑客)的注意事项

自学网络安全是一项重要而复杂的任务,以下是一些注意事项: 确定学习目标:网络安全是一个广泛的领域,包括密码学、网络防御、漏洞利用等多个方面。在自学之前,确定你感兴趣的领域,并设定明确的学习目标。 寻…

自动化测试如何管理测试数据

前段时间,知识星球里有同学问到:自动化case越多,测试数据越多,数据的管理成本也越来越高,是否需要一个数据池来专门管理测试数据?这是一个好问题,也是很多测试同学在自动化测试实践中必须面对的…

RWEQ模型土壤风蚀模拟与风蚀模数估算、数据支持、参量提取、归因分析、相关SCI论文撰写技巧

目录 专题一 理论基础 专题二 平台基础 专题三 RWEQ模型数据支持 专题四 RWEQ模型参量提取 专题五 归因分析 专题六 RWEQ模型相关的SCI论文撰写技巧 结合案例讲解RWEQ模型的运行及相关的归因分析,从原理、数据、方法、归因分析方面对土壤风蚀情况进行实战讲解…

绝不多花一分钱,IT老兵的云上省钱之旅

相信很多网友感觉今年的日子不好过,各方面都在缩减支出,尤其是部分IT设备还在不断涨价,像今年的英伟达的40系桌面级显卡和A/H系列的商用显卡,动辙价格跳涨30%,让广大开发者苦不堪言。所幸在省钱方面,笔者有…

【c++底层结构】AVL树红黑树

【c底层结构】AVL树&红黑树 1.AVL树1.1 AVL树的概念1.2 AVL树结点的定义1.3 AVL树的插入1.4 AVL树的旋转1.5 AVL树的验证1.6 AVL树的性能 2. 红黑树2.1 红黑树的概念2.2 红黑树的性质2.3 红黑树节点的定义2.4 红黑树的插入操作2.5 红黑树的验证2.6 红黑树与AVL树的比较2.7 …

linux之iptables的理解与使用

1. 前言 iptables是一个用于Linux操作系统的防火墙软件,它可以对网络流量进行过滤、修改和重定向,从而控制网络通信。iptables是Linux内核中的一个子系统,它可以通过在命令行输入规则来配置网络防火墙。iptables可以对入站和出站的流量进行控…

初识mysql数据库之事务的隔离性

目录 一、理解隔离性 二、隔离级别 1. 不同的隔离级别的简单概述 2. 查看隔离级别 2.1 查看全局隔离级别 2.2 查看会话隔离级别 3. 设置隔离界别 4. 读未提交(Read Uncommitted) 4.1 读未提交测试 5. 读提交(Read Committed&#x…

Windows 10 安装 PostgreSQL 12.x 报错 ‘psql‘ 不是内部或外部命令 由于找不到文件libintl-9.dll等问题

目录 序言一、问题总结问题 1 psql 不是内部或外部命令,也不是可运行的程序或批处理文件。问题 2 “由于找不到文件libintl-9.dll,无法继续执行代码,重新安装程序可能会解决此问题。“1、卸载2、安装3、安装 Stack Builder (这个可…

Easyexcel简介及写、读操作

Easyexcel简介及写、读操作 一、背景二、简介三、引入依赖四、代码实现1.创建实体类2.写入excel操作3.读取文件操作3.1 指定excel对应索引3.2 设置监听器3.3 执行读取操作 一、背景 作为一个经常进行数据分析的后端人员,免不了面对各种报表,且在日常的工…

onTouchEvent浅析

我们接着上次的自定义星星来作讲解 当 onTouchEvent 返回 super.onTouchEvent ( false ) 时 public boolean onTouchEvent(MotionEvent event) {switch (event.getAction()) {case MotionEvent.ACTION_DOWN:Log.d("ACTION_DOWN","ACTION_DOWN:"event.getA…

Ansible-playbook(剧本)

Ansible-playbook(剧本) 一、playbook的构成 (1)Tasks:任务,即通过 task 调用 ansible 的模板将多个操作组织在一个 playbook 中运行(2)Variables:变量(3)Templates&am…

mybatis复杂环境搭建-多对一的处理-一对多的处理

复杂环境搭建: 1.1建表: CREATE table teacher( id int(10) not null, name varchar(30) default null, primary key(id) )engineInnoDB default charsetutf8mb3;INSERT INTO teacher (id, name) VALUES (1, 何老师);create table student( id int(10)…

用户端App自动化测试

一、自动化用例录制 1、Appium Inspctor 功能介绍 UI 分析录制用例元素查找测试Attcah 已有的 session云测试 2、用例录制 1)获取 app 的信息 2)配置待测应用 3、获取 app 的信息 1)app 入口,两种方式获取: * 通…

Linux系统中MySQL主从复制

本节主要学习了MySQL Replication概述,优点,复制类型,复制方式,复制过程和复制过程的限制,部署MySQL主从异步复制的流程及问题解决。 目录 一、MySQL Replication概述 1、优点 二、MySQL复制类型 1.异步复制&#…

#vue3报错 Cannot read properties of null (reading ‘isCE‘)#

场景:使用 npm 安装依赖包的时候,如如安装 npm i xlsx npm i file-saver 重新运行报错 Cannot read properties of null (reading isCE)# 解决办法: 使用的vite vue 在vite.config.ts添加如下配置: dedupe: [ vue ]

LeetCode使用最小花费爬楼梯(动态规划)

使用最小花费爬楼梯(动态规划) 题目描述算法流程(方法一)编程代码优化代码算法流程(方法二)编程代码代码优化 链接: 使用最小花费爬楼梯 题目描述 算法流程(方法一) 编程代码 class Solution { public:int minCostClimbingStair…

【雕爷学编程】Arduino动手做(104)---16X16点阵汉字屏模块2

37款传感器与执行器的提法,在网络上广泛流传,其实Arduino能够兼容的传感器模块肯定是不止这37种的。鉴于本人手头积累了一些传感器和执行器模块,依照实践出真知(一定要动手做)的理念,以学习和交流为目的&am…

8种工程设计优化问题Matlab代码:多种智能优化算法求解对比

目录 一、8种工程设计优化问题 二、8种工程设计优化问题部分问题介绍 2.1 焊接梁设计 2.2 拉力压缩弹簧设计 2.3 三杆衍架设计问题 2.4 压力容器设计 2.5 减速器设计问题 三、多种智能优化算法分别求解部分工程设计优化问题 3.1 焊接梁设计 3.2 拉力压缩弹簧设计 3.…