自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)存储技术专家成长路线

news2024/11/18 15:49:38

数字化时代的到来带来了大规模数据的产生,各行各业都面临着数据爆炸的挑战。 随着云计算、物联网、人工智能等新兴技术的发展,对存储技术的需求也越来越多样化。不同应用场景对存储的容量、性能、可靠性和成本等方面都有不同的要求。具备存储技术知识和技能的人才更具有竞争力。

在这里插入图片描述

存储技术专家成长路线

技术点主要运用在存储库架构设计、企业级存储系统、分布式存储系统、云存储系统、分布式数据库、高性能存储引擎、文件系统等领域。

1.接口驱动层

在存储开发中,接口驱动层是指用于访问和操作底层存储系统的软件层。它提供了标准化的接口规范,使应用程序能够对存储设备进行读取、写入、管理和配置等操作。

  • NVMe(Non-Volatile Memory Express 是一种高性能、低延迟的存储接口协议,专门为固态硬盘(SSD)设计而开发的。)
  • SATA(Serial Advanced Technology Attachment 是一种串行的计算机总线接口,广泛应用于存储设备、光驱、显卡等各种计算机硬件中。在存储开发中的作用是提供基本的存储接口、提供高带宽传输、兼容性强和价格低廉。)
  • SCSi(Small Computer System Interface 是一种用于计算机和外部设备间进行数据传输的接口标准。提供高性能数据传输,支持多设备连接,提供高可靠性和冗余性,并具有高度灵活性。)
  • RDMA(Remote Direct Memory Access 是一种数据传输机制,允许两个计算机在不使用CPU的情况下直接从彼此的内存中读取和写入数据。在存储开发中的作用是降低延迟、提高吞吐量,提升存储性能,增强可靠性和数据完整性,并简化存储网络架构。)

2.内核层

内核层通常指的是存储软件的核心组成部分,即负责实现存储系统的基本功能和服务的程序模块。内核层通常包含多个子模块,例如文件系统、卷管理、快照、克隆、数据保护和恢复等,这些子模块共同构成了存储系统的核心。

  • ext4(第四扩展文件系统,是Linux操作系统中常用的一种文件系统。学习ext4文件系统可以帮助存储开发人员更好地理解和应用文件系统相关的技术和原理,从而提升存储系统的性能、可靠性和扩展性。)
  • xfs(XFS是一种高性能的文件系统,学习XFS可以帮助理解和应用高性能、大规模数据管理、可靠性和扩展性等方面的知识)
  • btrfs(Btrfs是一种先进的Linux文件系统,它的全称是B-tree file system。Btrfs采用了许多先进的技术,如快照、校验和、多设备支持等,可以提供出色的性能、可靠性和灵活性。学习Btrfs可以帮助掌握先进的存储技术、理解大规模数据管理、实现快照和备份、保护数据完整性等方面的知识。这些都是构建高效、可靠的存储系统所必需的技能和知识。)
  • procfs(procfs是一个虚拟的文件系统,用于提供有关系统和进程状态的动态信息。学习procfs可以更好地理解和管理存储系统。)
  • tracefs(tracefs是一个用于跟踪和调试内核的文件系统。它提供了一种方便的机制来跟踪和调试内核函数的执行流程和性能数据,可以帮助存储开发人员解决内核相关的问题、优化存储系统的性能,并验证功能的正确性。)
  • 项目:无存储文件系统Kingfs
  • 项目: nvme文件系统zerofs

3.vfs

VFS(Virtual File System,虚拟文件系统)是一个抽象层,用于在操作系统中统一管理不同的文件系统类型和访问方式。它是操作系统内核中的一部分,提供了对文件和文件系统的抽象接口,使得应用程序可以通过统一的方式来访问各种不同类型的文件系统。

学习VFS可以帮助理解和支持多种文件系统类型,简化文件系统与存储系统的交互方式,优化文件系统的性能,以及调试和开发文件系统。

io_uring

io_uring 是一个 Linux 内核提供的异步 I/O 框架,它旨在提供高性能和低延迟的 I/O 操作。io_uring 的设计目标是为用户空间程序提供一种高效的异步 I/O 接口,以取代传统的阻塞式 I/O 和其他异步 I/O 接口的局限性。

通过使用 io_uring,开发人员可以利用其高性能、低延迟和异步并行的特性来优化应用程序的 I/O 操作。它适用于需要处理大量 I/O 的场景,例如数据库、文件服务器、网络服务器等。同时,io_uring 的设计和接口相对简洁,易于使用和理解,使开发人员能够更容易地编写高效的异步 I/O 程序。

  • io_uring异步io
  • cq与sq的运行原理
  • 无锁队列
  • io_uring的setup/enter/register
  • liburing的开发库
  • liburing接口与psync接口的关系
  • 内存映射IO (mmap)
  • 零拷贝
  • psync与io_uring的iops性能对比
  • io_uring与epoll的qps对比
  • 项目:实现tcp+io_uring

fuse

FUSE(Filesystem in Userspace)是一个在用户空间实现文件系统的框架。它允许开发人员通过编写用户空间程序来创建自定义的文件系统,而无需修改操作系统内核。

帮助理解实现灵活的存储系统、定制化的数据管理逻辑,掌握文件系统操作和性能优化的技巧,并具备跨平台开发的能力。

  • fuse的运行原理
  • fuse内核模块
  • libfuse的开发库
  • fuse_operation结构体分析
  • 实现fuse文件系统
  • 项目:fuse与opencv实现图片加水印

4.SPDK

SPDK(Storage Performance Development Kit)是一个用于构建高性能存储应用程序的开源软件开发工具包。它专注于利用现代硬件和存储技术的特性,以最大化存储应用程序的性能。

SPDK 提供了一组库、驱动程序和工具,帮助开发人员构建低延迟、高吞吐量的存储应用程序。

SPDK 主要用于构建高性能存储应用程序,如存储控制器、分布式存储系统、虚拟化存储、数据库存储引擎等。

学习SPDK帮助你构建高性能存储应用程序,理解和应用用户空间驱动程序开发、零拷贝数据传输、事件驱动架构等关键技术,提高存储系统的性能和响应速度。

项目:文件系统

  • spdk blob文件系统设计分析
  • 文件系统引入线程与json配置解析
  • blobstore与blob的关系
  • 4层结构设计vfs
  • 从bIob读写到文件系统的原语操作实现
  • spdk的异步改造posix同步api
  • open/write/read/close的实现
  • LD_PRELOAD更好mysq|系统调用实现
  • iodepth讲解
  • 随机读,随机写,顺序读,顺序写

项目:NVMe的kv存储

  • KV存储拆解Set,Get,Mod,Del
  • bdev与blob对于kv存储的选择
  • kv service接口 set,get,modify,delete
  • pagechunk的get与put
  • btree/hash/map/radixtree/rbtree之间的选择
  • slab分配slot与释放slot
  • 为kv存储加上conf文件
  • kv存储测试用例与性能测试

5.应用层

项目:图床存储引擎 fastdfs

FastDFS是一个开源的分布式文件系统,它旨在解决大规模文件存储问题。FastDFS具有高性能、高可靠性和可扩展性,适用于需要存储大量小文件的场景,如图片存储、视频存储等。

学习FastDFS可以帮助你构建高性能、可扩展和可靠的分布式文件存储系统,满足大规模文件存储和检索的需求。此外,FastDFS的轻量级部署和易用性也使其成为存储开发的一种理想选择。

  • fastdfs架构分析和配置
  • 快速配置fastdfs
  • 上传文件逻辑分析
  • 下载文件逻辑分析
  • tracker,storage分 析
  • 存储机制
  • 支持断点续传
  • 相同文件内容只保存一份
  • 同步机制
  • 线性扩容
  • 如何实现高可用
  • 负载均衡
  • fastdfs-nginx-module模块分析
  • fastcgi请求与响应
  • nginx与fastcgi如何通信
  • nginx-fastcgi-fastdfs如何实现上传下载
  • http接口设计
  • 图床数据库设计
  • 图床文件上传,下载,分享功能实现
  • 业务流程实现

ceph

Ceph是一个开源的分布式存储系统,旨在提供可扩展性、高性能和高可靠性的存储解决方案。Ceph的设计理念是通过将存储和计算资源整合在一起,构建一个统一的分布式存储平台,能够同时支持对象存储、块存储和文件系统存储。

通过学习和使用Ceph可以构建高可靠性、高性能和可扩展的分布式存储解决方案,满足不同应用对存储的需求。

  • ceph的Docker集群部署
  • librados写入
  • 后端存储 ObjectStore
  • 存储池
  • 数据操作流程
  • RBDCache具体实现
  • Ceph加密和压缩
  • CRUSH算法
  • dmClock客户端
  • Ceph性能测试与分析

RockDB

RockDB是一个高性能、可靠性强且易于使用的嵌入式键值存储引擎。它适用于需要快速、持久化存储和检索大量数据的应用程序,并提供了灵活的数据模型选择。

学习RockDB可以帮助你掌握嵌入式高性能存储引擎的集成和应用,以满足应用程序对数据存储的高性能、持久化和可靠性等需求。这对于构建高效的数据存储系统和提供良好的用户体验至关重要。

  • LSM-Tree对于磁盘访问速度
  • Memtable落盘策略
  • SST文件格式
  • 预写式日志 Write-Ahead Log
  • BlockCache LRU缓存
  • Clock缓存机制
  • 写入流程
  • 读取流程
  • LSM-Tree的三大问 题
  • In-Memory Write Buffer

TiDB

TiDB是一个具有分布式架构、强一致性、ACID事务支持和水平扩展能力的开源关系型数据库。

学习TiDB可以帮助你掌握分布式关系型数据库的设计、部署和优化技术,满足应用程序对高可用性、扩展性和性能的要求,从而更好地应对大规模数据存储和处理的挑战。

  • 分布式关系型数据库 兼容MySQL5.7
  • TiDB分布式数据库整体架构
  • 水平扩展 redis-cluster
  • HTAP的OLTP与OLAP
  • TiDB本地部署
  • 集群测试
  • TiDB Server的模块分析
  • Physical与Logical Opt iomizer
  • 存储节点与数据映射关系
  • PD Server调度
  • TiKV Server数据存储
  • 分布式事务与MPP
  • WriteStall写停顿
  • raft运行机制
  • 两阶段提交
  • 隔离级别
  • MVCC
  • TiFlash的列式存储
  • raft列、lock列、write列、default列

系统性视频教程

详情 自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)

20+存储领域必备技术点

5个手写实现项目

1W+行代码

参考资料

  • ext4 Data Struct And Algorithms
  • NVM-Express-Base- Specification-2.0c-2022
  • A Remote Direct Memory Access Protocol Specificati on(rfc5040)
  • SCSl Commands Reference Manual
  • Serial ATA International Organization
  • Supplement to InfiniBand Architecture Specification
  • XFS FileSystem Structure
  • BTRFS: The Linux B-Tree FileSystem

对标岗位

  • 存储开发工程师
  • 分布式存储工程师
  • 云存储开发工程师
  • KV存储技术专家
  • SPDK开发工程师
  • 存储引擎研发工程师

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1298622.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于 Gin 的 HTTP 中间人代理 Demo

前面实现的代理对于 HTTPS 流量是进行盲转的,也就是说直接在 TCP 连接上传输 TLS 流量,但是我们无法查看或者修改它的内容。当然了,通常来说这也是不必要的。不过对于某些场景下还是有必要的,例如使用 Fiddler 进行抓包或者监控其…

Flink 本地单机/Standalone集群/YARN模式集群搭建

准备工作 本文简述Flink在Linux中安装步骤,和示例程序的运行。需要安装JDK1.8及以上版本。 下载地址:下载Flink的二进制包 点进去后,选择如下链接: 解压flink-1.10.1-bin-scala_2.12.tgz,我这里解压到soft目录 [ro…

redis之缓存穿透,击透,雪崩~

以下为一个我们正常的缓存流程: 缓存雪崩: 在双十一的时候,淘宝的首页访问量是非常大的,所以它的很多数据是放在redis缓存里面,对应redis中的key,假设设置了缓存失效的时间为3小时,超过这三个小…

视觉学习笔记12——百度飞浆框架的PaddleOCR 安装、标注、训练以及测试

系列文章目录 虚拟环境部署 参考博客1 参考博客2 参考博客3 参考博客4 文章目录 系列文章目录一、简单介绍1.OCR介绍2.PaddleOCR介绍 二、安装1.anaconda基础环境1)anaconda的基本操作2)搭建飞浆的基础环境 2.安装paddlepaddle-gpu版本1)安装…

区块链实验室(29) - 关闭或删除FISCO日志

1. FISCO日志 缺省情况下,FISCO启动日志模块,日志记录的位置在节点目录中。以FISCO自带案例为例,4节点的FISCO网络,24个区块产生的日志大小,见下图所示。 2.关闭日志模块 当节点数量增大,区块高度增大时&…

利用Wix打包安装包

利用Wix打包安装包 背景具体步骤1、安装 WiX Toolset 工具集2、安装 WiX Toolset 系列 Visual Studio 插件3、创建Wix工程4、添加工程文件5、修改Product元素6、修改Package元素7、修改MajorUpgrade元素8、修改Media属性9、设置安装引导界面10、添加WPF项目文件11、添加桌面快捷…

资源三号卫星数字表面模型库

资源三号卫星数字表面模型库(简称ChinaDSM-China Digital Surface Model)是以资源三号卫星立体影像为数据源,采用自主知识产权的基于多基线、多匹配特征的地形信息自动提取技术,快速处理和生产提取的高精度、高保真15米格网数字表…

排序算法之四:直接选择排序

1.基本思想 每一次从待排序的数据元素中选出最小(或最大)的一个元素,存放在序列的起始位置,直到全部待排序的数据元素排完 。 2.直接选择排序 在元素集合array[i]--array[n-1]中选择关键码最大(小)的数据元素 若它不是这组元素中的…

第 119 场 LeetCode 双周赛题解

A 找到两个数组中的公共元素 模拟 class Solution { public:vector<int> findIntersectionValues(vector<int> &nums1, vector<int> &nums2) {unordered_set<int> s1(nums1.begin(), nums1.end()), s2(nums2.begin(), nums2.end());vector<…

keepalived+lvs 对nginx做负载均衡和高可用

LVS_Director KeepAlivedKeepAlived在该项目中的功能&#xff1a; 1. 管理IPVS的路由表&#xff08;包括对RealServer做健康检查&#xff09; 2. 实现调度器的HA http://www.keepalived.orgKeepalived所执行的外部脚本命令建议使用绝对路径实施步骤&#xff1a; 1. 主/备调度器…

《深入浅出进阶篇》洛谷P3197 越狱——集合

洛谷P3197 越狱 题目大意&#xff1a; 监狱有 n 个房间&#xff0c;每个房间关押一个犯人&#xff0c;有 m 种宗教&#xff0c;每个犯人会信仰其中一种。如果相邻房间的犯人的宗教相同&#xff0c;就可能发生越狱&#xff0c;求有多少种状态可能发生越狱。 答案对100,003 取模。…

Python 网络爬虫(三):XPath 基础知识

《Python入门核心技术》专栏总目录・点这里 文章目录 1. XPath简介2. XPath语法2.1 选择节点2.2 路径分隔符2.3 谓语2.4 节点关系2.5 运算符3. 节点3.1 元素节点(Element Node)3.2 属性节点(Attribute Node)

MongoDB——基本概念+docker部署+基本命令

1.MongoDB相关概念 业务应用场景 MongoDB简介 BSON二进制的JSON 数据类型 MongDB的特点 2.单机部署 windows上的安装启动 windows版本的直接去官网下载即可&#xff0c;这里的安装运行我试了一次没有成功。干脆不用了&#xff0c;反正以后也不会在windows系统上用的这个 li…

NSSCTF第15页(1)

[CISCN 2019华东南]Web4 点击read something&#xff0c;发现访问了百度 读到了源码 就是ssrfflask import re, random, uuid, urllib from flask import Flask, session, requestapp Flask(__name__) random.seed(uuid.getnode()) app.config[SECRET_KEY] str(random.rando…

JSON字符串转泛型对象

JSON字符串转泛型对象 以下问题只仅限于博主自身遇到&#xff0c;不代表绝对出现问题 相关类展示&#xff1a; 参数基类 public class BaseParams { }基类 public abstract class AbstractPush<Params extends BaseParams> {protected abstract void execute(Params…

Shell数组函数:数组——数组和循环(四)

使用数组统计&#xff0c;用户shell的类型和数量 一、脚本编辑 [root192 ~]# vim shell.sh #!/bin/bash declare -A shells while read ii dotypeecho $ii | awk -F: {print $7}let shells[$type] done < /etc/passwdfor i in ${!shells[]} doecho "$i: ${shells[$i]…

开源电子合同签署平台小程序源码/电子文件签字+在线合同签署系统源码/电子合同小程序源码

源码简介&#xff1a; 开源电子合同签署平台小程序源码&#xff0c;它是电子文件签字在线合同签署系统源码/电子合同小程序源码 目前商业端和开源端一致&#xff0c;免费开源状态&#xff01; 聚合市场上各类电子合同解决方案商&#xff0c;你无需一个一个的对接电子合同厂商…

<JavaEE> 经典设计模式之 -- 线程池

目录 一、线程池的概念 二、Java 标准库中的线程池类 2.1 ThreadPoolExecutor 类 2.1.1 corePoolSize 和 maximumPoolSize 2.1.2 keepAliveTime 和 unit 2.1.3 workQueue 2.1.4 threadFactory 2.1.5 handler 2.1.6 创建一个参数自定义的线程池 2.2 Executors 类 2.3…

前端开发_移动Web+动画

平面转换 作用&#xff1a;为元素添加动态效果&#xff0c;一般与过渡配合使用 概念&#xff1a;改变盒子在平面内的形态&#xff08;位移、旋转、缩放、倾斜&#xff09; 平面转换又叫 2D 转换 平移 属性&#xff1a;transform: translate(X轴移动距离&#xff0c;Y轴移动…

vue2 cron表达式组件

vue2 cron表达式组件 1. 先上图 2. 代码目录 3. 直接上代码 &#xff08;组件代码太多&#xff0c;直接上压缩包&#xff0c;解压后直接用&#xff0c;压缩包再博客顶部&#xff09; 4. 使用注&#xff1a;示例代码中使用了element-ui // HomeView.vue<template><…