如何系统学习分布式?

news2024/11/15 3:36:23

关键词:想要走存储/数据库方向的话,具体路线是啥?重点需要掌握精通哪些知识?

回答

那我简单说一下走存储/数据库这块的学习路线吧。

目前做存储比较热门的是分布式存储方向,有NoSQL的也有关系型数据库的,比如腾讯就有TDSQL,PingCAP 也有TIDB、也有分布式KV存储TIKV。

提到分布式系统,非常经典学习资料肯定首推MIT 6.824(即 MIT 分布式系统课程)

基础的数据结构以及操作系统和计算机网络肯定都是必备的,分布式系统就是通过网络构建在分散的物理节点上。

现在的分布式kv,分布式数据库基本架构是类似的:

  • 基于多副本实现高可用和容灾

  • 分布式查询

  • 数据 Sharding 机制

  • 通过2PC,Paxos/Raft 等协议实现数据一致

存储层目前 LSM Tree用的比较多,可以看看 Google Leveldb 的源码学习:https://github.com/google/leveldb

同时这也是一个非常适合用来学习C++的开源库。

存储层之上在通过分布式一致性协议在多个副本之间做到数据的一致性,以此保证存储的高可用和容错能力。

常见分布式一致性算法是raft和paxos,可以看看raft和paxos的论文。

raft 的实现,还是推荐上面说的 MIT 6.828 的课程实验,这个会有几个Lab,逐步实现一个基于raft的kv

把底层的存储层和分布式一致性协议组装起来,大概就是一个建议的分布式KV。

如果想基于这之上构建关系型数据库,那么需要引入事务层,

Google 算是这方面的鼻祖,后来很多的 NewSQL 数据库基本都是按照 Spanner/F1 论文去实现的:

这里可以学习谷歌的 Percolator 的论文。

然后再往上就是SQL层,SQL包括语法相关解析,执行器,优化器之类的。

当然在学校要学到这里来,比较难,很少有相关课程,但是网上有很多学习资源的。

我这里简单列举一下顺序哈:

  1. leveldb 学习底层存储引擎,目前非常热门的 LSM Tree结构

  2. 分布式一致性算法:MIT6.824,也可以看下CSE 552 ,这门课是来自分布式系统巨牛 Tom Anderson

  3. 学习数据库原理,可以看《数据库系统概念》这本书和cmu15445  的课程,也会实现一个关系型数据库

补充一下,《数据库系统概念》这本书重点关注:

  • 第 3 章:SQL

  • 第 11 章:索引与散列

  • 第 12 章:查询处理

  • 第 13 章:查询优化

  • 第 14 章:事务

  • 第 15 章:并发控制

  • 第 18 章:并行数据库

  • 第 19 章:分布式数据库

如果自己把前面几项学完了(至少估计大半年时间)

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/735751.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

21.DAC数模转换

1.STM32 DAC介绍: DAC(Digital to analog converter)即数字模拟转换器,它可以将数字信号转换为模拟信号。 DAC主要特性: 2个DAC转换器,每个转换器对应1个输出通道;8位或者12位单调输出;12位模式下数据左…

Coggle 30 Days of ML(23年7月)任务五:XGBoost训练与预测

Coggle 30 Days of ML(23年7月)任务五:XGBoost训练与预测 任务五:使用TFIDF特征和XGBoost完成训练和预测 说明:在这个任务中,你需要使用TFIDF特征和XGBoost算法完成训练和预测,进一步提升文本…

Matlab数学建模实战——(Lokta-Volterra掠食者-猎物方程)

1.题目 问题1 该数学建模的第一问和第二问主要是用Matlab求解微分方程组,直接编程即可。 求解 Step1改写 y(1)ry(2)f Step2得y的导数 y(1).2y(1)-ay(1)*y(2)y(2).-y(2)a*y(1)*y(2) Step3编程 clear; a0.01; F(t,y)[2*y(1)-a*y(1)*y(2);-y(2)a*y(1)*y(2)]; […

【Mac】Mac 通过路径找到对应的文件夹

mac 的快捷键 复制文件夹或文件全路径 命令:command Option C 跳转文件夹或文件 命令:command shift G 其他待补充

hexo #02 基本操作

本篇主要步骤 1、创建博客 1、创建博客 使用 $ hexo new [layout] <title>命令创建一篇新的博客。 PS hexo> npx hexo new post "test" Debugger attached. Debugger attached. INFO Validating config INFO Created: D:\hexo\source\_posts\test.md Wa…

MySQL表单查询以及多表查询

1.单表查询 CREATE TABLE emp ( empno int(4) NOT NULL, ename varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, job varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, mgr int(4) NULL DEFAULT NULL, hi…

基于51单片机的羽毛球计分器设计

功能&#xff1a; 本实例是基于51单片机的羽毛球计分器&#xff0c;主要硬件由51单片机最小系统&#xff0c;LCD1602液晶屏电路&#xff0c;按键电路构成。 1.本设计选用LCD1602液晶屏作为显示器件&#xff0c;用于记录两队的分数。 2.按照设计的功能模块共选用8个按键&#xf…

【软件测试】Git查看commit的提交历史(详细)一点即通...

目录&#xff1a;导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结&#xff08;尾部小惊喜&#xff09; 前言 查看提交历史 在提…

【MATLAB第53期】基于MATLAB的TSK模糊神经网络时间序列预测模型,含短期预测未来功能

【MATLAB第53期】基于MATLAB的TSK模糊神经网络时间序列预测模型&#xff0c;含短期预测未来功能 一、效果展示 二、数据设置 数据采用一列数据滑动窗口设置为5 &#xff0c;可自行设置70%训练30%测试预测未来值为10 &#xff0c;可自行设置&#xff0c;控制10以内 三、模型…

zabbix proxy的配置及zabbix实现高可用(监控 windows,java应用,SNMP等)

目录 zabbix proxy 分布式代理服务器部署zabbix proxy 代理服务器部署 Zabbix 高可用集群Zabbix 监控 Windows 系统Zabbix 监控 java 应用Zabbix 监控 SNMP zabbix proxy 分布式代理服务器 zabbix 分布式代理服务器&#xff0c;可以代替zabbix server 采集性能和可用性数据。z…

C++的范围for语句详解 附易错实例

&#x1f4af; 博客内容&#xff1a;C读取一行内个数不定的整数的方式 &#x1f600; 作  者&#xff1a;陈大大陈 &#x1f680; 个人简介&#xff1a;一个正在努力学技术的准前端&#xff0c;专注基础和实战分享 &#xff0c;欢迎私信&#xff01; &#x1f496; 欢迎大家&…

匿名管道的使用示例

目录 整体框架 通信步骤 创建管道 ​编辑创建子进程&关闭相应的fd ​编辑 进程间通信 父子进程通信之间四种场景 实现父亲读&#xff0c;孩子写的进程间通信 管道通信的使用场景样例实现 整体框架 通信步骤 创建管道 pipe的参数为输出型参数&#xff0c;返回读写端…

从小白到大神之路之学习运维第55天--------shell脚本实例应用

第三阶段基础 时 间&#xff1a;2023年7月7日 参加人&#xff1a;全班人员 内 容&#xff1a; shell实例 目录 shell脚本应用&#xff1a; 一、shell脚本 二、环境变量的基本使用 三、条件测试 shell脚本应用&#xff1a; 一、shell脚本 1、shell脚本的作用shell解…

MySql索引结构介绍

文章目录 1.索引概述2. 索引结构2.1 二叉树与红黑树索引结构2.2 B-Tree索引结构2.3 BTree介绍2.4 Hash索引介绍 1.索引概述 索引的概念 索引的演示 索引的优缺点 2. 索引结构 索引结构在不同的存储引擎中的支持情况&#xff0c;我们平时所说的索引&#xff0c;如果没有特殊的…

深度学习各类优化器大总结

一、优化算法设计原理 深度学习中的优化算法采用的原理是梯度下降法&#xff0c;即最小化目标函数 J ( θ ) J(\theta) J(θ)&#xff0c;最优化的求解过程&#xff0c;首先求解目标函数的梯度 ∇ J ( θ ) \nabla J(\theta) ∇J(θ)&#xff0c;然后将参数 θ \theta θ 向…

Java代码风格统一

Java代码风格统一 IDEA快捷键失效IDEA配置代码风格 IDEA快捷键失效 Ctr Shift F 这里是搜狗输入法影响的。 Ctr Shift L 这个是因为网易云的问题。 IDEA配置代码风格 统一代码风格是必须的&#xff0c;因为我们需要时不时的格式化代码&#xff0c; 如果每个人的开发风格…

程序员到公务员:从入门到上岸

有句话叫做&#xff0c;“打不过就加入”。尽管当下我们国家的体制还存在种种的问题&#xff0c;不过&#xff0c;大家还都是挤破脑袋想进体制。毕竟&#xff0c;某种程度上来说&#xff0c;体制内还真是香~ 我记得读大学那会&#xff0c;教我们C语言的老师&#xff0c;就和我…

Linus I/O之io_ring

由于调用系统调用时&#xff0c;会从用户态切换到内核态&#xff0c;从而进行上下文切换&#xff0c;而上下文切换会消耗一定的 CPU 时间。 io_uring 为了减少或者摒弃系统调用&#xff0c;采用了用户态与内核态 共享内存 的方式来通信。 第一步&#xff1a;应用程序通过向 io…

FreeRTOS ~(七)互斥量 ~ (2/3)互斥量解决优先级反转问题

前情提要 FreeRTOS ~&#xff08;四&#xff09;同步互斥与通信 ~ &#xff08;2/3&#xff09;互斥的缺陷 FreeRTOS ~&#xff08;五&#xff09;队列的常规使用 ~ &#xff08;2/5&#xff09;队列解决互斥缺陷 FreeRTOS ~&#xff08;六&#xff09;信号量 ~ &#xff08;2/…

openpnp - 用空调压缩机改真空泵

文章目录 openpnp - 用空调压缩机改真空泵概述笔记备注END openpnp - 用空调压缩机改真空泵 概述 原来设备用的真空泵是AP200C/V 这个商品标称是48DB的噪音, 实际用的时候, 噪音很大, 应该快70DB了, 放在屋子里很吵. 如果仅仅是太吵, 可能也忍了. 关键是这个真空泵有强干扰…