【TiDB理论知识06】PD架构与作用

news2024/11/24 11:06:31

目录

一 PD的架构与功能

PD架构

PD作用 

名词解释

路由功能

二 TSO的分配

概念

分配过程

性能问题

高可用问题

三 PD的调度原理

总流程

1 信息收集

 2 生成调度

3 执行调度

四 Label的作用

Label的配置

给TiKV打标签

PD配置


一 PD的架构与功能

PD架构

PD集群至少由三个节点构成,PD通过集成了etcd支持自动故障转移,PD 通过etcd的raft保障数据的强一致性,所以在生产中建议奇数个。PD中会有leader角色,其实是个单点,只有在发生故障的时候才会发生选举。PD是TiDB数据库的总控,是整个集群的大脑

PD作用 

1 元数据的存储,,tidb的执行计划或者SQL语句他怎么知道去哪个Region中找到相应的数据,哪个region存储在哪个TiKV中

2 全局时钟 ,查询开始,事务开始结束的时间都是由PD授时

3 对Region进行调度,例如某些TiKV的Region较多,产生了热点,需要向其他TiKV进行调度

名词解释

Store :对应TiKV 实例,同一个服务器上部署多个TiKV,则这个服务器上有多个store。

Region:每个Region负责存储集群一段连续的数据默认96M.没份数据会在不同的TIKV存储多个副本,默认是3副本,每个副本叫peer,peer是有角色的,peer也特指raft中的成员

leader :读写都在leader上

follower:

raft Group :通过raft协议构成raft Group

multi Raft: 多个raft组构成multi Raft

以上就是PD需要管理的重要的一些概念

路由功能

路由功能,执行SQL的时候 ,SQL想要读取的数据所在的Leader Region在哪个TiKV上,是需要问PD的。TiDB server生成执行计划,传到Executor 执行器,然后执行器去执行执行计划,例如此时需要读取key=123,存储在region1 上的数据,TIKV Client 就是会去PD中问,PD 告诉这个Key的位置。

如果每次查询都要去PD中查询region的位置,难免会产生很多的网络开销,网络压力太大了,就会把key=123的位置从PD中取出来,然后缓存在TiKV Client的 Region Cache中。下次再读取就不用从PD中读取。但是这种方法虽然节约了网络开销,但如果key=123数据所在的Region发生了漂移,此时按cache中的位置去读,就会找不到数据,需要重新从PD中取出来 ,这种现象叫做 Back Off。back off 越多,读取的延迟越多。或者Region分裂,Leader的信息过旧等都会产生BackOff

二 TSO的分配

概念

需要为大量的事务提供TSO,事务都是并发的

保证TSO单调递增

TSO = physical time logical  time ,是一个int64的整型数,时钟精确到毫秒,logical  time  1ms分成 262144个TSO ,这个可以满足大多数场景的使用了

分配过程

 为我们提供服务的只是PD集群的中的Leader 角色。

谁会请求TSO ,SQL,事务等。

TSO 请求者 请求TSO ,并不是直接发送到PD,而是到 PD client 。PD client 可以认为是 TiDB Server  和  PD 集群交互的中间代理模块。

性能问题

如果SQL并发很高 ,所以有一个优化 ,PD client 会有一个批处理,会把100个SQL请求TSO的组合整一个请求,去PD中获取TSO。

无论是批处理还是,申请一次都需要进行一次持久化,会产生磁盘IO,并发越高 ,磁盘IO越大。如何处理了这个问题?

将一段TSO放到缓存中 磁盘IO 变为3秒一次

高可用问题

当我的PD leader挂了怎么办?

保证不了连续性 但是可以保证增长性

三 PD的调度原理

总流程

1 信息收集

TiKV  Server 会周期性的向PD汇报心跳信息,里面包含Store Heartbeat (TiKV 本身的心跳信息 ,包括 容量,剩余空间,读写流量等,通过这些信息大概可以知道TiKV的繁忙程度)和 Region Heartbeat  (每个Region都会向PD汇报 ,比如副本的分布状态 ,读写流量,这样就可以知道Region的繁忙程度 以及 Region在TiKV的分布是否均匀),所以PD是通过心跳的信息收集获取这些信息

 2 生成调度

根据收集到的信息 生成Operator

  •  均衡:读写均衡 ,存储均衡
  • 热点均衡
  • 集群拓扑
  • 缩容
  • 故障恢复 
  • Region merge

3 执行调度

将这些调度发送给region,然后执行这些调度

四 Label的作用

 DC: 数据中心

Rock 机柜

TIKV 服务器

看上面的图 发现不同的region分布对可用性是有影响的,比如上图中的Rock 4机柜损坏后,region1的两个副本不可用。

region不可用这么可怕吗?是的 比如某个region中存储了集群的元数据信息 information_schema,用户密码等,导致整个数据库不可用。

默认region是随机分布,PD只能保证同一个TiKV节点上不会有同一个region的两个Peer,但是不能保证region的分布。那如如何让region按自己的意愿分配呢?

通过打标签,为每个TiKV 实例设置一个标签 Label,用于表示这个TiKV在哪个机房,哪个机柜,哪个服务器上,这样PD 就会按照标签约定好的方式将Region分布到不同DC、不同机柜、不同的TiKV上。实际上我的标签是为了让PD 去感知集群的拓扑结构的。

Label的配置

Label的配置是要在两个组件上进行配置

给TiKV打标签

server.lables:{zone:"1",rack:"1",host:"1"}

zone代表DC 数据中心; rack 代表机柜 ;host代表服务器

PD配置

location-labels= ["zone","rack","host"]

[replication]

isolation-level=''zone'

隔离级别设置 :zone,rack,host,代表副本的分布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/792232.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

机器学习|学习类型-监督学习

让我们来讨论什么是机器学习如下所示: 如果机器在给定任务中的性能随着经验的改善而改善,则可以说机器正在从过去的经验(数据馈入)中学习某些类别的任务。例如,假设一台机器必须预测客户今年是否会购买特定的产品&…

指针进阶(三)

指针进阶(三) 指针习题组: 01: int main() {int a[5] { 1, 2, 3, 4, 5 };int *ptr (int *)(&a 1);printf( "%d,%d", *(a 1), *(ptr - 1));return 0; }运行结果: 原因:这里a是数组名&a…

点云拟合球体

前言:在很多情况下,需要根据点云来拟合球体,本博文主要介绍各种方法的拟合情况及优缺点,希望对各位小伙伴有所帮助! 目录 1. vtkFitImplicitFunction进行球拟合 2. 四点求解球 1. vtkFitImplicitFunction进行球拟合 …

汽车减震器弹簧阻尼模型及python代码

U为主动减震施加的力。 通过python control库,可以得到在单位脉冲激励下X1的响应曲线 import control import matplotlib.pyplot as pltM1 2500 M2 320 K1 80000 K2 500000 b1 350 b2 15020s control.TransferFunction.sH (b1*b2*s*s (b1*K2b2*K1)*s K1*…

foreverlasting and fried-chicken hdu7293

Problem - 7293 题目大意&#xff1a;给出一个n个点&#xff0c;m条边的图&#xff0c;问其中包含了几个下面这样的子图 1<n<1000; 思路&#xff1a;我们要找两个点u,v&#xff0c;他们至少有4个公共点&#xff0c;且至少有一个点的度数至少为6&#xff0c;其中还要判断…

【Nodejs】Koa基本使用

1.简介 koa 是由 Express 原班人马打造的&#xff0c;致力于成为一个更小、更富有表现力、更健壮的 Web 框架。使用 koa 编写 web 应用&#xff0c;通过组合不同的 generator&#xff0c;可以免除重复繁琐的回调函数嵌套&#xff0c;并极大地提升错误处理的效率。koa 不在内核方…

Python+Playwright自动化测试--标签页操作(tab)

1.简介 标签操作其实也是基于浏览器上下文&#xff08;BrowserContext&#xff09;进行操作的&#xff0c;而且宏哥在之前的BrowserContext也有提到过&#xff0c;但是有的童鞋或者小伙伴还是不清楚怎么操作&#xff0c;或者思路有点模糊&#xff0c;因此今天单独来对其进行讲…

msvcr71.dll丢失或(找不到)的解决办法

在使用电脑有时候今天没有问题隔天我们再打开软件时候&#xff0c;就遇到电脑提示msvcr71.dll丢失的问题&#xff0c;完全不知道怎么回事跟怎么解决&#xff0c;今天本文章给大家详细介绍msvcr71.dll丢失的解决方法&#xff0c;跟丢失的原因。 1.是什么msvcr71.dll msvcr71.dl…

windows 抓取网页视频的url

fd抓视频链接 Filddler4官网&#xff1a; https://www.telerik.com/download/fiddler 复制 预先设置&#xff1a;打开 Fiddler&#xff0c;选择菜单栏 -> Tools -> Fiddler Options&#xff0c;在 HTTPS 选项卡中勾选 Decrypt HTTPS traffic&#xff0c;然后重启Fidd…

【云原生系列】openstack搭建过程及使用

目录 搭建步骤 准备工作 正式部署OpenStack 安装的过程 安装组件如下 登录页面 进入首页 创建实例步骤 上传镜像 配置网络 服务器配置 dashboard配置 密钥配置免密登录 创建实例 绑定浮动ip 免密登录实例 搭建步骤 准备工作 1.关闭防火墙和网关 systemctl dis…

Ip-Limit: 轻量级注解式IP限流组件(二)

author: van , ggfanwentaogmail.comIp-Limit-Example: 轻量级注解式IP限流组件使用样例 项目简介 该项目为ip-limiter的使用示例项目。 ip-limiter地址&#xff1a; https://github.com/DDAaTao/ip-limiter 示例项目文件树 └─example├─handler│ └─BaseException…

k8s部署高可用-redis

一、项目地址 ​GitHub - spotahome/redis-operator: Redis Operator creates/configures/manages high availability redis with sentinel automatic failover atop Kubernetes.​ 二、部署过程 一、部署operator控制器 1.把项目clone下来直接部署方便。 到这个目录下的这个…

springboot整合ELK+kafka采集日志

一、背景介绍 在分布式的项目中&#xff0c;各功能模块产生的日志比较分散&#xff0c;同时为满足性能要求&#xff0c;同一个微服务会集群化部署&#xff0c;当某一次业务报错后&#xff0c;如果不能确定产生的节点&#xff0c;那么只能逐个节点去查看日志文件&#xff1b;lo…

MySQL体系结构及执行过程

一、MySQL体系结构 1、网络连接层 客户端连接器&#xff08;Client Cnnectors&#xff09;&#xff1a;提供支持与MySQL服务器建立连接。 建立连接命令&#xff1a;mysql -h -u -p -h指定MySQL服务的IP 若本地连接则不需要 每一个连接均会保存用户权限&#xff0c;中途修改权…

关于在虚拟机CentOS7的Docker下安装Oracle

这不三阶段了&#xff0c;要上Oracle了&#xff0c;感觉这个班卷的程度到位。二阶段我就上了ElementUI和MyBatis&#xff0c;项目也是用这些技术写的&#xff0c;整体钻研程度还行。于是布置了两个任务&#xff1a;在windows下安一下Oracle&#xff0c;在windows下安装Oracle那…

从零开始制作CPU

文章目录 简介门与门或门非门异或门 ALU加法半加器全加器8位加法器 减法补码8位补码器8位减法器 存储锁存器8位锁存器带边沿触发的锁存器 内存内存单元16位内存 CPUPC程序计数器CPU连接 自制乘法器移位8位乘法器 自制除法器比较一位比较8位比较 8位除法器 简介 黑马最近出了个…

BOOTMGR丢失无法开机怎么办?

BOOTMGR&#xff08;引导管理器&#xff0c;Boot Manager的简称&#xff09;其实是一个引导操作系统的程序&#xff0c;通常位于系统保留分区或系统分区中。如果系统分区或系统保留分区的根目录中的BOOTMGR存在错误&#xff0c;那么系统将会在计算机启动时提示找不到操作系统。…

一文读懂ChatGPT,ChatGPT百科全书

引言 ChatGPT是什么&#xff1f; ChatGPT是一款先进的自然语言处理&#xff08;NLP&#xff09;模型&#xff0c;由OpenAI开发和维护。它基于OpenAI的第四代生成预训练Transformer&#xff08;GPT-4&#xff09;架构&#xff0c;旨在通过深度学习技术理解和生成人类语言。ChatG…

大一统真的来了:多模态共享参数的 Meta-Transformer

出品人&#xff1a;Towhee 技术团队 作者&#xff1a;张晨 在探索通用人工智能的多种可能发展方向中&#xff0c;多模态大模型&#xff08;MLLM&#xff09;已成为当前备受关注的重要方向。随着 GPT-4 对图文理解的冲击&#xff0c;更多模态的理解成为了学术界的热点话题&#…

优思学院|PDCA循环与精益管理有何相通之处?

PDCA是精益管理和六西格玛管理的基础原则&#xff0c;通常PDCA可以转化为六西格玛的DMAIC&#xff0c;变成一套以数据驱动方式为主来减少过程变异的改善方法&#xff0c;也可以应用于精益管理的原则上&#xff0c;处理优化价值流和减少浪费的改进上。 PDCA循环原则 这是由美国…