星辰资讯 | TiUP v1.16 发版,支持 PD 微服务

news2025/1/12 22:52:11

如果你对 TiDB 还不太了解,或者你对数据库安装部署的认知仍然停留在手动和脚本时代,那么,请先戳这里了解一下 TiUP 神器:

  • 震惊!数据库小白装国产数据库只需10分钟!
  • TiDB 7.x 源码编译之 TiUP 篇
  • TiUP:TiDBAer 必备利器

TiUP 1.16.0

7 月 2 日,TiUP 1.16.0 发版,更新日志如下:

新特性

  • tiup-cluster 中将 PD 部署为微服务 (#2377, @rleungx)

修复

  • 修复 tiup-cluster 横向扩展时缺少 TiProxy 会话证书的问题 (#2432, @djshow832)

改进

  • 执行 tiup-cluster prune 时删除 pd 的墓碑节点 (#2044, @nexustar)
  • 在命令执行中隐藏 -p (密码)参数 (#2425, @nexustar)
  • 升级时避免重复下载 (#2423, @nexustar)

PD 微服务

TiDB 集群的“大脑” PD (Placement Driver),是整个 TiDB 集群的元信息管理模块,负责存储每个 TiKV 节点实时的数据分布情况和集群的整体拓扑结构,提供 TiDB Dashboard 管控界面,并为分布式事务分配事务 ID。

从 TiDB 8.0.0 版本开始,PD 支持微服务模式(目前为实验特性,不建议在生产环境中使用)。

PD 微服务通常用于解决 PD 出现性能瓶颈的问题,提高 PD 服务质量。它可以避免因 PD 集群压力过大而导致的时间戳分配延迟,调度模块故障导致的服务不可用问题,以及 PD 自身单点瓶颈的问题。

微服务模式可将 PD 的时间戳分配和集群调度功能拆分为以下微服务单独部署,从而与 PD 的路由功能解耦,让 PD 专注于元数据的路由服务。

  • tso 微服务

为整个集群提供单调递增的时间戳分配。

  • scheduling 微服务

为整个集群提供调度功能,包括但不限于负载均衡、热点处理、副本修复、副本放置等。当调度模块发生变更时,你可以单独更新 scheduling 微服务,无需再对 PD 进行重启,进而不会影响集群的整体服务。

每个微服务都以独立进程的方式部署。当设置某个微服务的副本数大于 1 时,该微服务会自动实现主备的容灾模式,以确保服务的高可用性和可靠性。

功能演示:扩容 tso, scheduling 服务

升级 TiUP 到 1.16.0 版本。

[root@tidb1 ~]# tiup update --self
download https://tiup-mirrors.pingcap.com/tiup-v1.16.0-linux-amd64.tar.gz 5.03 MiB / 5.03 MiB 100.00% 2.83 MiB/s                                     
Updated successfully!
[root@tidb1 ~]# tiup -v
1.16.0 tiup
Go Version: go1.21.11
Git Ref: v1.16.0
GitHash: e543145831d44a863366ff8c379d25980730bbd1

准备 POC 集群环境,TiDB 版本为 v8.1.0。

[root@tidb1 ~]# tiup cluster display mytidb
Cluster type:       tidb
Cluster name:       mytidb
Cluster version:    v8.1.0
Deploy user:        tidb
SSH type:           builtin
Dashboard URL:      http://192.0.2.81:2379/dashboard
Grafana URL:        http://192.0.2.86:3000
ID                Role          Host        Ports        OS/Arch       Status   Data Dir                      Deploy Dir
--                ----          ----        -----        -------       ------   --------                      ----------
192.0.2.86:9093   alertmanager  192.0.2.86  9093/9094    linux/x86_64  Up       /tidb-data/alertmanager-9093  /tidb-deploy/alertmanager-9093
192.0.2.86:3000   grafana       192.0.2.86  3000         linux/x86_64  Up       -                             /tidb-deploy/grafana-3000
192.0.2.81:2379   pd            192.0.2.81  2379/2380    linux/x86_64  Up|L|UI  /tidb-data/pd-2379            /tidb-deploy/pd-2379
192.0.2.82:2379   pd            192.0.2.82  2379/2380    linux/x86_64  Up       /tidb-data/pd-2379            /tidb-deploy/pd-2379
192.0.2.83:2379   pd            192.0.2.83  2379/2380    linux/x86_64  Up       /tidb-data/pd-2379            /tidb-deploy/pd-2379
192.0.2.86:9090   prometheus    192.0.2.86  9090/12020   linux/x86_64  Up       /tidb-data/prometheus-9090    /tidb-deploy/prometheus-9090
192.0.2.81:4000   tidb          192.0.2.81  4000/10080   linux/x86_64  Up       -                             /tidb-deploy/tidb-4000
192.0.2.82:4000   tidb          192.0.2.82  4000/10080   linux/x86_64  Up       -                             /tidb-deploy/tidb-4000
192.0.2.82:20160  tikv          192.0.2.82  20160/20180  linux/x86_64  Up       /tidb-data/tikv-20160         /tidb-deploy/tikv-20160
192.0.2.83:20160  tikv          192.0.2.83  20160/20180  linux/x86_64  Up       /tidb-data/tikv-20160         /tidb-deploy/tikv-20160
Total nodes: 10

编辑集群全局配置,增加 PD 微服务配置项。

tiup cluster edit-config mytidb
global:
  pd_mode: ms

应用配置后,扩容 tso 微服务,这里设定为 2 个副本,其中 1 个将为主副本,另一个为备份副本。

tso_servers:
- host: 192.0.2.82
- host: 192.0.2.83
[root@tidb1 ~]# tiup cluster scale-out mytidb ./tso.yaml -uroot -p
...
Please confirm your topology:
Cluster type:    tidb
Cluster name:    mytidb
Cluster version: v8.1.0
Role  Host        Ports  OS/Arch       Directories
----  ----        -----  -------       -----------
tso   192.0.2.82  3379   linux/x86_64  /tidb-deploy/tso-3379,/tidb-data/tso-3379
tso   192.0.2.83  3379   linux/x86_64  /tidb-deploy/tso-3379,/tidb-data/tso-3379
...
+ Download TiDB components
  - Download pd:v8.1.0 (linux/amd64) ... Done
+ Initialize target host environments
+ Deploy TiDB instance
  - Deploy instance tso -> 192.0.2.82:3379 ... Done
  - Deploy instance tso -> 192.0.2.83:3379 ... Done
+ Copy certificate to remote host
+ Generate scale-out config
  - Generate scale-out config tso -> 192.0.2.82:3379 ... Done
  - Generate scale-out config tso -> 192.0.2.83:3379 ... Done
...
+ [ Serial ] - Save meta
+ [ Serial ] - Start new instances
Starting component tso
 Starting instance 192.0.2.83:3379
 Starting instance 192.0.2.82:3379
 Start instance 192.0.2.83:3379 success
 Start instance 192.0.2.82:3379 success
...
+ Refresh components conifgs
+ Reload prometheus and grafana
+ [ Serial ] - UpdateTopology: cluster=mytidb
Scaled cluster `mytidb` out successfully

扩容 tso 微服务成功,查看集群信息。

[root@tidb1 ~]# tiup cluster display mytidb
Cluster type:       tidb
Cluster name:       mytidb
Cluster version:    v8.1.0
ID                Role          Host        Ports        OS/Arch       Status   Data Dir                      Deploy Dir
--                ----          ----        -----        -------       ------   --------                      ----------
...
192.0.2.82:3379   tso           192.0.2.82  3379         linux/x86_64  Up       /tidb-data/tso-3379           /tidb-deploy/tso-3379
192.0.2.83:3379   tso           192.0.2.83  3379         linux/x86_64  Up|P     /tidb-data/tso-3379           /tidb-deploy/tso-3379
Total nodes: 12

再扩容 scheduling 微服务,仍然是双副本。

scheduling_servers:
- host: 192.0.2.81
- host: 192.0.2.86

扩容后,查看集群状态。

[root@tidb1 ~]# tiup cluster display mytidb
Cluster type:       tidb
Cluster name:       mytidb
Cluster version:    v8.1.0
ID                Role          Host        Ports        OS/Arch       Status   Data Dir                      Deploy Dir
--                ----          ----        -----        -------       ------   --------                      ----------
192.0.2.81:2379   pd            192.0.2.81  2379/2380    linux/x86_64  Up|L|UI  /tidb-data/pd-2379            /tidb-deploy/pd-2379
192.0.2.82:2379   pd            192.0.2.82  2379/2380    linux/x86_64  Up       /tidb-data/pd-2379            /tidb-deploy/pd-2379
192.0.2.83:2379   pd            192.0.2.83  2379/2380    linux/x86_64  Up       /tidb-data/pd-2379            /tidb-deploy/pd-2379
...
192.0.2.81:3379   scheduling    192.0.2.81  3379         linux/x86_64  Up       /tidb-data/scheduling-3379    /tidb-deploy/scheduling-3379
192.0.2.86:3379   scheduling    192.0.2.86  3379         linux/x86_64  Up|P     /tidb-data/scheduling-3379    /tidb-deploy/scheduling-3379
...
192.0.2.82:3379   tso           192.0.2.82  3379         linux/x86_64  Up       /tidb-data/tso-3379           /tidb-deploy/tso-3379
192.0.2.83:3379   tso           192.0.2.83  3379         linux/x86_64  Up|P     /tidb-data/tso-3379           /tidb-deploy/tso-3379
Total nodes: 14

Demo: 查询 HTTP API

通过 HTTP API 查看 tso, scheduling 微服务的主节点和成员信息。

[root@tidb1 ~]# curl 192.0.2.81:2379/pd/api/v2/ms/primary/tso
"http://192.0.2.83:3379"[root@tidb1 ~]
[root@tidb1 ~]# curl 192.0.2.81:2379/pd/api/v2/ms/members/tso
[
    {
        "service-addr""http://192.0.2.82:3379",
        "version""v8.1.0",
        "git-hash""fca469ca33eb5d8b5e0891b507c87709a00b0e81",
        "deploy-path""/tidb-deploy/tso-3379/bin",
        "start-timestamp": 1719931905
    },
    {
        "service-addr""http://192.0.2.83:3379",
        "version""v8.1.0",
        "git-hash""fca469ca33eb5d8b5e0891b507c87709a00b0e81",
        "deploy-path""/tidb-deploy/tso-3379/bin",
        "start-timestamp": 1719931905
    }
][root@tidb1 ~]#
[root@tidb1 ~]# curl 192.0.2.81:2379/pd/api/v2/ms/primary/scheduling
"http://192.0.2.86:3379"[root@tidb1 ~]
[root@tidb1 ~]# curl 192.0.2.81:2379/pd/api/v2/ms/members/scheduling
[
    {
        "service-addr""http://192.0.2.81:3379",
        "version""v8.1.0",
        "git-hash""fca469ca33eb5d8b5e0891b507c87709a00b0e81",
        "deploy-path""/tidb-deploy/scheduling-3379/bin",
        "start-timestamp": 1719932211
    },
    {
        "service-addr""http://192.0.2.86:3379",
        "version""v8.1.0",
        "git-hash""fca469ca33eb5d8b5e0891b507c87709a00b0e81",
        "deploy-path""/tidb-deploy/scheduling-3379/bin",
        "start-timestamp": 1719932211
    }

我们知道可以使用 TiUP 转移 PD 的主节点,那么问题来了,如何切换微服务的主节点呢?再想想。。。

[root@tidb1 ~]# tiup ctl:v8.1.0 pd member leader transfer "pd-192.0.2.82-2379"
Starting component ctl: /root/.tiup/components/ctl/v8.1.0/ctl pd member leader transfer pd-192.0.2.82-2379
Success!
[root@tidb1 ~]# tiup ctl:v8.1.0 tso member leader transfer "pd-192.0.2.81-3379"
Starting component ctl: /root/.tiup/components/ctl/v8.1.0/ctl tso member leader transfer pd-192.0.2.81-3379
Error: ctl only supports tidb, tikv, pd, binlog, etcd and cdc currently
[root@tidb1 ~]# tiup ctl:v8.1.0 pd member leader transfer "pd-192.0.2.81-3379"
Starting component ctl: /root/.tiup/components/ctl/v8.1.0/ctl pd member leader transfer pd-192.0.2.81-3379
Failed to transfer leadership: [500] "no valid pd to transfer etcd leader"

Demo: 微服务配置项

从 TiDB 4.0 开始,增加了 CLUSTER_CONFIG 系统表,可以轻松获取集群当前所有组件实例的配置。

这里分别查看 pd,tso,scheduling 各有多少个配置项。

MySQL [(none)]> select count(*) from information_schema.cluster_config where type = 'pd' and instance = '192.0.2.81:2379';
+----------+
| count(*) |
+----------+
|      188 |
+----------+
1 row in set (0.04 sec)

MySQL [(none)]> select count(*) from information_schema.cluster_config where type = 'tso' and instance = '192.0.2.82:3379';
+----------+
| count(*) |
+----------+
|       51 |
+----------+
1 row in set (0.16 sec)

MySQL [(none)]> select count(*) from information_schema.cluster_config where type = 'scheduling' and instance = '192.0.2.81:3379';
+----------+
| count(*) |
+----------+
|      123 |
+----------+
1 row in set (0.04 sec)

升级建议

在升级 TiDB 集群之前,记得先升级 TiUP。

alt

TiDB 升级互助活动,延续到9月30日!由 20 位社区版主、资深布道师及官方技术支持组成的升级导师天团为你升级保驾护航!

详情戳这里:https://asktug.com/t/topic/1025499

推荐阅读:

  • 【收藏】TiDB 版本升级最全材料包&升级指南
  • 为什么要升级 TiDB ?要选什么版本?要选哪种升级方案?

🌻 往期精彩 ▼

[Oracle]

  • Oracle 数据库全面升级为 23ai
  • python-oracledb 已率先支持 Oracle 23ai
  • 一文带你了解 Oracle 23ai 新特性 Vector 的基础用法

[MySQL]

  • 「合集」MySQL 8.x 系列文章汇总
  • 如何选择适合的 MySQL Connector/J 版本
  • MySQL 8.4.0 LTS 发布 (MySQL 第一个长期支持版本)

[TiDB]

  • 星辰考古:TiDB v3.x 忆水木
  • 星辰考古:TiDB v2.x 回忆杀
  • 敢于公布BUG的国产数据库才是好数据库

[PG]

  • [RL9] Rocky Linux 9.4 搭载 PG 16.1
  • 即将告别PG 12,建议升级到PG 16.3版本
  • 后 EL 7 时代,PG 16 如何在 CentOS 7 上运行

-- / END / --

👉 这里可以找到我

  • 微信公众号:少安事务所 (mysqloffice)
  • 墨天轮: 严少安
  • PGFans: 严少安
  • ITPUB: 少安事务所
  • TiDB 专栏: @ShawnYan

如果这篇文章为你带来了灵感或启发,就请帮忙点『』or『在看』or『转发』吧,感谢!ღ( ´・ᴗ・` )~

本文由 mdnice 多平台发布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1888761.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

师傅们 ~ 2024HW一手资料

各位师傅们,2024HW来了! 从2026年开始,随着我国对网络安全的重视,涉及单位不断增加,越来越多单位和个人都加入到HW当中。 2024HW就在眼前, 那么还有不了解或者还没投简历面试的朋友们,需要注意…

Python23 使用Tensorflow实现线性回归

TensorFlow 是一个开源的软件库,用于数值计算,特别适用于大规模的机器学习。它由 Google 的研究人员和工程师在 Google Brain 团队内部开发,并在 2015 年首次发布。TensorFlow 的核心是使用数据流图来组织计算,使得它可以轻松地利…

​​​​Linux LVS 负载均衡群集

在业务量达到一定量的时候,往往单机的服务是会出现瓶颈的。此时最常见的方式就是通过负载均衡来进行横向扩展。其中我们最常用的软件就是 Nginx。通过其反向代理的能力能够轻松实现负载均衡,当有服务出现异常,也能够自动剔除。但是负载均衡服…

GB28181百万路视频接入

重定向 国标28181在设计时就考虑了,省区县多层级接入,接入上限就考虑了呼叫重定向: IETF RFC3261 规定的SIP逻辑实体,负责规划SIP呼叫路由。它将获得的呼叫下一跳地址信息 告诉呼叫方,以使呼叫方根据此地址直接向下一跳发出请求,此后重定向服…

在 WebGPU 与 Vulkan 之间做出正确的选择(Making the Right Choice between WebGPU vs Vulkan)

在 WebGPU 与 Vulkan 之间做出正确的选择(Making the Right Choice between WebGPU vs Vulkan) WebGPU 和 Vulkan 之间的主要区别WebGPU 是什么?它适合谁使用?Vulkan 是什么?它适合谁使用?WebGPU 和 Vulkan…

Vue3Echarts实用的双层饼图

在公司客户端项目开发中&#xff0c;用来区分已处理与未处理两个状态的双层饼图&#xff0c;以下是项目案例&#xff1a; 下载Echarts //npm npm install echarts --save//淘宝镜像cnpm(安装速度快) cnpm install echarts --save//yarn yarn add echarts 代码示例 <temp…

llm学习-3(向量数据库的使用)

1&#xff1a;数据读取和加载 接着上面的常规操作 加载环境变量---》获取所有路径---》加载文档---》切分文档 代码如下&#xff1a; import os from dotenv import load_dotenv, find_dotenvload_dotenv(find_dotenv()) # 获取folder_path下所有文件路径&#xff0c;储存在…

冒泡排序写法

正宗的冒泡排序写法&#xff1a; public class BubbleSort {public static void main(String[] args) {int[] a {4,6,5,24,3,7,1};//初始化一个最大角标变量int n a.length-1;//循环轮次for (int i0;i<n;i){//从后向前开始&#xff0c;相邻元素比较大小&#xff0c;小的元…

python学习-tuple及str

为什么需要元组 定义元组 元组的相关操作 元组的相关操作 - 注意事项 元组的特点 字符串 字符串的下标&#xff08;索引&#xff09; 同元组一样&#xff0c;字符串是一个&#xff1a;无法修改的数据容器。 如果必须要修改字符串&#xff0c;只能得到一个新的字符串&#xff…

基于SpringBoot高校体育运动会管理系统设计和实现(源码+LW+调试文档+讲解等)

&#x1f497;博主介绍&#xff1a;✌全网粉丝10W,CSDN作者、博客专家、全栈领域优质创作者&#xff0c;博客之星、平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌&#x1f497; &#x1f31f;文末获取源码数据库&#x1f31f; 感兴趣的可以先收藏起来&#xff0c;…

学习aurora64/66b.20240703

简介 The AMD LogiCORE™IP Aurora 64B/66B core是一种可扩展的轻量级高数据速率链路层协议&#xff0c;用于高速串行通信。该协议是开放的&#xff0c;可以使用AMD设备技术实现。 Aurora 64B/66B是一种轻量级的串行通信协议&#xff0c;适用于多千兆位链路 (如下图所示)。它…

【JS】过滤数组中空值——arr.filter(Boolean)

前言&#xff1a;过滤数组中的空值&#xff0c;包括 &#xff08;undefined、null、“”、0、false、NaN&#xff09; Boolean函数可以将一个值转换为布尔值&#xff0c;空值会被转换为false&#xff0c;非空值会被转换为true 方法&#xff1a; const arr [1, 2, ""…

基于tensorflow2的目标检测完整实现过程

序言 虽然tf1仍然在维护&#xff0c;但tf2毕竟是主流&#xff0c;如果不是项目有明确要求&#xff0c;建议直接选择tf2。本文以tf2为例展开&#xff0c;总结从环境准备到使用自己的数据和tensorflow预训练模型进行快速训练和调用。对tensorflow和目标检测算法有深入了解的&…

足底筋膜炎怎么治疗最好的办法

足底筋膜炎是一种较为常见的足部疾病&#xff0c;其发生原因多样且复杂。以下是引起足底筋膜炎的主要原因&#xff0c;归纳如下&#xff1a; 1. 外部因素 &#xff08;1&#xff09;长期受凉&#xff1a;长期处于寒冷环境中&#xff0c;会导致足部血管收缩&#xff0c;进而引…

推荐8款超实用的ComfyUI绘画插件,帮助我们的AI绘画质量和效率提升几个档次!

前言 大家在使用SD绘画过程中&#xff0c;想必见识到了插件的强大功能&#xff0c;本身纯净版的SD界面是相对简洁的&#xff0c;但是搭配了各种插件后&#xff0c;界面标签栏会增加很多&#xff0c;相应的功能也增加了。 从简单的中文界面翻译插件&#xff0c;到强大的contro…

二刷算法训练营Day50 | 动态规划(11/17)

目录 详细布置&#xff1a; 1. 309. 买卖股票的最佳时机含冷冻期 2. 714. 买卖股票的最佳时机含手续费 详细布置&#xff1a; 1. 309. 买卖股票的最佳时机含冷冻期 给定一个整数数组prices&#xff0c;其中第 prices[i] 表示第 i 天的股票价格 。​ 设计一个算法计算出最大…

【Git】版本控制器的方式:SVN集中式版本控制工具和Git分布式版本控制工具

一、应用场景 二、版本控制器的方式 三、SVN 集中式版本控制工具 四、Git 分布式版本控制工具 五、Git工作流程 一、应用场景 Git 在开发过程中提供了多种应用场景&#xff0c;帮助开发团队高效地管理代码、协同工作&#xff0c;并保证代码质量。以下是一些具体应用场景和相应…

“不喝鸡汤 不诉离殇”华火电燃灶用实力引领烹饪灶具发展

在这个快节奏的时代&#xff0c;我们常常被各种厨房电器的鸡汤所包围&#xff0c;并悄悄的告诉我们厨房生活是美好与温暖的&#xff0c;但面对现实中的挑战与困难时&#xff0c;常常表现出选择性失明&#xff1b;那些隐藏在传统厨房烹饪环境下的危机&#xff0c;就像是慢性的毒…

HCM智能人力资源系统存在命令执行漏洞Getshell

0x01 阅读须知 技术文章仅供参考&#xff0c;此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等&#xff08;包括但不限于&#xff09;进行检测或维护参考&#xff0c;未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成…

GitCode见证:华为云DevUI如何定义下一代前端开发

在当今快速发展的数字时代&#xff0c;前端开发已成为企业数字化转型的关键一环。随着用户对交互体验的期待不断增长&#xff0c;拥有一个强大、灵活且易于使用的前端解决方案变得至关重要。 DevUI的诞生&#xff0c;源于华为对研发工具的深入理解和长期积累&#xff0c;作为一…