OceanBase 并行执行参数 parallel_servers_target 理解

news2025/1/11 1:29:36

为了最大程度降低 PX 使用难度，OceanBase 3.1 版起，parallel_max_servers 参数废弃。
用户只需用好 parallel_servers_target 即可。

target 的用途

用一个酒吧的例子来粗略理解下 parallel_servers_target 的意思：

target 先生开了一个酒吧。来这个酒吧里喝酒的都是一群一群的人。酒吧最多容纳100个人 (parallel_servers_target = 100)。

如果酒吧里面一个人都没有（比如刚刚开门），那么来的第一群人总是让他们进去，并且：

  • 如果他们的人数多于100人，则放100人进去。
  • 如果小于100人，例如 30 个人（ /*+ parallel(30) */），则有多少放进去多少。

如果酒吧里已经有人在喝酒了，那么新来的一群人，target 会数一数：

  • 如果进去后酒吧装不下，则不让他们进去。
  • 反之，只要装得下，就放进去。

通过这种方式，target 先生可以保证：

  1. 酒吧不会空闲：即使来的每一群人都超过100人，他也有生意做。
  2. 酒吧不会太挤：他的策略可以保证酒吧里的人总是不会超过100人。

真实线程数计算

最简单的 select 场景

select /*+ parallel(30) */ * from t1;

假设 parallel_servers_target = 100， /*+ parallel(30) */，那么会启动 30 个线程来执行 SQL。

多个 dfo 的复杂场景

select /*+ parallel(30) / count() from t1, t2 group by t1.c1, t2.c1;

假设 parallel_servers_target = 100， /*+ parallel(30) */，那么一般来说会启动 60 个线程来执行 SQL。下面的 dfo 使用 30 个线程，上面的 dfo 使用 30 个线程，他们之间形成 producer-consumer 关系。

target 相对较小的场景

select /*+ parallel(30) */ * from t1;

假设 parallel_servers_target = 10， /*+ parallel(30) */，那么会启动 10 个线程来执行 SQL，而不是启动 30 个线程来执行 SQL！

复杂 SQL里，假设 parallel_servers_target = 10， /*+ parallel(30) */，那么会启动 10 个线程来执行 SQL，并且下面的 dfo 使用 5 个线程，上面的 dfo 使用 5 个线程（并不是每个 dfo 使用 10 个线程，没那么多资源）

更特殊的场景

  1. 某些计划形态，会同时调度 3 个 dfo 起来，假设 parallel_servers_target = 12， /*+ parallel(30) */，那么 dfo1 使用 4 个线程，dfo2 使用 4 个线程，dfo3 使用 4 个线程。
  2. 某些 dfo 只能用一个线程执行（计划上会有 local 标记，如2阶段聚集计算的第二阶段），线程的分配就更复杂了

复杂例子

update /*+ parallel(10) enable_parallel_dml */ lyqtest1 t1 set t1.num = (select num from lyqtest t2 where t2.num=3) + t1.num where pk_id < (select max(num) from lyqtest1) +1000

========================================================================================================
|ID|OPERATOR                                              |NAME                        |EST. ROWS|COST |
--------------------------------------------------------------------------------------------------------
|0 |PX COORDINATOR                                        |                            |999      |38008|
|1 | EXCHANGE OUT DISTR                                   |:EX10004                    |999      |31276|
|2 |  INDEX INSERT                                        |LYQTEST1(INDEX_LYQ1)        |999      |30603|
|3 |   EXCHANGE IN DISTR                                  |                            |999      |30465|
|4 |    EXCHANGE OUT DISTR (PKEY HASH)                    |:EX10003                    |999      |29792|
|5 |     MATERIAL                                         |                            |999      |29119|
|6 |      INDEX DELETE                                    |LYQTEST1(INDEX_LYQ1)        |999      |28577|
|7 |       EXCHANGE IN DISTR                              |                            |999      |28439|
|8 |        EXCHANGE OUT DISTR (PKEY HASH)                |:EX10002                    |999      |27766|
|9 |         MATERIAL                                     |                            |999      |27093|
|10|          UPDATE                                      |                            |999      |26551|
|11|           EXCHANGE IN DISTR                          |                            |999      |26413|
|12|            EXCHANGE OUT DISTR (PKEY HASH)            |:EX10001                    |999      |25740|
|13|             MATERIAL                                 |                            |999      |19008|
|14|              SUBPLAN FILTER                          |                            |999      |13593|
|15|               MATERIAL                               |                            |999      |13451|
|16|                PX COORDINATOR                        |                            |999      |8035 |
|17|                 EXCHANGE OUT DISTR                   |:EX20002                    |999      |1303 |
|18|                  MATERIAL                            |                            |999      |630  |
|19|                   NESTED-LOOP JOIN                   |                            |999      |88   |
|20|                    EXCHANGE IN DISTR                 |                            |1        |16   |
|21|                     EXCHANGE OUT DISTR (BC2HOST)     |:EX20001                    |1        |15   |
|22|                      SUBPLAN SCAN                    |VIEW1                       |1        |13   |
|23|                       SCALAR GROUP BY                |                            |1        |13   |
|24|                        SUBPLAN SCAN                  |VIEW2                       |1        |13   |
|25|                         LIMIT                        |                            |1        |13   |
|26|                          EXCHANGE IN MERGE SORT DISTR|                            |1        |13   |
|27|                           EXCHANGE OUT DISTR         |:EX20000                    |1        |12   |
|28|                            LIMIT                     |                            |1        |12   |
|29|                             PX PARTITION ITERATOR    |                            |1        |11   |
|30|                              TABLE SCAN              |LYQTEST1(INDEX_LYQ1,Reverse)|1        |11   |
|31|                    PX PARTITION ITERATOR             |                            |999      |93   |
|32|                     TABLE SCAN                       |T1                          |999      |79   |
|33|               EXCHANGE IN DISTR                      |                            |1        |5    |
|34|                EXCHANGE OUT DISTR                    |:EX10000                    |1        |4    |
|35|                 PX BLOCK ITERATOR                    |                            |1        |4    |
|36|                  TABLE SCAN                          |T2                          |1        |4    |
========================================================================================================

Outputs & filters: 
-------------------------------------
  0 - output(nil), filter(nil)
  1 - output(nil), filter(nil), dop=10
  2 - output(nil), filter(nil), 
      columns([{LYQTEST1: ({INDEX_LYQ1: (T1.NUM, T1.PK_ID, T1.__pk_increment)})}]), partitions(p[0-2]), conv_exprs([column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)], [T1.PK_ID], [T1.__pk_increment])
  3 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)], [PARTITION_ID]), filter(nil)
  4 - (#keys=1, [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)]), output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)], [PARTITION_ID]), filter(nil), dop=10
  5 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)]), filter(nil)
  6 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)]), filter(nil), table_columns([{LYQTEST1: ({INDEX_LYQ1: (T1.NUM, T1.PK_ID, T1.__pk_increment)})}])
  7 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)], [PARTITION_ID]), filter(nil)
  8 - (#keys=1, [T1.NUM]), output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)], [PARTITION_ID]), filter(nil), dop=10
  9 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)]), filter(nil)
  10 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)]), filter(nil), table_columns([{LYQTEST1: ({LYQTEST1: (T1.PK_ID, T1.__pk_increment, T1.NUM, T1.NAME, T1.MONEY)})}]),
      update([T1.NUM=column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)])
  11 - output([T1.PK_ID], [T1.__pk_increment], [T1.NUM], [T1.NAME], [T1.MONEY], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)], [PARTITION_ID]), filter(nil)
  12 - (#keys=1, [T1.PK_ID]), output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)], [T1.NAME], [T1.MONEY], [PARTITION_ID]), filter(nil), is_single, dop=1
  13 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [column_conv(NUMBER,PS:(38,0),NOT NULL,? + T1.NUM)], [T1.NAME], [T1.MONEY]), filter(nil)
  14 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [?], [T1.NAME], [T1.MONEY]), filter(nil), 
      exec_params_(nil), onetime_exprs_([subquery(1)]), init_plan_idxs_(nil)
  15 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [T1.NAME], [T1.MONEY]), filter(nil)
  16 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [T1.NAME], [T1.MONEY]), filter(nil)
  17 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [T1.NAME], [T1.MONEY]), filter(nil), dop=10
  18 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [T1.NAME], [T1.MONEY]), filter(nil)
  19 - output([T1.NUM], [T1.PK_ID], [T1.__pk_increment], [T1.NAME], [T1.MONEY]), filter(nil), 
      conds(nil), nl_params_([VIEW1.MAX(NUM) + 1000])
  20 - output([VIEW1.MAX(NUM)]), filter(nil)
  21 - output([VIEW1.MAX(NUM)]), filter(nil), is_single, dop=1
  22 - output([VIEW1.MAX(NUM)]), filter(nil), 
      access([VIEW1.MAX(NUM)])
  23 - output([T_FUN_MAX(VIEW2.NUM)]), filter(nil), 
      group(nil), agg_func([T_FUN_MAX(VIEW2.NUM)])
  24 - output([VIEW2.NUM]), filter(nil), 
      access([VIEW2.NUM])
  25 - output([LYQTEST1.NUM]), filter(nil), limit(1), offset(nil)
  26 - output([LYQTEST1.NUM]), filter(nil), sort_keys([LYQTEST1.NUM, DESC])
  27 - output([LYQTEST1.NUM]), filter(nil), dop=10
  28 - output([LYQTEST1.NUM]), filter(nil), limit(1), offset(nil)
  29 - output([LYQTEST1.NUM]), filter(nil)
  30 - output([LYQTEST1.NUM]), filter(nil), 
      access([LYQTEST1.NUM]), partitions(p[0-2]), 
      limit(1), offset(nil)
  31 - output([T1.PK_ID], [T1.NUM], [T1.__pk_increment], [T1.NAME], [T1.MONEY]), filter(nil)
  32 - output([T1.PK_ID], [T1.NUM], [T1.__pk_increment], [T1.NAME], [T1.MONEY]), filter(nil), 
      access([T1.PK_ID], [T1.NUM], [T1.__pk_increment], [T1.NAME], [T1.MONEY]), partitions(p[0-2])
  33 - output([T2.NUM]), filter(nil)
  34 - output([T2.NUM]), filter(nil), dop=10
  35 - output([T2.NUM]), filter(nil)
  36 - output([T2.NUM]), filter([T2.NUM = 3]), 
      access([T2.NUM]), partitions(p0)

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1820437.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Epicor BAQ - BAQ设计与调用

Epicor BAQ - BAQ设计与调用

目录 一、BAQ设计常用功能1.跨公司查询2.修改作者3.添加筛选条件4.使用BAQ参数5.子查询 二、在客制化中调用BAQ取数三、在BPM中调用BAQ取数四、结束 一、BAQ设计常用功能 1.跨公司查询 在BAQ的General页面勾选Cross-company后&#xff0c;BAQ可以跨公司查询数据。 2.修改作…
阅读更多...
联邦学习论文阅读：2018 Federated learning with non-IID data

联邦学习论文阅读：2018 Federated learning with non-IID data

介绍 这是一篇2018年挂在arXiv上的文章&#xff0c;是一篇针对FL中数据Non-IID的工作。 作者发现&#xff0c;对于高度Non-IID的数据集&#xff0c;FedAvg的准确性下降了55%。 作者提出了可以用权重散度&#xff08;weight divergence&#xff09;来解释这种性能下降&#xff…
阅读更多...
基于JSP技术的大学生校园兼职系统

基于JSP技术的大学生校园兼职系统

开头语 你好呀&#xff0c;我是计算机学长猫哥&#xff01;如果有相关需求&#xff0c;可以通过文末的联系方式找到我。 开发语言 JSP 数据库 MySQL 技术 JSP JavaBeans 工具 MyEclipse、Tomcat、Navicat 系统展示 首页 学生登录界面 招聘信息界面 论坛中心界面 摘…
阅读更多...
时间类:Calendar

时间类:Calendar

一.Calendar概述 1.Calendar代表了系统当前时间的日历对象,可以单独修改,获取时间中的年&#xff0c;月&#xff0c;日 2.细节:Calendar是一个抽象类,不能直接创建对象。 二.获取Calendar日历类对象的方法 // 会根据系统的不同时区来获取不同的日历对象 // 会根据系统的不同…
阅读更多...
LLM的7种推理框架

LLM的7种推理框架

我们如何在本地安全地运行私有的LLMs呢&#xff1f;开源模型为此提供了可能的解决方案。本文将介绍七种方法。 Hugging Face的transformers 这是一个Python库&#xff0c;可以简化本地运行LLM的过程。 Transformers的优点&#xff1a; 自动模型下载提供代码片段非常适合实验…
阅读更多...
C语言的数据结构：串、数组、广义表

C语言的数据结构：串、数组、广义表

一、串 1、串的定义 串是一个线性表&#xff0c;但其节点中的内容只能为字符&#xff0c;所以也称为字符串。 字符串中可以有多个字符&#xff0c;也可以没有字符。没有字符的叫作&#xff1a;空串。 空串&#xff1a;""。 有值的串&#xff1a;"1123"。 只…
阅读更多...
“AI 热会逐渐降温，AGI 普及不了多少场景！”对话《Core Java》作者 Cay Horstmann...

“AI 热会逐渐降温，AGI 普及不了多少场景！”对话《Core Java》作者 Cay Horstmann...

作者 | 王启隆 责编 | 唐小引 出品丨AI 科技大本营&#xff08;ID&#xff1a;rgznai100&#xff09; 已过花甲之年的 Cay Horstmann 是 Java 经典著作《Java 核心技术》和《Java 核心技术&#xff1a;速学版》的作者&#xff0c;帮助了无数 Java 开发者启蒙进阶。截止到今天&a…
阅读更多...
3d数字家居展馆线上制作工具更具创意

3d数字家居展馆线上制作工具更具创意

立足于引领未来展览新潮流的出发点&#xff0c;深圳华锐视点3D云展厅依托前沿的Web3D技术和vr全景制作技术&#xff0c;提供Web3D在线创意展厅搭建编辑器&#xff0c;为您打造一个突破时空限制、风格多样的线上展厅。 Web3D在线创意展厅搭建编辑器将您的产品以三维模型的形式生…
阅读更多...
MultiTrust：首个综合统一的多模态信任度基准（上）

MultiTrust：首个综合统一的多模态信任度基准（上）

随着我们迈向人工通用智能&#xff08;AGI&#xff09;的时代&#xff0c;出现了开创性的大语言模型&#xff08;LLMs&#xff09;。凭借它们强大的语言理解和推理能力&#xff0c;已经无缝地将其他模态&#xff08;例如视觉&#xff09;整合到LLMs中&#xff0c;以理解不同的输…
阅读更多...
创建节约机关怎样向媒体投稿报道宣传？

创建节约机关怎样向媒体投稿报道宣传？

创建节约机关并向媒体投稿报道宣传是一项重要的工作&#xff0c;它不仅能够提升机关的形象&#xff0c;还能促进社会各界对节约型社会的认识和支持。 作为一名新晋信息宣传员,初入职场的我满腔热血,怀揣着用文字传递价值的理想,却在投稿的道路上屡遭波折。面对每月的宣传任务,我…
阅读更多...
LLM-不要错过，教你如何快速且精准生成提示词？（总结Singapore首届GPT-4提示工程获奖者Sheila Teo博客）

LLM-不要错过，教你如何快速且精准生成提示词？（总结Singapore首届GPT-4提示工程获奖者Sheila Teo博客）

文章目录 前置理论精炼介绍1. CO-STAR框架CO-STAR框架简单介绍CO-STAR简单示例 2. 创建系统提示【优化LLM问答丰富度】何为系统提示&#xff1f;系统提示示例 3. 使用分隔符分段提示【优化问答准度】分割符作特殊字符及CO-STAR示例分割符作XML标记 仅数据的CO-STAR实操前置分析…
阅读更多...
LVS/NAT负载均衡实操

LVS/NAT负载均衡实操

添加规则,并做持久操作 1 添加规则 [rootlvs ~]# ipvsadm -A -t 10.36.178.183:80 -s wrr [rootlvs ~]# ipvsadm -a -t 10.36.178.183:80 -r 192.168.65.201:80 -m -w 3 [rootlvs ~]# ipvsadm -a -t 10.36.178.183:80 -r 192.168.65.202:80 -m -w 1[rootlvs ~]# ipvsadm -Ln …
阅读更多...
告别“人治”时代，物业运维平台能否成为行业新标准？

告别“人治”时代，物业运维平台能否成为行业新标准？

随着数字化时代的飞速发展&#xff0c;智能化、数字化已经遍及所有的行业。物业服务企业也不例外&#xff0c;你是否还在想象物业运维工作依旧停留在手动报修、纸质记录的古老时代&#xff1f;那么&#xff0c;你就OUT了&#xff0c;物业运维平台已经悄然崛起&#xff0c;正在以…
阅读更多...
悦库企业网盘 /user/login/.html SQL注入漏洞复现

悦库企业网盘 /user/login/.html SQL注入漏洞复现

0x01 产品简介 悦库企业网盘是一款专为满足企业文件管理、协同办公、文件共享需求而设计的私有部署安全、简单的企业文件管理系统。该产品全面覆盖企业文件管理场景，提供一系列功能强大且操作简便的解决方案，助力企业提升效率、降低管理成本。悦库企业网盘提供精细的权限管理…
阅读更多...
汉明校验·简明教程

汉明校验·简明教程

汉明校验简明教程 一、简介 汉明码是由 Richard Hanming 于 1950 年提出的&#xff0c;它具有一位纠错能力。 新增的汉明码校验位数应满足如下关系&#xff1a; 2 k ⩾ n k 1 2^{k}\geqslant nk1 2k⩾nk1&#xff0c;其中k为校验位位数&#xff0c;n位数据位数。 同时&…
阅读更多...
【ARMv8/ARMv9 硬件加速系列 1 -- SVE | NEON | SIMD | VFP | MVE | MPE 基础介绍】

【ARMv8/ARMv9 硬件加速系列 1 -- SVE | NEON | SIMD | VFP | MVE | MPE 基础介绍】

文章目录 ARM 扩展功能介绍VFP (Vector Floating Point)SIMD (Single Instruction, Multiple Data)NEONSVE (Scalable Vector Extension)SME (Scalable Matrix Extension)CME (Compute Matrix Engine)MVE (M-profile Vector Extension)MPE (Media Processing Engine)总结 ARM 扩…
阅读更多...
首件检验为什么这么重要？

首件检验为什么这么重要？

首件检验是制造业生产过程中的一个重要环节&#xff0c;通常是在每个班次刚开始时或生产过程中的条件发生改变后&#xff08;如人员变动、材料更换、设备调整等&#xff09;&#xff0c;对加工的第一或前几件产品进行的专门检验。尤其在汽车零部件生产企业、电子制造企业广泛采…
阅读更多...
分布式协议之巅 — 揭秘基础Paxos与Raft协议如何实现分布式系统达成一致性（非变种Paxos协议）

分布式协议之巅 — 揭秘基础Paxos与Raft协议如何实现分布式系统达成一致性（非变种Paxos协议）

揭秘Paxos与Raft协议如何实现分布式系统达成一致性 前提介绍Paxos专题大纲Paxos协议Paxo协议的角色标准Paxos角色Proposer&#xff08;提案者&#xff09;Acceptor&#xff08;接受者&#xff09;Learner&#xff08;学习者&#xff09; 提案编号与确认值的组合解析Paxos协议的…
阅读更多...
C++ 25 之 调用函数调用规则

C++ 25 之 调用函数调用规则

c25调用函数调用规则.cpp #include<iostream> using namespace std;class Students04{ // 1.创建好类之后&#xff0c;编译器会默认提供三个函数&#xff1a;默认构造函数、构造函数、拷贝构造函数 // 2.自己写了有参构造函数&#xff0c;编译器就不会提供默认构造函数&…
阅读更多...
Unity 设置窗口置顶超级详解版

Unity 设置窗口置顶超级详解版

目录 前言 一、user32.dll 1.什么是user32.dll 2.如何使用user32.dll 二、句柄Handle 1.句柄 2.句柄的功能 3.拿句柄的方法 三、窗口置顶 1.窗口置顶的方法 2.参数说明 3.使用方法 四、作者的碎碎念 前言 up依旧挑战全网讲解最详细版本~~ 本篇文章讲解的是unity…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023