Oracle 数据库查询表广播

news2025/4/17 10:42:10

在 Oracle 数据库中,查询表广播(Broadcast Table)是一种优化分布式查询性能的机制,尤其在并行处理(Parallel Execution)或分布式架构(如 Oracle RAC、Sharding)中。其核心原理是通过将小表(维度表)的完整数据分发到所有并行处理节点或计算单元,减少跨节点数据传输的开销,从而加速表连接(JOIN)操作

1. 核心原理

当执行涉及大表(如事实表)和小表(如维度表)的 JOIN 操作时,Oracle 优化器(CBO)会评估以下两种数据分发方式的成本:

  • 哈希分发(Hash Distribution):将大表和小表按 JOIN 键的哈希值分区到不同节点。

  • 广播(Broadcast):将小表完整复制到所有处理大表的节点,实现本地 JOIN。

广播的优势
对于小表,广播避免了哈希分发所需的跨节点数据传输和同步开销,所有节点可直接在本地完成 JOIN 操作,显著减少网络延迟和资源消耗。

2. 优化器的决策机制

Oracle 优化器通过以下步骤决定是否采用广播策略:

  1. 统计信息分析
    基于表的统计信息(如 NUM_ROWSBLOCKS)判断表的大小。通常,小表的定义是数据量远小于可用内存(例如小于 parallel_execution_message_size 的限制)。

  2. 成本估算
    比较广播小表的成本(网络传输 + 内存占用)与哈希分发的成本(哈希计算 + 跨节点数据传输)。

  3. 选择最优分发方式
    如果广播成本更低,优化器会生成包含广播操作的执行计划。

3. 执行计划中的广播操作

在 Oracle 的并行执行计划中,广播操作通常体现为 PX SEND BROADCAST 或 PX BROADCAST 步骤。

------------------------------------------------------------------------------------------
| Id  | Operation                  | Name       | Rows  | Bytes | Cost (%CPU)| Time     |
------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT           |            |  100M |  10GB | 12345   (1)| 00:00:10 |
|   1 |  PX COORDINATOR            |            |       |       |            |          |
|   2 |   PX SEND QC (RANDOM)      | :TQ10001   |  100M |  10GB | 12345   (1)| 00:00:10 |
|*  3 |    HASH JOIN               |            |  100M |  10GB | 12345   (1)| 00:00:10 |
|   4 |     PX RECEIVE             |            |  1000 | 10000 |     2   (0)| 00:00:01 |
|   5 |      PX SEND BROADCAST     | :TQ10000   |  1000 | 10000 |     2   (0)| 00:00:01 |
|   6 |       TABLE ACCESS FULL    | DIM_TABLE  |  1000 | 10000 |     2   (0)| 00:00:01 |
|   7 |     PX BLOCK ITERATOR      |            |  100M |  10GB | 12345   (1)| 00:00:10 |
|   8 |      TABLE ACCESS FULL     | FACT_TABLE |  100M |  10GB | 12345   (1)| 00:00:10 |
------------------------------------------------------------------------------------------

  • 步骤 5 (PX SEND BROADCAST):将小表 DIM_TABLE 广播到所有并行处理节点。

  • 步骤 3 (HASH JOIN):每个节点在本地完成大表 FACT_TABLE 和小表 DIM_TABLE 的 JOIN。

4. 适用场景

  • 星型模型(数据仓库)
    事实表(大表)与维度表(小表)的 JOIN。

  • 分布式架构

    • Oracle RAC:通过并行查询将小表广播到所有实例。

    • Oracle Sharding:使用全局复制表(Duplicated Table)自动同步小表到所有分片。

  • OLAP 查询
    需要频繁访问公共配置表或代码表的复杂分析。

5. 实现方式

(1) 并行查询(Parallel Execution)
  • 通过 PARALLEL 提示或自动并行度(Auto DOP)启用并行查询。

  • 优化器自动选择广播策略。

(2) 全局复制表(Oracle Sharding)

在分片环境中创建全局复制表,数据自动同步到所有分片:

 CREATE SHARDED TABLE duplicated_table (...)
DUPLICATE;

6. 性能优化注意事项

  1. 小表定义
    广播表的大小需远小于可用内存(通常不超过 parallel_execution_message_size 的 50%)。

  2. 统计信息更新
    定期收集表的统计信息(DBMS_STATS),确保优化器准确选择广播策略。

  3. 网络带宽
    在分布式环境中,确保节点间网络带宽足够支持广播操作。

  4. 内存管理
    广播表占用内存资源,需合理配置 PGA_AGGREGATE_TARGET 和 SGA_TARGET

7. 与其他分发方式的对比

分发方式适用场景优势劣势
广播(Broadcast)小表 JOIN 大表减少跨节点数据传输,加速本地 JOIN小表过大时浪费内存和网络
哈希分发(Hash)大表 JOIN 大表均衡负载,适合数据倾斜场景需要跨节点传输和哈希计算开销
随机分发(Random)数据分布无关的聚合操作(如 COUNT简单高效不适用于 JOIN 操作

 

Oracle 的查询表广播原理是通过将小表数据分发到所有处理节点,避免跨节点数据传输,从而加速 JOIN 操作。优化器基于统计信息和成本模型自动选择是否广播,最终在执行计划中通过 PX SEND BROADCAST 实现。在分布式架构(如 RAC 或 Sharding)中,可通过全局复制表或物化视图进一步优化广播策略。实际应用中需权衡表大小、网络带宽和内存资源,确保广播机制的高效性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2330669.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Linux网络】网络套接字socket

🌈个人主页:秦jh__https://blog.csdn.net/qinjh_?spm1010.2135.3001.5343 🔥 系列专栏:https://blog.csdn.net/qinjh_/category_12891150.html 目录 Socket 编程预备 理解源 IP 地址和目的 IP 地址 认识端口号 端口号范围划分…

tomcat的负载均衡和会话保持

写你的想写的东西,写在tomcat的默认发布目录中 这里写了一个jsp的文件 访问成功 可以用nginx实现反向代理 tomcat负载均衡实现: 这里使用的算法是根据cookie值进行哈希,根据ip地址哈希会有问题.如果是同一台主机再怎么访问都是同一个ip。 t…

c++项目 网络聊天服务器 实现;QPS测试

源码 https://github.com/DBWGLX/SZU_system_programming 文章目录 技术设计编码JSON的替换Protobuf 网络线程池更高效率网络字节序的考虑send可能无法一次性发送全部数据!EPOLLHUP , EPOLLERR 的正确处理 IO数据库操作的更高性能 开发日志2025.3a.粘包问题 2025.4b…

rnn的音频降噪背后技术原理

rnniose: 这个演示展示了 RNNoise 项目,说明了如何将深度学习应用于噪声抑制。其核心理念是将经典的信号处理方法与深度学习结合,打造一个小巧、快速的实时噪声抑制算法。它不需要昂贵的 GPU —— 在树莓派上就能轻松运行。 相比传统的噪声抑制系统&…

ubuntu 配置固定ip

在装服务器系统的时候,DHCP自动获取ip时,路由可能会重新分配ip,为避免产生影响,可以关闭DHCP将主机设置为静态ip。 系统环境 Ubuntu 22.04-Desktop 配置方式 一、如果是装的Ubuntu图形化(就是可以用鼠标操作点击应用…

基于Coze平台实现工程项目管理SaaS软件的在线化客户服务

一、引言 在数字化转型浪潮下,SaaS(软件即服务)模式已成为企业级软件的主流交付方式。然而,随着用户规模的增长,传统人工客服模式面临响应速度慢、人力成本高、知识库更新滞后等痛点。如何利用AI技术实现客户服务的智…

批量图片文本识别重命名,批量ocr识别图片重命名,基于WPF和腾讯OCR云部署实,现批量对图片局部提取文字后重命名的操作详细步骤

​​1. 项目背景​​ 在日常工作中,我们经常需要处理大量图片文件,这些图片可能包含重要的文字信息。为了提高工作效率,我们需要一种自动化的方式,从图片中提取文字,并根据提取的文字对图片进行重命名。 本项目基于 ​​WPF​​ 框架开发桌面应用程序,结合 ​​腾讯 OCR…

Linux——冯 • 诺依曼体系结构操作系统初识

目录 1. 冯 • 诺依曼体系结构 1.1 冯•诺依曼体系结构推导 1.2 内存提高冯•诺依曼体系结构效率的方法 1.3 理解数据流动 2. 初步认识操作系统 2.1 操作系统的概念 2.2 设计OS的目的 3. 操作系统的管理精髓 1. 冯 • 诺依曼体系结构 1.1 冯•诺依曼体系结构推导 计算…

Vue3 实现进度条组件

样式如下&#xff0c;代码如下 <script setup> import { computed, defineEmits, defineProps, onMounted, ref, watch } from vue// 定义 props const props defineProps({// 初始百分比initialPercentage: {type: Number,default: 0,}, })// 定义 emits const emits…

35.[前端开发-JavaScript基础]Day12-for循环中变量-华为商城-商品列表-轮播图

for循环中监听函数中打印变量 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"wi…

【蓝桥杯】十五届省赛B组c++

目录 前言 握手问题 分析 排列组合写法 枚举 小球反弹 分析 代码 好数 分析 代码 R 格式 分析 代码 宝石组合 分析 代码 数字接龙 分析 代码 拔河 分析 代码 总结 前言 主播这两天做了一套蓝桥杯的省赛题目&#xff08;切实感受到了自己有多菜&#x…

[Linux系统编程]多线程

多线程 1. 线程1.1 线程的概念1.2 进程与线程对比1.3 轻量级进程 2. Linux线程控制2.1 POSIX 线程&#xff08;pthread&#xff09;2.2 线程ID、pthread_t、和进程地址空间的关系2.2.1 pthread_self2.2.2 pthread_create2.2.3 pthread_join2.2.4 线程终止的三种方式2.2.5 pthre…

IntelliJ IDEA下开发FPGA——FPGA开发体验提升__下

前言 由于Quartus写代码比较费劲&#xff0c;虽然新版已经有了代码补全&#xff0c;但体验上还有所欠缺。于是使用VS Code开发&#xff0c;效果如下所示&#xff0c;代码样式和基本的代码补全已经可以满足开发&#xff0c;其余工作则交由Quartus完成 但VS Code的自带的git功能&…

odo18实施——销售-仓库-采购-制造-制造外包-整个流程自动化单据功能的演示教程

安装模块 安装销售 、库存、采购、制造模块 2.开启外包功能 在进入制造应用点击 配置—>设置 勾选外包&#xff0c;点击保存 添加信息 一、添加客户信息 点击到销售应用 点击订单—>客户 点击新建 创建客户1&#xff0c;及其他客户相关信息&#xff0c;点…

微信小程序生成某个具体页面的二维码

微信小程序&#xff0c;如果要生成某个具体页面&#xff0c;而非首页的二维码&#xff0c;体验和正式的生成方法如下&#xff1a; 1、体验版二维码&#xff1a; 管理---版本管理---修改页面路径&#xff0c;输入具体页面的路径以及参数&#xff0c;生成的是二维码 2、正式小程…

鸿蒙开发_ARKTS快速入门_语法说明_组件声明_组件手册查看---纯血鸿蒙HarmonyOS5.0工作笔记010

然后我们来看如何使用组件 可以看到组件的组成 可以看到我们使用的组件 然后看一下组件的语法.组件中可以使用子组件. 然后组件中可以有参数,来修改组件的样式等 可以看到{},这种方式可以设置组件参数,当然在下面. 的方式也可以的 然后再来

接口异常数组基础题

题目描述 设想你正在构建一个智能家居控制系统。这个系统可以连接多种不同类型的智能设备&#xff0c;如智能灯泡、智能空调和智能门锁。每种设备都有其独特的功能&#xff0c;不过它们也有一些通用的操作&#xff0c;像开启、关闭和获取设备状态等。系统需要提供一个方法来控…

rustdesk折腾手记

背景 我的工作环境&#xff1a;主力电脑是macPro, 另外一台ThinkPad W530作为开发机&#xff0c;装的是LinuxMint&#xff0c;还有一台ThinkPad P15作为服务器。平常显示器接到macPro&#xff0c;在macOS上通过微软的远程桌面连接到另外两台Linux。基本访问比较流畅&#xff0…

使用el-tab 实现两个tab切换

1、主页面 index.vue 2、tab1&#xff1a;school.vue 3、tab2&#xff1a;parent.vue 具体代码如下&#xff1a; <template><div class"app-container"><!-- 使用el-tabs 实现两个组件的切换 --><el-tabs v-model"activeName" typ…

使用Pholcus编写Go爬虫示例

想用Pholcus库来写一个Go的爬虫程序。首先&#xff0c;我得确认Pholcus的当前状态&#xff0c;因为之前听说过它可能已经不再维护了。不过用户可能还是需要基于这个库的示例&#xff0c;所以得先提供一个基本的框架。 首先&#xff0c;我应该回忆一下Pholcus的基本用法。Pholc…