OceanBase 4.1解读：读写兼备的DBLink让数据共享“零距离”

news2024/11/18 11:19:45

梁长青，OceanBase 高级研发工程师，从事 SQL 执行引擎相关工作，目前主要负责 DBLink、单机引擎优化等方面工作。

沈大川，OceanBase 高级研发工程师，从事 SQL 执行引擎相关工作，曾参与 TPC-H 项目攻坚，目前主要负责并行执行、DBLink、数据类型等方面的工作。

我们发现，由于不同业务需求之间存在较大差异，不少用户会在实际业务中同时使用多种数据库产品。这些不同的数据库之间并不能直接进行数据访问，这为数据共享和流转带来了障碍。我们假设这样一个场景：某公司各部门的销售数据存储在各自的数据库中，当需要统计全公司的销售数据时，就得对所有数据库中的数据进行汇总。可以预想到，一种可行的方式是使用 ETL 工具，或自行编写脚本来实现数据的抽取和转换，进而将所有数据导入到同一数据库中再进行分析。很明显，这种方式需要编写更多的代码和脚本，开发和维护成本较高。进一步讲，如果用户频繁执行汇总操作，数据导出、导入的时间成本，以及数据存储成本也将变得非常高。

是否有方法能省去业务跨数据库时的繁琐步骤呢？数据库链接（Database Link，简称为 DBLink）可以为我们提供解决思路，这是一项在不同数据库之间进行连接和通信的功能。使用 DBLink，用户可以将一个数据库视为另一数据库的外部表，从而执行跨数据库的查询和数据操作。针对上述场景，我们便可以在一个数据库中建立到各个部门数据库的 DBLink，通过 DBLink 读取各个部门的销售数据并进行汇总分析。使用 DBLink 的优点是可以实时获取远端数据库的最新数据，同时，可以利用 DBLink 进行数据写入，将汇总数据同步给各个部门。

此前，OceanBase 已经支持了 OceanBase 到 Oracle 数据库的 DBLink 读功能。4.1 版本中，我们以 XA 事务能力为基础，进一步支持了跨 OceanBase 和 Oracle 的写事务能力，并支持了 OceanBase 到 OceanBase 的写事务能力。读写兼备的 DBLink 能力，可以让用户轻松实现跨数据库的数据共享与一体化，使得数据处理分析更便捷。本文将分享我们对 DBLink 功能的认识及使用方法。

图片

OceanBase DBLink 功能对于用户来说，在跨库数据访问，数据迁移，数据一致性等方面具有实际意义。

  • 数据迁移：在数据库需要迁移数据时，使用 DBLink 可以简化迁移过程。通过建立 DBLink，用户可以在原数据库中查询并获取需要迁移的数据，然后在目标数据库中插入这些数据，从而快速实现数据迁移；

  • 跨库数据访问：有些应用需要将数据分散到不同的集群或同一集群的不同租户中，这时可以使用 DBLink 来实现跨集群、跨租户的数据共享和交互。如本文开头介绍的场景，某公司各部门的数据记录在各自的数据库中，在需要汇总分析全公司数据时，使用 DBLink 即可实时访问各部门数据；

  • 数据一致性：基于 OceanBase 本身的 XA 事务能力，OceanBase 的 DBLink 不仅提供了读取远程数据的能力，还支持写事务。例如，一个应用程序需要在多个数据库中进行数据更新和插入，使用 DBLink 可以保证前述操作在一个事务中执行，从而保证数据的一致性和可靠性。

图片

DBLink 功能主要分为读功能和写功能，下表是对读写功能的使用场景和版本支持情况的介绍。

图片

图片

为了验证 OceanBase 的 DBLink 能力，我们假设以下业务场景进行实验：A 客户需要将业务系统从 Oracle 迁移至 OceanBase：大部分业务场景完全迁移至 OceanBase 的多个 Oracle 模式租户，小部分业务场景仍保留在 Oracle，最终数据分散存放在 OceanBase 的 Oracle 租户 1、Oracle 租户 2 以及 Oracle 数据库上。

此时创建一个从 Oracle 租户 1 到 Oracle 租户 2 的 DBLink，命名为 OB_LINK；创建一个从 Oracle 租户 1 到 Oracle 数据库的 DBLink，命名为 ORCL_LINK。下文将具体展示 OceanBase DBLink 功能可以在实际业务中为用户带来的便利。

一、无需修改代码，正常使用 Oracle DBLink 功能

A 客户原本在业务系统上使用了 Oracle 的 DBLink 功能，将业务场景迁移至 OceanBase 之后，A 客户无需修改原有业务代码，在 Oceanbase 的 Oracle 租户下创建同名的 DBLink 即可无缝使用原有的业务代码。

二、平滑迁移 Oracle 表数据或 OceanBase 租户表数据

A 客户的大部分业务数据都已通过 OMS 从 Oracle 迁移至 OceanBase 的 Oracle 租户 1 上，临时发现还有名为 orders 的表被遗漏在 Oracle 数据库上未完成迁移。此时，可以使用 OceanBase DBLink 功能方便快捷地迁移数据，避免导出导入数据的繁琐操作。

obclient> create table orders as select * from orders@ORCL_LINK;Query OK, 9999 rows affected (0.36 sec)

A 客户的业务数据分布在不同的 OceanBase 的 Oracle 租户上，如果需要将 Oracle 租户 1 的 lineitem 表数据迁移到 Oracle 租户 2，OceanBase DBLink 功能同样可以进行迁移操作。

​​​​​​​

obclient> create table lineitem as select * from lineitem@OB_LINK;Query OK, 37641 rows affected (1.66 sec)

三、OceanBase 读异构的 Oracle 数据

A 客户的完成了业务数据的迁移过渡，有部分 sql 查询场景要同时访问位于 OceanBase 租户 1 上的 orders 表和 Oracle 上的 customer 表数据，OceanBase DBLink 支持从 Oracle 租户查询 Oracle 表数据的能力。​​​​​​​

obclient> select a.O_CUSTKEY, b.C_NAME from orders a, customer@ORCL_LINK b where a.O_CUSTKEY = b.C_CUSTKEY;+-----------+--------------------+| O_CUSTKEY | C_NAME             |+-----------+--------------------+|    665509 | Customer#000665509 ||   1978019 | Customer#001978019 ||   1855835 | Customer#001855835 ||    525559 | Customer#000525559 ||    103387 | Customer#000103387 ||     28801 | Customer#000028801 |+-----------+--------------------+6 rows in set (0.01 sec)

四、OceanBase 跨租户读数据

A 客户的业务数据分布在不同的 OceanBase 的 Oracle 租户上， 有部分 sql 查询场景要同时访问位于 OceanBase 的 Oracle 租户 1 的 lineitem 表数据和 Oracle 租户 2 上的 partsupp 表数据，OceanBase DBLink 支持跨租户查询表数据的能力。

​​​​​​​

obclient> select a.L_ORDERKEY, b.PS_SUPPKEY from lineitem a, partsupp@OB_LINK b where a.L_PARTKEY = b.PS_PARTKEY;+------------+------------+| L_ORDERKEY | PS_SUPPKEY |+------------+------------+|    5010944 |     291423 ||    5010944 |      41423 ||    5010944 |     791423 ||    5010944 |     541423 ||    7808165 |     903434 ||    7808165 |     653434 ||    7808165 |     403434 |+------------+------------+7 rows in set (0.01 sec)

五、XA 事务保证下的写异构 Oracle 或写其他 OceanBase 租户

A 客户的业务数据分布在不同的 OceanBase 的 Oracle 租户上， 业务需要在 OceanBase 的 Oracle 租户 1 上向 Oracle 租户 2 和 Oracle 数据库写入数据并提交事务修改，三方将共同参与一个 XA 事务。XA 事务在使用 DBLink 写入数据前将自动开启，事务内有以下操作：

第一，向 Oracle 数据库的 customer 表的插入数据

​​​​​​​

obclient> insert into Customer@ORCL_LINK values(9989, 'Customer#01', 'abcdefg', 8, '123456789', -240.92, 'building', 'etc.');Query OK, 1 row affected (0.32 sec)obclient> select * from Customer@ORCL_LINK  where C_CUSTKEY = 9989;+-----------+-------------+-----------+-------------+-----------------+-----------+--------------+-----------+| C_CUSTKEY | C_NAME      | C_ADDRESS | C_NATIONKEY | C_PHONE         | C_ACCTBAL | C_MKTSEGMENT | C_COMMENT |+-----------+-------------+-----------+-------------+-----------------+-----------+--------------+-----------+|      9989 | Customer#01 | abcdefg   |           8 | 123456789       |   -240.92 | building     | etc.      |+-----------+-------------+-----------+-------------+-----------------+-----------+--------------+-----------+1 row in set (0.00 sec)

第二，将 OceanBase 的 Oracle 1 租户的 lineitem 表的指定数据插入到 OceanBase 的 Oracle 2 租户的 lineitem 表上。

​​​​​​​

obclient> select * from lineitem@OB_LINK where L_ORDERKEY = 897;Empty set (0.04 sec)obclient> insert into lineitem@OB_LINK select * from lineitem where L_ORDERKEY = 897;Query OK, 4 rows affected (0.03 sec)obclient> select * from lineitem@OB_LINK where L_ORDERKEY = 897;+------------+-----------+-----------+--------------+------------+-----------------+------------+-------+--------------+--------------+---------------------+---------------------+---------------------+---------------------------+------------+--------------------------------------+| L_ORDERKEY | L_PARTKEY | L_SUPPKEY | L_LINENUMBER | L_QUANTITY | L_EXTENDEDPRICE | L_DISCOUNT | L_TAX | L_RETURNFLAG | L_LINESTATUS | L_SHIPDATE          | L_COMMITDATE        | L_RECEIPTDATE       | L_SHIPINSTRUCT            | L_SHIPMODE | L_COMMENT                            |+------------+-----------+-----------+--------------+------------+-----------------+------------+-------+--------------+--------------+---------------------+---------------------+---------------------+---------------------------+------------+--------------------------------------+|        897 |   9044941 |    544960 |            1 |         15 |        28282.35 |        .07 |   .04 | R            | F            | 1995-05-25 00:00:00 | 1995-05-09 00:00:00 | 1995-06-07 00:00:00 | COLLECT COD               | REG AIR    | r ideas. slyly spec                  ||        897 |  18316926 |     66981 |            2 |         26 |        50492.26 |        .05 |   .08 | N            | O            | 1995-07-01 00:00:00 | 1995-06-10 00:00:00 | 1995-07-14 00:00:00 | COLLECT COD               | MAIL       | tions sleep according to the special ||        897 |  12570365 |    820378 |            3 |         13 |        18651.62 |        .07 |     0 | A            | F            | 1995-03-30 00:00:00 | 1995-05-17 00:00:00 | 1995-04-21 00:00:00 | TAKE BACK RETURN          | MAIL       | bold accounts mold carefully! braids ||        897 |  10118182 |    618203 |            4 |          2 |         2399.36 |        .08 |   .08 | R            | F            | 1995-05-22 00:00:00 | 1995-05-07 00:00:00 | 1995-06-16 00:00:00 | COLLECT COD               | RAIL       | into beans. slyly special fox        |+------------+-----------+-----------+--------------+------------+-----------------+------------+-------+--------------+--------------+---------------------+---------------------+---------------------+---------------------------+------------+--------------------------------------+4 rows in set (0.03 sec)

第三，将 Oracle 上更新后 customer 表和 Oracle 租户 2 上更新后的 lineitem 表做 join，并把 join 结果插入到 Oracle 租户 1 的 lineitem 表。

​​​​​​​

obclient> insert into lineitem select b.* from customer@ORCL_LINK a, lineitem@OB_LINK b where a.C_CUSTKEY = b.L_ORDERKEY;Query OK, 9990 rows affected (1.12 sec)Records: 9990  Duplicates: 0  Warnings: 0

第四，提交 XA 事务，OceanBase 的 Oracle 租户 1、OceanBase 的 Oracle 租户 2 和 Oracle 上对应的表更新一起提交事务内改动。

​​​​​​​​​​​​​​

obclient> commit;Query OK, 0 rows affected (0.04 sec)

通过以上场景的实际操作，我们验证了 OceanBase DBLink 功能的读能力和支持 XA 事务的写能力，在帮助用户降低从 Oracle 到 OceanBase 数据迁移成本的同时，提供跨租户迁移数据、查询 Oracle 或其他租户数据以及 XA 事务保证下的写数据能力。

图片

本文介绍了 OceanBase 数据库目前 DBLink 功能的具体情况，未来我们将持续升级这些功能。

近期我们会从两方面对 DBLink 功能进行增强：一是支持访问更多的远程对象类型，例如近期将支持访问远程 PROCEDURE 和 SEQUENCE 对象；二是为了更好地支持 OLAP 场景，我们也将支持更多的数据源类型，支持连接 OceanBase 和 Oracle 以外的数据库。

在即将发布的 4.2 版本中，OceanBase 将会提供跨 MySQL 租户的 DBLink 读能力。我们相信 OceanBase DBLink 功能可以让用户的业务数据共享与流转更简单便捷，也欢迎大家向我们反馈使用感受。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/957234.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

为什么聊天头像ChatGPT是橙色的？

为什么聊天头像ChatGPT是橙色的？

目录 ChatGPT的不同版本及其颜色 了解绿色和橙色的ChatGPT徽标 颜色变化的重要性 橙色标志的原因 故障排除和常见问题解答 常见问题3：如何查看ChatGPT的服务器状态？ 常见问题4：如果使用ChatGPT时遇到错误，我该怎么办&#…
阅读更多...
第 3 章 栈和队列（用递归调用求 Ackerman(m, n) 的值）

第 3 章 栈和队列（用递归调用求 Ackerman(m, n) 的值）

1. 示例代码&#xff1a; /* 用递归调用求 Ackerman(m, n) 的值 */#include <stdio.h>int Ackerman(int m, int n);int main(void) {int m 0, n 0;printf("Please input m and n: ");scanf_s("%d%d", &m, &n);printf("Ackerman(%d, …
阅读更多...
信息安全-应用安全-蚂蚁集团软件供应链安全实践

信息安全-应用安全-蚂蚁集团软件供应链安全实践

8月10日&#xff0c;由悬镜安全主办、以“开源的力量”为主题的DSS 2023数字供应链安全大会在北京国家会议中心隆重召开。蚂蚁集团网络安全副总经理程岩出席并发表了《蚂蚁集团软件供应链安全实践》主题演讲。 图1 蚂蚁集团网络安全副总经理程岩发表主题演讲 以下为演讲实录&am…
阅读更多...
css实现文字翻转效果

css实现文字翻转效果

csss实现文字翻转效果 主要实现核心属性 direction: rtl; unicode-bidi: bidi-override; direction: rtl; 这个属性用于指定文本的方向为从右到左&#xff08;Right-to-Left&#xff09;。它常用于处理阿拉伯语、希伯来语等从右向左书写的文字样式。当设置了 direction: rtl; …
阅读更多...
Java队列有哪些？8大常用Java队列总结

Java队列有哪些？8大常用Java队列总结

什么是队列? 队列是一种操作受限的线性表&#xff0c;只允许在表的前端&#xff08;front&#xff09;进行删除操作又称作出队&#xff0c;在表的后端进行插入操作&#xff0c;称为入队&#xff0c;符合先进先出&#xff08;First in First out&#xff09;的特性。在队尾插入…
阅读更多...
Rstudio开不开了怎么办？R is taking longer to start than usual

Rstudio开不开了怎么办？R is taking longer to start than usual

Rstudio Server 启动时卡死 在使用 linux 服务器版 RstudioServer 的过程中&#xff0c;发现出现了一个问题&#xff0c;导致没有办法正常载入工作页面&#xff0c;网页提示信息是“R is taking longer to start than usual”&#xff0c;直接翻译过来就是“这次启动 R 会比平常…
阅读更多...
Unity RenderStreaming 云渲染-黑屏

Unity RenderStreaming 云渲染-黑屏

&#x1f96a;云渲染-黑屏 网页加载出来了&#xff0c;点击播放黑屏 &#xff0c;关闭防火墙即可&#xff01;&#xff01;&#xff01;&#xff01;
阅读更多...
$attrs,$listeners

$attrs,$listeners

vue实现组件通信的方式有&#xff1a; 父子通信 父组件向子组件传递通过props定义各个属性来传递&#xff0c;子组件向父组件传递通过$emit触发事件 ref也可以访问组件实例跨级通信 vuex bus provide / inject $attrs / $listeners解释 $attrs / $listeners $attrs 将父组件中…
阅读更多...
Django实现音乐网站 ⒂

Django实现音乐网站 ⒂

使用Python Django框架制作一个音乐网站&#xff0c; 本篇主要是歌手详情页-基本信息、单曲列表功能开发实现内容。 目录 歌手基本信息 增加路由 显示视图 模板显示 推荐歌手跳转详情 歌手增加基本信息 表模型增加字段 数据表更新 基本信息增加内容渲染 歌手单曲列表…
阅读更多...
Watermark 是怎么生成和传递的？

Watermark 是怎么生成和传递的？

分析&回答 Watermark 介绍 Watermark 本质是时间戳&#xff0c;与业务数据一样无差别地传递下去&#xff0c;目的是衡量事件时间的进度&#xff08;通知 Flink 触发事件时间相关的操作&#xff0c;例如窗口&#xff09;。 Watermark 是一个时间戳, 它表示小于该时间戳的…
阅读更多...
SpringBoot进阶使用

SpringBoot进阶使用

参考自 4.Web开发进阶.pptx[1] 静态资源访问 默认将静态资源放到src/main/resources/static目录下&#xff0c;这种情况直接通过ip:port/静态资源名称即可访问(默认做了映射) 也可以在application.properties中通过spring.web.resources.static-locations进行设置 例如[2]&…
阅读更多...
第63步 深度学习图像识别：多分类建模误判病例分析（Tensorflow）

第63步 深度学习图像识别：多分类建模误判病例分析（Tensorflow）

基于WIN10的64位系统演示 一、写在前面 上两期我们基于TensorFlow和Pytorch环境做了图像识别的多分类任务建模。这一期我们做误判病例分析&#xff0c;分两节介绍&#xff0c;分别基于TensorFlow和Pytorch环境的建模和分析。 本期以健康组、肺结核组、COVID-19组、细菌性&am…
阅读更多...
Pytorch中如何加载数据、Tensorboard、Transforms的使用

Pytorch中如何加载数据、Tensorboard、Transforms的使用

一、Pytorch中如何加载数据 在Pytorch中涉及到如何读取数据&#xff0c;主要是两个类一个类是Dataset、Dataloader Dataset 提供一种方式获取数据&#xff0c;及其对应的label。主要包含以下两个功能&#xff1a; 如何获取每一个数据以及label 告诉我们总共有多少的数据 Datal…
阅读更多...
终端登录github两种方式

终端登录github两种方式

第一种方式 添加token&#xff0c;Setting->Developer Setting 第二种方式SSH 用下面命令查看远程仓库格式 git remote -v 用下面命令更改远程仓库格式 git remote set-url origin gitgithub.com:用户名/仓库名.git 然后用下面命令生成新的SSH秘钥 ssh-keygen -t ed2…
阅读更多...
Matlab图像处理-线性变换

Matlab图像处理-线性变换

线性变换 空间域处理技术是直接对图像的像素进行操作。灰度变换不改变原图像中像素的位置&#xff0c;只改变像素点的灰度值&#xff0c;并逐点进行&#xff0c;和周围的其他像素点无关。 灰度线性变换即是对图像的灰度做线性拉伸、压缩&#xff0c;映射函数为一个直线方程。…
阅读更多...
【大数据】数据湖：下一代大数据的发展趋势

【大数据】数据湖：下一代大数据的发展趋势

数据湖&#xff1a;下一代大数据的发展趋势 1.数据湖技术产生的背景1.1 离线大数据平台&#xff08;第一代&#xff09;1.2 Lambda 架构1.3 Lambda 架构的痛点1.4 Kappa 架构1.5 Kappa 架构的痛点1.6 大数据架构痛点总结1.7 实时数仓建设需求 2.数据湖助力于解决数据仓库痛点问…
阅读更多...
137.只出现一次的数字

137.只出现一次的数字

目录 一、题目 二、代码 一、题目 137. 只出现一次的数字 II - 力扣&#xff08;LeetCode&#xff09; 二、代码 class Solution { public:int singleNumber(vector<int>& nums) {int answer0;int count0;//用于计数for(int i0;i<32;i){count0;for(int j0;j&l…
阅读更多...
Shell - 根据用户名查询该用户的相关信息

Shell - 根据用户名查询该用户的相关信息

文章目录 #! /bin/bash # Function&#xff1a;根据用户名查询该用户的所有信息 read -p "请输入要查询的用户名&#xff1a;" A echo "------------------------------" ncat /etc/passwd | awk -F: $1~/^$A$/{print} | wc -l if [ $n -eq 0 ];then echo …
阅读更多...
unity pivot and center

unity pivot and center

一般采用pivot即默认的模式 选中物体的轴心 Center中心 选中多个物体&#xff0c;两咱情况下旋转的效果也不一样 围绕各自中心旋转 Center 围绕中心旋转
阅读更多...
K8s：一文认知 CRI，OCI，容器运行时，Pod 之间的关系

K8s：一文认知 CRI，OCI，容器运行时，Pod 之间的关系

写在前面 博文内容整体结构为结合 华为云云原生课程 整理而来,部分内容做了补充课程是免费的&#xff0c;有华为云账户就可以看&#xff0c;适合理论认知&#xff0c;感觉很不错。有需要的小伙伴可以看看&#xff0c;链接在文末理解不足小伙伴帮忙指正 对每个人而言&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023