TapData 信创数据源 | 国产信创数据库 OceanBase 数据同步指南,加速国产化进程,推进自主创新建设

news2024/11/28 0:42:45

随着国家对自主可控的日益重视,目前在各个行业和区域中面临越来越多的国产化,采用有自主知识产权的国产数据库正在成为主流。长期以来,作为拥有纯国产自研背景的 TapData,自是非常重视对于更多国产信创数据库的数据连接器支持,旗下产品已陆续与阿里云、华为云、麒麟软件、优炫数据库、Apache Doris、人大金仓、OceanBase 等国产数据库及操作系统完成产品生态集成认证或产品兼容互认证。

本专题将以 TapData 正在支持的各国产信创数据源为原点,提供详细的数据库同步、迁移教程,为有需求的用户提供更灵活的工具选择。本文将介绍的 TapData 数据源为——OceanBase

国产化浪潮之下,基础软件自主可控迫在眉睫,越来越多的国内企业开始从 Oracle、MySQL 这一类海外数据库向国产数据库迁移,TapData 的能力恰好满足企业快速、无痛实现迁移的需求,有效推动信创行业国产化建设更进一步。信创领域和基础软件设施的自主可控作为国家重点关注领域,全面国产化替代的进程仍在全速前进中。

同为国产基础软硬件生态的积极建设者,TapData 一直以来都在坚持拓展并持续深化与更多国产信创数据库的生态与战略伙伴关系,以期推动更多行业数据管理解决方案及创新应用的落地,提供更加广泛的基础设施选择及技术服务保障,从而为加速国产软硬件产品的应用普及与协同发展贡献力量。纯国产自研的背景更是为 TapData 的这一发展目标添翼。目前,TapData 已成功实现对主流国产数据库的广泛支持,以 OceanBase 为例

OceanBase 数据库(OceanBase Database) 是蚂蚁集团旗下企业级原生分布式关系数据库,100%自主研发,已连续 11 年稳定支撑双 11,在普通硬件上实现金融级高可用,首创“三地五中心”城市级故障自动无损容灾新标准,刷新 TPC-C 标准测试,单集群规模超过 1500 节点,具有云原生、强一致性、高度兼容 Oracle/MySQL 等特性。14 年持续深耕海量核心场景,已助力金融、政务、运营商等多个国产化一线行业的众多客户实现关键业务系统升级。

此外,作为 2024年7月墨天轮中国数据库流行度排行榜上的 Top2,OceanBase 也是国产化技术环境中常见的身影之一。那么,如何高效实现 OceanBase 的数据同步?

一、OceanBase 数据迁移方案

更多详情,参见《OceanBase 数据库技术文档-数据迁移》:
https://www.oceanbase.com/docs/oceanbase-database-cn

数据迁移是日常运维操作的一种常见操作,是调整集群负载和机房搬迁的必备操作。虽然集群内部、表与表之间数据归档、磁盘水位均衡、资源单元搬迁等操作在 OceanBase 数据库中可以通过简单命令快速发起,但是涉及异构数据源和集群间的数据同步等功能时就需要借助外部工具。

应用场景

数据迁移是数据库运维常见的操作,主要有如下的应用场景:

  • 调整集群负载和机房搬迁。
  • 数据导出到文件、从文件导入到数据库。
  • 数据库替换。
    在这里插入图片描述- 数据库逻辑复制,包括读写分离、数据库容灾、业务多活等。
  • 业务上的数据复制需求。

迁移方案

OceanBase 数据库提供丰富的数据迁移复制方法,包括:

  • 使用 OMS 迁移(建议)
  • 使用 obloader & obdumper 迁移
    • 使用 obloader 导入数据
    • 使用 obdumper 导出数据
  • 使用 SQL 脚本迁移
  • 使用 MyDumper 迁移
  • 使用 TapData 迁移
  • 使用 DataX 迁移
  • 使用 OUTFILE 语句迁移
  • 使用 DBCAT 迁移

迁移方案具体支持情况如下:
以上是几种 OceanBase 适用的数据迁移方法及工具。

二、TapData 高效迁移教程:以 OceanBase → MySQL 为例

更多详情,参见《TapData 帮助文档-连接数据源-自建数据库 OceanBase》:
https://docs.tapdata.net/prerequisites/on-prem-databases/oceanbase

完成 TapData Agent 部署后,即可跟随以下教程在 TapData 中添加 OceanBase 数据源(支持版本:OceanBase 3.x),后续可将其作为源或目标库来构建数据管道。这里我们将以 OceanBase 为数据源,MySQL 为数据目标进行模拟演示。(*涉及工具版本为 Tapdata 本地部署版)

版本指路:
点击登录 Tapdata Cloud
申请试用 Tapdata 本地部署版

① 准备工作

  1. 确保 TapData 所属的网络已加入 OceanBase 的租户白名单中。
  2. 以 root 用户登录到租户。
  3. 执行下述格式的命令,创建用于数据同步的用户。
CREATE USER 'username' IDENTIFIED BY 'password';
  • username:用户名。
  • password:密码。
  1. 执行下述格式的命令,为刚创建的用户授予库级别所有权限,您也可以基于业务需求自定义更精细化的权限控制。
GRANT ALL ON database_name.* TO username;
  • database_name:数据库名称。
  • username:用户名。

② 创建 OceanBase 的连接

*OceanBase 有 MySQL 和 Oracle 两种运行模式,依据 JDBC 驱动连接时的租户名称判断,目前 TapData 两种模式都可支持。

  1. 进入 TapData 控制台,在左侧导航栏,单击连接管理
  2. 单击页面右侧的创建,在弹框中,搜索并选择 OceanBase
  3. 在跳转到的页面,根据下述说明填写 OceanBase 连接信息:
    在这里插入图片描述
  • 连接信息设置
    • 连接名称:填写具有业务意义的独有名称。
    • 连接类型:支持 OceanBase 数据库作为源或目标。
    • 地址:数据库连接地址。
    • 端口:数据库的服务端口,默认为 2881
    • 数据库:数据库名称,即一个连接对应一个数据库,如有多个数据库则需创建多个数据连接。
    • 账号:数据库的租户账号,格式为 用户名@租户名,例如要通过 tapdata 账号连接默认的 test 租户时,即填写为 tapdata@test。
    • 密码:租户账号对应的密码。
    • 额外参数:额外的连接参数,默认为空。
    • 时区:默认为数据库所用的时区,您也可以根据业务需求手动指定。
  • 高级设置
    • Agent 设置:默认为平台自动分配,您也可以手动指定 Agent。
    • 模型加载频率:数据源中模型数量大于 1 万时,TapData 将按照设置的时间定期刷新模型。
  1. 单击连接测试,测试通过后单击保存
    在这里插入图片描述*提示:如提示连接测试失败,请根据页面提示进行修复。

③ 创建 MySQL 的连接

1.参照 OceanBase 连接创建流程,完成 MySQL 连接配置信息填写,添加数据目标 MySQL:
在这里插入图片描述2. 测试 MySQL 连接:
在这里插入图片描述
3.模型加载成功:
在这里插入图片描述④ 创建数据复制/开发任务

1.左侧导航栏点击数据复制,并点击右侧创建:
在这里插入图片描述2.进入 DAG 页面,构建数据复制任务,通过拖拉拽的方式添加源与目标节点,并连接源与目标
3.单击源与目标节点,即可按需对二者进行设置:
4.保存任务
在这里插入图片描述⑤ 任务启动与监控

1.启动任务,任务全量同步正常运行:
在这里插入图片描述2. 源表和目标表数据检验 count 一致,内容一致
在这里插入图片描述3. 增量同步:数据源表新增数+1,目标表新增数+1,检查源表和目标表,源表和目标表依次新增这条数据
在这里插入图片描述以上,便是借助 TapData 快速实现 OceanBase 到 MySQL 的全、增量同步的模拟教程。

后续,我们还将陆续输出 GaussDB、人大金仓Kingbase、神州通用、南大通用、OpenGauss、瀚高、 TDengine、TDSQL、VastBase等热门国产数据源的连接教程,欢迎关注 TapData 官方公众号,了解更多。

< 上一篇 TiDB
推荐阅读】:

  • TapData 信创数据源 | 国产信创数据库 TiDB数据迁移指南,加速国产化进程,推进自主创新建设
  • TapData 信创数据源 |国产信创数据库达梦(Dameng)数据迁移指南,加速国产化进程,推进自主创新建设
  • ETL vs. ELT:数据集成的最佳实践是什么?
  • 统一的实时数据平台终极指南
  • 加速数字化转型,信创自主可控:TapData为银行业数据管理能力建设提供新思路
  • 如何高效整合分散数据,构建统一的实时数据平台?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1985239.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

WiFi模块无线通信交互,乐鑫ESP32物联网方案,启明云端乐鑫代理商

随着物联网(IoT)技术的飞速发展&#xff0c;我们正步入一个智能化、互联化的世界。在这一进程中&#xff0c;无线WiFi模块作为连接物理世界与数字世界的桥梁&#xff0c;扮演着至关重要的角色。 WiFi模块是一种基于WiFi协议的无线模块&#xff0c;它可以实现设备之间的无线通信…

ACM MM 2024 | 比SDXL和DALL-E·3更引人入胜!ReCorD:交互场景生成最新SOTA!

文章链接&#xff1a;https://arxiv.org/pdf/2407.17911 git链接&#xff1a;https://alberthkyhky.github.io/ReCorD/ 亮点直击&#xff1a; 引入了一种新颖的推理框架&#xff0c;将潜在扩散模型&#xff08;LDM&#xff09;与视觉语言模型&#xff08;VLM&#xff09;相结合…

私域成交的关键点

私域运营&#xff0c;私域团购&#xff0c;私域秒杀&#xff0c;私域发售

单张图像降噪Masked and Shuffled Blind Spot Denoising for Real-World Images

文章目录 Masked and Shuffled Blind Spot Denoising for Real-World Images1.噪声的空间相关性2.mask3.loss4.masking ratio 与 spatial correlation的关系5.空间噪声去相关6.Automated selection of the BSD masking ratio7.小结 Masked and Shuffled Blind Spot Denoising f…

深入 Dify 源码,洞察 Dify RAG 切片机制实现细节

背景介绍 最近测试时发现 Dify 的 RAG 分片效果一般&#xff0c;不管是使用之前 深入 Dify 源码&#xff0c;洞察 Dify RAG 核心机制 中有调研过的默认解析还是 Unstructured 解析。因此调研比较了 大量的开源框架 实现了特定格式的结构化解析方案&#xff0c;并与 Dify 现有解…

高通8255 Android Virtio Virtio-IIC 配置方法

目录 一&#xff1a;VirtIO和Passthrough的区别 方法一&#xff1a; passthrough 方法二&#xff1a;virtIO 二&#xff1a;配置逻辑 三&#xff1a;示例Virtio-I2C配置 Virtio-I2C框架 步骤一&#xff1a;QNX IIC资源配置 & 测试 配置 测试 步骤二&#xff1a;B…

干货整理: 什么软件能够监控电脑? 六大好用监控电脑软件抢手推荐

如何保障电脑的安全是许多企业用户关注的焦点。 除了常见的杀毒软件外&#xff0c;电脑监控软件也是一道重要的防线。 这些软件能够实时监控电脑的各项运行状况&#xff0c;及时发现并处理潜在的安全威胁&#xff0c;确保电脑的正常运行和用户数据的安全。 接下来&#xff0…

优思学院|防呆法的十大原理

防呆法&#xff08;Poka-Yoke&#xff09;&#xff0c;又称防错法&#xff08;Mistake-Proofing&#xff09;&#xff0c;是一种通过预防错误的发生来提高工作效率&#xff0c;也是精益管理、六西格玛中常用的管理工具。以下就是防呆法的十大原理&#xff1a; 1. 断根原理 断…

算法_链表专题---持续更新

文章目录 前言两数相加题目要求题目解析代码如下 两两交换链表中的结点题目要求题目解析代码如下 重排链表题目要求题目解析代码如下 合并K个升序链表题目要求题目解析 K个一组翻转链表题目要求题目解析代码如下 前言 本文将记录leetcode链表算法题解&#xff0c;包含题目有&a…

Why Memory Matters?(记忆力为何如此重要?)

What is memory? The general consensus is that memory is a multitude of cognitive systems which allow us to store information for certain periods of time so that we can learn from our past experiences and predict the future. 什么是记忆?人们普遍的共识是&am…

《PostgreSQL 数据库在国内的发展前景》

从DB-engines这张2024年8月的最新排名图上可以看出&#xff0c;PostgreSQL数据库的发展趋势还是非常好的&#xff0c;在国内&#xff0c;PostgreSQL数据库也展现出令人振奋的发展前景&#xff0c;非常明显的一种表现就是腾讯云、人大金仓、阿里云、华为等众多厂商都有基于Postg…

推荐一个uniapp选择文件上传的插件

插件地址&#xff1a;文件选择、文件上传组件&#xff08;图片&#xff0c;视频&#xff0c;文件等&#xff09; - DCloud 插件市场 支持 H5 / App / 微信小程序

警惕!SCI投稿也有“假网址”!3秒教你查询正确的期刊官网网址

【SciencePub学术】很多没有发表过SCI论文的学者&#xff0c;对于投稿是非常陌生的。首先第一步&#xff0c;对于寻找正确的SCI/SSCI期刊官网都是一项难题。 01 假网站泛滥 • 目前市面上很多假的期刊官网&#xff0c;甚至于界面都所差无几&#xff0c;但是网址仅仅相差一个“…

【两周年纪念日】我将竭尽全力,只为和最美丽的自己早日汇合

​ 您好&#xff0c;我是程序员小羊&#xff01; 存在有其原因&#xff0c;经历有其始终&#xff0c;年华有其始末&#xff0c;拼搏要有结果。 2023来去匆匆&#xff0c;2024奋斗始终&#xff0c;献出一份感情&#xff0c;收获一份心情&#xff0c;拼出一段经验&#xff0c;收获…

两个方法 搞定伦敦金涨跌预测

受美联储降息预期和地缘局势紧张的关系影响&#xff0c;近期伦敦金价格再次出现了强势的上涨&#xff0c;盘中攀升超过30美元。这波涨势的出现&#xff0c;实在是在很多人的意料之外&#xff0c;那么下一步投资者就要开始考虑伦敦金的上涨的终点在哪里&#xff1f;实际上这就是…

计算机组成原理 - 中央处理器

中央处理器 考纲内容 CPU的功能和基本结构指令执行过程数据通路的功能和基本结构控制器的功能和工作原理异常和中断机制 异常和终端的基本概念&#xff1b;异常和中断的分类&#xff1b;异常和中断的检测与响应指令流水线 指令流水线的基本概念&#xff1b;指令流水线的基本实…

动态规划:买卖股票系列

目录 1. 买卖股票的最佳时机1-只能买卖一次(LeetCode121) 解法1&#xff1a;暴力解法 解法2&#xff1a;贪心算法 解法3&#xff1a;动态规划 2. 买卖股票的最佳时机2-可以买卖多次(LeetCode122) 解法1&#xff1a;贪心算法 解法2&#xff1a;动态规划 3. 买卖股票的最…

【架构设计】软件设计原则中的7种耦合和内聚(详解)

文章目录 一、前言二、内聚1、定义2、7 种内聚类型及其描述3、设计要求 三、耦合1、定义2、7 种耦合类型及其描述3、设计要求 四、总结 一、前言 耦合&#xff08;Coupling&#xff09;和内聚&#xff08;Cohesion&#xff09;是衡量软件模块设计质量的两个非常重要的概念。高…

2024实验班选拔考试(热身赛)

比赛传送门 邀请码&#xff1a;2024wksyb A. 简单的数列问题 签到&#xff0c;记得开long long。 #include<bits/stdc.h> #define rep(i,a,b) for (int ia;i<b;i) #define per(i,a,b) for (int ia;i>b;--i) #define se second #define fi first #define endl …

linux进程篇总结——实战——自定义shell

前言&#xff1a;经过过去两章十二篇文章的学习&#xff0c;我们已经知道了进程的基本概念以及进程的控制方法。 本篇内容就是使用过去学习的内容自己写一个功能简单的shell外壳程序&#xff0c; 也就是我们使用的bash命令行。 本篇内容是过去进程知识的集大成者。 我们在这个实…