Tapdata 和 Databend 数仓数据同步实战

news2024/10/2 10:44:49

作者：韩山杰
https://github.com/hantmac
Databend Cloud 研发工程师

基础架构在云计算时代也发生着翻天地覆的变化，对于业务的支持变成了如何能利用好云资源实现降本增效，同时更好的支撑业务也成为新时代技术人员的挑战。本篇文章通过：借助 Tapdata Cloud 实现从阿里云 RDS 到云原生数仓 Databend 的数据同步，给大家展示一下 Tapdata Cloud 和 Databend cloud 在数仓领域的实践。

Tapdata Cloud 是由 Tapdata 提供的集数据复制、数据开发为一体的实时数据服务，能够在跨云、跨地域、多类型数据源的场景下，提供毫秒级的实时数据同步服务和数据融合服务。

Databend 是基于 Rust 开发的一个开源、弹性、负载感知的现代云数仓，赋能企业降本增效。在之前的文章中介绍了如何快速部署 Databend。Databend Cloud 是基于 Databend 实现的云上大数据解决方案。

体验 Tapdata 到 Databend Cloud 数据迁移

部署架构如下

数据源上部署 Tapdata Agent

Tapdata Agent 从 Tapdata Cloud 上获取任务执行

apdata Agent 获取的数据写入 Databend Cloud

具体操作如下：

1.1 部署 Tapdate Agent

Tapdata Agent 是数据同步、数据异构、数据开发场景中的关键程序。以上场景对数据的流转有着极高的实时性要求，因此，通过下载Tapdata Agent并将其部署在你的本地环境，基于低延迟的本地网络，Tapdata Agent能够发挥最佳性能以确保数据流转的实时性。

可以参考 Agent下载及安装。

1.2 数据同步（From MySQL to Databend ）

这里假设用户已经创建阿里云 MySQL RDS并在 RDS 中存储了一定量的数据，准备把数据同步到 Databend。

1.2.1 创建 MySQL 连接

在 Tapdata Cloud 中创建 MySQL 连接，

填写相应的连接参数，连接测试通过后保存。

1.2.2 创建 Databend 连接

在 Beta 数据源中选择 Databend 连接并填写相关连接参数，测试通过后保存。

1.2.3 创建数据复制任务

将 MySQL RDS 数据源和 Databend 数据源拖到画布中连接起来，表示准备从 MySQL 同步数据到 Databend。同步模式选择为 `全量同步`（增量同步的模式正在开发中），启动任务。

开始从 MySQL 同步数据到 Databend，下面展示了同步过程中的信息和数据。

1.2.4 查看结果

首先看一下 MySQL 中的表：

同时我们也可以在 Databend 中查询出已经同步过来的表和数据：

1.3 小结

上面的例子是通过 Tapdata Cloud 跑通一个 MySQL 表以及数据同步到 Databend 。Tapdata非常强大，能够支持多种异构数据源之间的同步，大家可以到 Tapdata Cloud 上继续探索。

Databend 生态介绍

Databend: 是新一代基于对象存储的弹性云数仓产品。地址： https://github.com/datafuselabs/databend

OpenDAL ：是 Databend 中负责和底层存储打交道的一个组件，目前被 Rust 多数据库产品及 Rust sccache 中大量使用，估计不远的将来会成为一个多云对象存储支持最好的产品。地址： https://github.com/datafuselabs/opendal

Openraft：是 Databend 中负责 Databend Meta 中的集群组件，目前被 SAP 及许多交易所使用。地址： https://github.com/datafuselabs/openraft

Databend k8s operator ： Databend 开源了 helm 基于 k8s 部署的 operator。地址：https://github.com/datafuselabs/helm-charts

文档网站： https://databend.rs/

Databend Cloud： Databend Cloud 是基于 Databend 实现的云 SAAS 的数仓项目，希望把底层的运维及生态全部封状好，对用户提供一站式 SAAS 数仓服务。目前 Databend Cloud 分为：海外和国内两个版本。海外版本主要部署在 AWS上，地址： https://databend.com，国内版本主要部署在阿里云和国内 AWS 上： https://databend.cn , 使用 Databend Cloud 的优势：