问题背景

由于项目需要，需要把多个Mysql数据库的数据同步到Doris数据库，然后利用Doris强调的计算和查询能力，来满足业务需求。有关Doris可以查看它的官方文档来了解它。

seatunnel的使用到放弃

缘起

从《第十届GIAC全球互联网架构大会》了解到在etl工具领域出了一个新的由国人开发的工具——Seatunnel，看PPT介绍是比阿里的Datax还好用的数据同步工具，以下图片来自大会PPT《白鲸开源代立冬-基于 Apache SeaTunnel 实现超高性能数据同步.pdf》

从这个PPT文档上面来看，支持的数据源比其他三款多，单机性能比最快的DataX还快20%-50%，以及社区很活跃等等，那肯定果断使用Apache SeaTunnel来做数据同步是最好的选择了。

使用

于是我开始进入SeaTunnel的官网,开始学习，粗略看了下，好像确实强大和简单，于是开始着手部署到测试环境去验证，下载最新版本（当时是2.3.2），在测试Mysql同步到Doris时，马上就遇到了一个坑：

org.apache.seatunnel.shade.com.typesafe.config.Config这个类找不到

在社区群请教大佬，大佬说让我用dev分支试试，于是我下载dev最新的代码，本地打包去部署，这里又有坑，因为Seatunnel里面有依赖一些在maven官方库没有的包，所以有些包需要自己下载，但没有找到相关文档说明，咨询大佬才知道，给了我这个文章参考，成为 Seatunnel 源码贡献者保姆级教程

按照这个文档操作之后，顺利打包，然后去部署，可以正常同步数据了。很开心~

在测试环境测试1000万数据用了999s，平均10673条/s，速度还是相当不错的。

但是立马又发现问题，有时候能正常跑完，有时候又会报错，提示：

1.ErrorCode:[Doris-01], ErrorDescription:[stream load error]

2.ErrorCode:[Doris-01], ErrorDescription:[stream load error] - Load status is Label Already Exists and load job finished, change you label prefix or restore from latest savepoint!

3.Please increase checkpoint timeout in the seatunnel.yaml

这里面1，2是doris那边Stream load出问题了，应该是seatunnel生成的lable prefix和之前提交的又重复，倒是提交不成功，属于是seatunnel生成策略问题，3这个就很迷，对seatunnel提交数据到doris的时机和控制不是很了解，官网也没有一个很清楚的说明，如果表数据量很大，很容易checkpoint一直卡着，然后超时，配置了split分片后也会，不知道如何解决好。并且在生产（数据量更大）测试的时候，有时候发现读不到数据，都是0

有时候任务信息显示的写入数量，在doris去查询对不上，相差很远。

缘落

由于遇到了很多奇奇怪怪的问题，而又不知道应该怎么查找问题，怎么解决问题，搞的就很烦了，可能工具本身是很好的工具，只是我使用的问题，很有可能是各种参数配置的问题，但是这里又没有一个最佳实践案例给参考，在官网上参数说明也很简单，对应技术大佬或者从事etl工具开发者来说可能看到这些说明就基本明白怎么样去调优，但是对于我这个小白来说，完全不知道要怎么办，于是打算放弃使用Seatunnel了，或许它很好，或许它未来会更好，等到它更加成熟我再来使用它吧，暂时再见了~