seatunnel数据集成（一）简介与安装

news2024/11/19 3:47:11

seatunnel数据集成（一）简介与安装
seatunnel数据集成（二）数据同步
seatunnel数据集成（三）多表同步
seatunnel数据集成（四）连接器使用

1、背景

About Seatunnel | Apache SeaTunnel

SeaTunnel 是一个简单易用的数据集成框架。
SeaTunnel的前身是 Waterdrop（中文名：水滴）自 2021 年 10 月 12日更名为 SeaTunnel。
2021 年 12 月 9 日，SeaTunnel 正式通过 Apache 软件基金会的投票决议，以全票通过的优秀表现正式成为 Apache 孵化器项目。
2022 年 3 月 18 日社区正式发布了首个 Apache 版本v2.1.0。

2、应用场景

海量数据的同步
海量数据的集成
海量数据的ETL
海量数据聚合
多源数据处理

3、特点

基于配置的低代码开发，易用性高，方便维护。
支持实时流式传输
离线多源数据分析
高性能、海量数据处理能力
模块化的插件架构，易于扩展
支持用SQL进行数据操作和数据聚合
支持Sparkstructured streaming
支持Spark 2.x

4、优势

丰富的连接器
批流一体、多种开发模式
转换海量数据
易管理维护

5、安装部署

下载解压

https://dlcdn.apache.org/incubator/SeaTunnel/2.3.1/apache-SeaTunnel-incubating-2.3.1-bin.tar.gz

下载完毕之后上传到服务器上面并解压

# 解压

tar -zxvf apache-SeaTunnel-incubating-2.3.1-bin.tar.gz

下载对应的connector

在Apache的仓库下载相应的connector,下载时每个jar包在不同的路径下面，放到/SeaTunnel-2.3.1/connectors/SeaTunnel目录下

https://repo.maven.apache.org/maven2/org/apache/SeaTunnel/

配置安装SeaTunnel的插件

vim SeaTunnel-2.3.1/config/plugin_config

安装SeaTunnel

sh bin/install-plugin.sh 2.3.1

6、简单使用

bin目录下

install-plugin.sh                              --安装连接器脚本
 
seatunnel-cluster.sh                           -–集群模式启动脚本
 
seatunnel-cluster.sh                           --本地模式启动脚本
 
start-seatunnel-flink-13-connector-v2.sh       –-flink1.12-1.14版本引擎启动脚本
 
start-seatunnel-flink-15-connector-v2.sh       –-flink1.15-1.16版本引擎启动脚本
 
start-seatunnel-spark-2-connector-v2.sh        –-saprk2.x版本引擎启动脚本
 
start-seatunnel-spark-3-connector-v2.sh        –-saprk3.x版本引擎启动脚本
 
stop-seatunnel-cluster.sh                      -–集群模式关闭脚本