【安装部署】Apache SeaTunnel 和 Web快速安装详解

news2025/2/6 11:44:03

版本说明

由于作者目前接触当前最新版本为2.3.4 但是官方提供的web版本未1.0.0,不兼容2.3.4,因此这里仍然使用2.3.3版本。 可以自定义兼容处理,官方提供了文档:https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ

因为大部分用户使用SeaTunnel Web都是基于SeaTunnel-2.3.3 版本做的适配,而最新发布的SeaTunnel2.3.4部分API发生了改动导致直接升级的过程中会出现API不兼容的问题,所以本篇文章重点来了:我们需要对调用SeaTunnel APl的SeaTunnel Web源码部分进行修改,修改完之后,就能完全适配2.3.4最新版本。

下载地址

Apache SeaTunnel下载

https://seatunnel.apache.org/download file

SeaTunnel-web下载

https://seatunnel.apache.org/download 和SeaTunnel在相同的页面,往下拉,最下面有下载地址: file

安装SeaTunnel

上传压缩包

将下载的压缩包上传到指定目录下

# 在opt下创建seatunnel文件夹
mkdir /opt/seatunnel
# 用rz命令或shell工具上传即可

file

解压

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz

配置环境变量

# 编辑/etc/profile.d/my.env
vim /etc/profile.d/my.env

# 加入以下配置,具体路径根据自己服务设定
# 加入java环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH

# 加入maven环境变量
export MAVEN_HOME=/opt/module/apache-maven-3.5.4
export PATH=$MAVEN_HOME/bin:$PATH

执行source刷新环境变量

source /etc/profile

下载JAR包

Apache SeaTunnel里面的Connector对应的jar包需要自己下载,在执行自动下载jar包前,进入apache-seatunnel-2.3.3,查看vim bin/install-plugin.sh内容,主要内容就是下载jar包, 下载包的配置文件是:

${SEATUNNEL_HOME}/config/plugin_config

这个配置文件中不需要的可以删掉或注释掉,只下载自己需要的;默认是从mvvm下载,下载速度太慢,我这边安装了maven,并且配置了阿里云仓库,因此可以直接将下图中命令替换,从maven中下载, file

将 ${SEATUNNEL_HOME}/mvnw  替换为  mvn  

保存后退出

修改后:

file

jar包将下载下载到connectors/seatunnel这个目录下; 执行下载命令

sh bin/install-plugin.sh

看到是从阿里云下载的,等待下载完成即可

file

下载完成后将connectors下的jar包拷贝到lib下

cp connectors/seatunnel/* lib/

测试功能

cd /opt/seatunnel/apache-seatunnel-2.3.3

./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

看到这个就是执行成功,目前为止seatunnel安装成功 file

启动服务

# 后台启动服务
nohup sh bin/seatunnel-cluster.sh 2>&1 &

查看日志,打印如下日志即成功运行: file

安装SeaTunnel-Web

解压安装包

tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz 

file

初始化数据库

数据库脚本在/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/script 这个文件夹下,由于我Mysql是使用Docker安装,在宿主机无法执行命令,因此无法直接在服务器端安装,所以我将Seatunnel_server_mysql.sql 拷贝到本地,通过客户端导入脚本 file 执行成功: file

修改数据连接配置文件

vim conf/application.yml

下图中更改成对应实际数据库服务的信息: file

配置Client信息

cp /opt/seatunnel/apache-seatunnel-2.3.3/config/hazelcast-client.yaml /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/

配置支持的插件信息

cp /opt/seatunnel/apache-seatunnel-2.3.3/connectors/plugin-mapping.properties /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/

配置JAR包

首先找一个数据库驱动包放到lib目录下:mysql-connector-java-8.0.28.jar file

配置数据源JAR包

脚本地址:https://seatunnel.apache.org/assets/files/download_datasource-4b79e6fafe80459590a6a0fc2865e5ac.sh seatunnel提供了很多数据源jar包,需要下载好,否则会出现无法创建数据源等各种问题;

# 进入到/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin下
cd /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin

# 创建download_datasource.sh
vim download_datasource.sh

# 将上面脚本地址中的内容复制到 download_datasource.sh 中

# 授权
chmod 755 vim download_datasource.sh

# 执行下载
sh download_datasource.sh

等待下载完成即可

配置datasource开头的jar包

# 将seatunnel的jar依赖拷贝到web的libs下
 cp /opt/seatunnel/apache-seatunnel-2.3.3/lib/connector-*.jar /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/libs

启动web服务

sudo sh /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin/seatunnel-backend-daemon.sh start

访问web端

访问地址:http://hadoop102:8801/ 域名需根据自己实际情况替换,端口默认8801 ,用户名密码默认admin/admin file

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1598682.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

棱镜七彩上榜《中国网络安全行业全景图》软件成分分析领域

近日,安全牛第十一版《中国网络安全行业全景图》(以下简称“全景图”)正式发布。棱镜七彩凭借专业技术实力和创新能力上榜全景图软件供应链安全-软件成分分析领域。 据悉,本次第十一版全景图优先展现当前热门网络安全领域中具有较…

飞企互联FE业务协作平台 ProxyServletUti 任意文件读取漏洞复现

0x01 产品简介 飞企互联-FE企业运营管理平台是一个基于云计算、智能化、大数据、物联网、移动互联网等技术支撑的云工作台。这个平台可以连接人、链接端、联通内外,支持企业B2B、C2B与O2O等核心需求,为不同行业客户的互联网+转型提供支持。其特色在于提供云端工作环境,整合…

GLIB: The Main Event Loop

主事件循环机制(MEL:the Main Event Loop)在GLib和GTK应用中管理可用的事件源。事件源的类型包括:文件描述符(管道、套接字和常规文件)和定时器超时。 guint g_source_attach (GSource* source, GMainContext* contex…

java的深入探究JVM之内存结构

前言 Java作为一种平台无关性的语言,其主要依靠于Java虚拟机——JVM,我们写好的代码会被编译成class文件,再由JVM进行加载、解析、执行,而JVM有统一的规范,所以我们不需要像C那样需要程序员自己关注平台,大…

软件开发安全设计方案

2.1.应用系统架构安全设计要求 2.2.应用系统软件功能安全设计要求 2.3.应用系统存储安全设计要求 2.4.应用系统通讯安全设计要求 2.5.应用系统数据库安全设计要求 2.6.应用系统数据安全设计要求 软件开发全资料获取:软件开发全套资料_软件开发资料-CSDN博客https://…

server_id 引发的 MySQL 级联复制同步异常

MySQL 级联复制的坑,我帮你们踩了。 作者:蒋士峰,爱可生 DBA 团队成员,熟悉 MySQL,Oracle 等数据库。每天的积累,时间久了,会带来不一样的收货。 爱可生开源社区出品,原创内容未经授…

SOLIDWORKS 2024教育版全套多少钱?

SOLIDWORKS 2024教育版全套是一款专为教育机构和学生设计的3D CAD设计软件套装。它集合了SOLIDWORKS的核心功能和工具,旨在帮助学生在学习和实践过程中掌握先进的工程设计和制造技术。对于教育机构和学生而言,了解SOLIDWORKS 2024教育版全套的价格成为了…

[lesson35]函数对象分析

函数对象分析 客户需求 编写一个函数 函数可以获得斐波那契数列每项的值每调用一次返回一个值函数可根据需要重复使用 存在的问题 函数一旦开始调用就无法重来 静态局部变量处于函数内部,外界无法改变函数为全局函数,是唯一的,无法多次独…

【系统分析师】系统安全分析与设计

文章目录 1、安全基础技术1.1 密码相关1.1.1对称加密1.1.2非对称加密1.1.3信息摘要1.1.4数字签名1.1.5数字信封 1.2 PKI公钥体系 2、信息系统安全2.1 保障层次2.2 网络安全2.2.1WIFI2.2.2 网络威胁与攻击2.2.3 安全保护等级 2.3计算机病毒与木马2.4安全防范体系 1、安全基础技术…

Linux下kafka单机版搭建

1.zookeeper的安装 这里使用3.6.4版本 前提:服务器已经安装了jdk,zookeeper运行需要jdk环境 1.1创建放zookeeper的目录 #创建目录 mkdir -p /usr/local/zookeeper#赋予权限 chmod 777 /usr/local/zookeeper1.2安装包的下载 #这里推荐去官网下载 https:…

宝塔使用笔记

1.配置ssl 验证方式:文件验证和dns验证都试一下 参考: https://app.applebyme.cn/cloud/https/23050.html

FiT 基于 Pulsar 在金融在线高并发场景的最佳实践

关于 FiT 腾讯金融科技(Tencent Financial Technology)是腾讯公司提供移动支付与金融服务的综合业务平台。业务领域包括移动支付、投资理财、民生服务和国际化等,作为支付业务的基石和底座,FiT 致力于建设和发展完善的支付平台能…

C/C++基础----数组和引入指针

数组 数组的定义 语法: 类型 变量名[数组大小] {数组内容1,数组内容2}; int array[5] {1,2,3,4,5};代码 int main(){// 定义数组,大小不写,数组内默认有多少元素大小就为多少int array_a[] {1, 2, 3, 4, 5, 6};// 定义数组长度为5&#x…

高效、稳定、兼容:中国星坤MINI PCIE连接器优势明显

电子设备的性能要求日益提高,尤其是在数据传输和连接稳定性方面。中国星坤推出的MINI PCIE连接器,以其出色的性能和显著的优势,迅速成为行业内的佼佼者,为现代电子设备提供了高效、稳定的连接解决方案。 在性能方面,中…

利物浦都在用的AI教练,真能拯救国足吗?

不久之前,在亚洲杯一场未胜之旅结束后,国足又又又一次陷入了选帅争议。而国足新帅伊万科维奇两场主胜客平新加坡,成绩也实在谈不上亮眼。这种情况下,广大球迷又开始争论,究竟哪位教练才能拯救国足。至少要止住目前一路…

时隔一年,再次讨论下AutoGPT-安装篇

AutoGPT是23年3月份推出的,距今已经1年多的时间了。刚推出时,我们还只能通过命令行使用AutoGPT的能力,但现在,我们不仅可以基于AutoGPT创建自己的Agent,我们还可以通过Web页面与我们创建的Agent进行聊天。这次的AutoGP…

java智慧校园家校互通小程序源码 Android 7.16.+小程序原生开发的全套智慧校园电子班牌云平台源码

智慧校园云平台电子班牌系统,利用先进的云计算技术,将教育信息化资源和教学管理系统进行有效整合,实现基础数据共享、应用统一管理。借助全新的智能交互识别终端和移动化教育管理系统,以考勤、课表、通知、家校互通等功能为切入点…

如何准备2024年汉字小达人:18道历年考题示例和解析、备考提醒

现在距离2024年第11届汉字小达人比赛还有六个多月的时间,如何利用这段时间有条不紊地备考呢?我的建议是两手准备:①把小学1-5年级的语文课本上的知识点熟悉,重点是字、词、成语、古诗。阅读理解不需要。②把历年真题刷刷熟&#x…

第二证券今日投资参考:铜价持续上涨 医药政策向好态势明显

昨日,A股在金融板块的带动下强势拉升,沪指涨超1%。到收盘,沪指涨1.26%报3057.38点,深证成指涨1.53%报9369.7点,创业板指涨1.85%报1795.52点,上证50指数涨2.1%;两市合计成交9971亿元,…

Oracle和PG数据库临时表的差异,PG数据库如何删除临时表

现实的开发过程中使用 PG 数据库删除临时表发现如下报错,提示表 xxx 不存在: 问题原因: 调用删除语句,但是临时表不存在了。 解决方案: PG下用下面的方式来删除临时表或不进行删除(会话级临时表会自动删除…