Seatunnel和web快速安装详解

news2024/11/28 0:46:19

目录

    • 版本声明
    • 下载地址
      • seatunnel下载
      • seatunnel-web下载
    • 安装seatunnel
      • 上传压缩包
      • 解压
      • 配置环境变量
      • 下载JAR包
      • 测试功能
      • 启动服务
    • 安装seatunnel-web
      • 解压安装包
      • 初始化数据库
      • 修改数据连接配置文件
      • 配置Client信息
      • 配置支持的插件信息
      • 配置JAR包
      • 配置数据源JAR包
      • 配置datasource开头的jar包
      • 启动web服务
      • 访问web端

版本声明

当前最新版本为2.3.4 但是官方提供的web版本未1.0.0,不兼容2.3.4,因此这里仍然使用2.3.3版本。
可以自定义兼容处理,官方提供了文档:https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ
image.png

下载地址

seatunnel下载

https://seatunnel.apache.org/download
image.png

seatunnel-web下载

https://seatunnel.apache.org/download
和seatunnel在相同的页面,往下拉,最下面有下载地址:
image.png

安装seatunnel

上传压缩包

将下载的压缩包上传到指定目录下

# 在opt下创建seatunnel文件夹
mkdir /opt/seatunnel
# 用rz命令或shell工具上传即可

image.png

解压

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz

配置环境变量

# 编辑/etc/profile.d/my.env
vim /etc/profile.d/my.env

# 加入以下配置,具体路径根据自己服务设定
# 加入java环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH

# 加入maven环境变量
export MAVEN_HOME=/opt/module/apache-maven-3.5.4
export PATH=$MAVEN_HOME/bin:$PATH

执行source刷新环境变量

source /etc/profile

下载JAR包

Apache SeaTunnel里面的Connector对应的jar包需要自己下载,在执行自动下载jar包前,进入apache-seatunnel-2.3.3,查看vim bin/install-plugin.sh内容,主要内容就是下载jar包,
下载包的配置文件是:

${SEATUNNEL_HOME}/config/plugin_config

这个配置文件中不需要的可以删掉或注释掉,只下载自己需要的;默认是从mvvm下载,下载速度太慢,我这边安装了maven,并且配置了阿里云仓库,因此可以直接将下图中命令替换,从maven中下载,
image.png

${SEATUNNEL_HOME}/mvnw  替换为  mvn  

保存后退出

修改后:
image.png
jar包将下载下载到connectors/seatunnel这个目录下;
执行下载命令

sh bin/install-plugin.sh

看到是从阿里云下载的,等待下载完成即可
image.png
下载完成后将connectors下的jar包拷贝到lib下

cp connectors/seatunnel/* lib/

测试功能

cd /opt/seatunnel/apache-seatunnel-2.3.3

./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

看到这个就是执行成功,目前为止seatunnel安装成功
image.png

启动服务

# 后台启动服务
nohup sh bin/seatunnel-cluster.sh 2>&1 &

查看日志,打印如下日志即成功运行:
image.png

安装seatunnel-web

解压安装包

tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz 

image.png

初始化数据库

数据库脚本在/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/script 这个文件夹下,由于我mysql是使用docker安装,在宿主机无法执行命令,因此无法直接在服务器端安装,我将seatunnel_server_mysql.sql 拷贝到本地,通过客户端导入脚本
image.png
执行成功:
image.png
image.png

修改数据连接配置文件

vim conf/application.yml

下图中更改成对应实际数据库服务的信息:
image.png

配置Client信息

cp /opt/seatunnel/apache-seatunnel-2.3.3/config/hazelcast-client.yaml /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/

配置支持的插件信息

cp /opt/seatunnel/apache-seatunnel-2.3.3/connectors/plugin-mapping.properties /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/conf/

配置JAR包

首先找一个数据库驱动包放到lib目录下:mysql-connector-java-8.0.28.jar
image.png

配置数据源JAR包

脚本地址:https://seatunnel.apache.org/assets/files/download_datasource-4b79e6fafe80459590a6a0fc2865e5ac.sh
seatunnel提供了很多数据源jar包,需要下载好,否则会出现无法创建数据源等各种问题;

# 进入到/opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin下
cd /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin

# 创建download_datasource.sh
vim download_datasource.sh

# 将上面脚本地址中的内容复制到 download_datasource.sh 中

# 授权
chmod 755 vim download_datasource.sh

# 执行下载
sh download_datasource.sh

等待下载完成即可

配置datasource开头的jar包

# 将seatunnel的jar依赖拷贝到web的libs下
 cp /opt/seatunnel/apache-seatunnel-2.3.3/lib/connector-*.jar /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/libs

启动web服务

sudo sh /opt/seatunnel/apache-seatunnel-web-1.0.0-bin/bin/seatunnel-backend-daemon.sh start

访问web端

访问地址:http://hadoop102:8801/
域名需根据自己实际情况替换,端口默认8801 ,用户名密码默认admin/admin
image.png
image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1577952.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Leetcode 第 390 场周赛题解

Leetcode 第 390 场周赛题解 Leetcode 第 390 场周赛题解题目1:3090. 每个字符最多出现两次的最长子字符串思路代码复杂度分析 题目2:3091. 执行操作使数据元素之和大于等于 K思路代码复杂度分析 题目3:3092. 最高频率的 ID思路代码复杂度分析…

nginx支持的多种负载均衡策略

目录 1.轮询(默认) 2. ip_hash 3. 加权轮询(weight) 4. fair(第三方) 5. 最少连接(least_conn) 1.轮询(默认) 将请求依次分配给每个服务器,确…

嵌入式工控机:提升工业生产线智能化水平

工业4.0和智能制造的发展,嵌入式工控机在自动化生产线中的角色日益凸显。它作为一种高度集成且适用于严苛工业环境的专用计算机,凭借其强大的数据处理能力和实时控制特性,正逐步成为现代工业生产线的协调器和核心控制器。 嵌入式工控机能够实…

人工智能的前景发展和可能产生的职业影响

人工智能作为科技创新的关键领域和数字经济时代的重要支柱,其发展前景广阔,未来的就业前景也备受关注。以下是对人工智能格局未来就业前景的展望: 首先,随着技术的不断进步和应用场景的拓展,人工智能行业对人才的需求将…

12_Spring-AOP

文章目录 动态代理原理AOPAOP和OOPAOP的特点AOP的应用场景AOP的编程术语AOP的实现SpringAOPAspectJ切面组件切入点表达式AspectJ切面JoinPoint连接点 机制 动态代理原理 AOP Aspect Oriented Programming面向切面编程,是指通过预编译方式和运行期动态代理实现程序功…

目标检测——RCNN系列学习(一)

前置知识 包括:非极大值抑制(NMS)、selective search等 RCNN [1311.2524] Rich feature hierarchies for accurate object detection and semantic segmentation (arxiv.org)https://arxiv.org/abs/1311.2524 1.网络训练 2.推理流程 3.总…

【C++ STL算法】sort 排序

文章目录 【 1. 基本原理 】【 2. sort 的应用 】实例 - sort 函数实现 升序排序和降序排序 函数名用法sort (first, last)基于 快速排序,对容器或普通数组中 [ first, last ) 范围内的元素进行排序,默认进行升序排序(从小到大)。…

vscode-tasks.json自定义任务

以下所有内容,参考自VScode官方文档: vscode_tasks-docs任务说明文档vscode_variables-reference-docs变量说明文档vscode addtional docs for tasksvscode launch.json 属性设置文档,(下文没有介绍,没有涉及) 浅浅记录一下个人对vscode任务(task)的理解,还谈不上使用. 文章目…

TouchGFX之时钟

代码 #ifndef TOUCHGFX_ABSTRACTCLOCK_HPP #define TOUCHGFX_ABSTRACTCLOCK_HPP #include <touchgfx/containers/Container.hpp> #include <touchgfx/hal/Types.hpp>namespace touchgfx { class AbstractClock : public Container { public:AbstractClock();/* 设…

【IMU系列】什么是传感器的ODR和FSR实际如何配置传感器

使用更高的ODR信号有两个主要缺点&#xff1a;内存限制和功耗 以实际传感器为例

Redis分布式锁误删情况说明

4.4 Redis分布式锁误删情况说明 逻辑说明&#xff1a; 持有锁的线程在锁的内部出现了阻塞&#xff0c;导致他的锁自动释放&#xff0c;这时其他线程&#xff0c;线程2来尝试获得锁&#xff0c;就拿到了这把锁&#xff0c;然后线程2在持有锁执行过程中&#xff0c;线程1反应过…

成都正信晟锦:借了钱不还怎么起诉对方

在民间借贷中&#xff0c;遇到对方借钱不还的情况时&#xff0c;可以依法通过起诉的方式解决纠纷。首先&#xff0c;债权人应与债务人进行沟通&#xff0c;尝试和解。如果协商无果&#xff0c;则需收集证据&#xff0c;包括但不限于借条、转账记录、双方通讯记录等&#xff0c;…

mysql忘记密码如何重置

错误截图 解决方法 1. 关闭mysql服务器 net stop mysql服务名 2. 查找mysql安装路径中bin目录路径 3. cmd 打开该目录 4. 在my.ini所在的目录&#xff0c;新建一个init_pwd.txt文件。文件内容如下 ALTER user rootlocalhost identified by 密码; 5. 在第四步打开的cmd中 输…

vscode的基本使用(简洁版)

1.Vscode配置C/C开发环境 1.1 下载编译器 MinGW-w64 - for 32 and 64 bit Windows - Browse Files at SourceForge.net 下载并解压 -> 放到电脑C盘的根目录下 1.2 配置环境变量 1.3 安装C/C插件 2. 在VScode上编写C语言代码并编译成功 在vscode中写代码时,需要将代码放在…

在Idea里,执行npm命令 : 无法加载文件 ***\Nodejs\node_global\npm.ps1,因为在此系统上禁止运行脚本

&#x1f339;作者主页&#xff1a;青花锁 &#x1f339;简介&#xff1a;Java领域优质创作者&#x1f3c6;、Java微服务架构公号作者&#x1f604; &#x1f339;简历模板、学习资料、面试题库、技术互助 &#x1f339;文末获取联系方式 &#x1f4dd; 往期热门专栏回顾 专栏…

重建大师进行扫码认证了,接下来怎样才能正常使用?(如下图)

重建大师软件授权已经有了后&#xff0c;新建工程后设置任务目录和监控目录一致就可以运行了。 重建大师是一款专为超大规模实景三维数据生产而设计的集群并行处理软件&#xff0c;输入倾斜照片&#xff0c;激光点云&#xff0c;POS信息及像控点&#xff0c;输出高精度彩色网格…

Tiktok矩阵系统是什么?——Tiktok矩阵系统的优势、功能、及应用场景的介绍

摘要 Tiktok作为全球现象级的短视频平台,其发展前景日益明朗。 Tiktok全世界有多少用户? TikTok作为全球性的社交媒体平台,其用户数量一直在持续增长。根据最新的数据,预计到2024年,TikTok的用户数量将达到数十亿,覆盖全球范围内的各个年龄段和地区。具体来说,根据Ti…

互质数的个数(acwing)

题目描述&#xff1a; 给定 a,b&#xff0c;求 1≤x<a^b 中有多少个 x 与 a^b 互质。 由于答案可能很大&#xff0c;你只需要输出答案对 998244353 取模的结果。 输入格式&#xff1a; 输入一行包含两个整数分别表示 a,b&#xff0c;用一个空格分隔。 输出格式&#xf…

W25QXX系列W25Q64介绍

文章目录 前言介绍W25Q系列硬件电路四重SPI&#xff08;了解&#xff09; 框图Flash操作注意状态寄存器指令集电器特性 前言 W25Q64是一个8MByte大小的非易失性存储器&#xff0c;使用的是SPI协议&#xff0c;本文将全面介绍W25Q64的特性、工作原理以及注意事项 SPI详解见&am…

30万奖金谁能瓜分?OurBMC开源大赛决赛入围名单公示

首届开放原子开源大赛基础软件赛道自今年 1 月开启报名以来&#xff0c;吸引了全国各地 BMC 技术爱好者的广泛关注和踊跃报名。该赛事由开放原子开源基金会牵头&#xff0c; OurBMC 社区及理事长单位飞腾信息技术有限公司联合承办&#xff0c;以 “基于 BMC 技术的服务器故障诊…