Seatunnel及web搭建流程

news2024/11/27 2:48:19

准备工作

Java环境

要求java8或者java11,并设置JAVA_HOME,如果JAVA_HOME无效,需要设置为有效状态。

echo ${JAVA_HOME}

创建安装软件目录

sudo mkdir -p /opt/seatunnel/backend

sudo mkdir -p /opt/seatunnel/web

下载软件

从https://seatunnel.apache.org/download/下载apache-seatunnel-2.3.3-bin.tar.gz

以及apache-seatunnel-web-1.0.0-bin.tar.gz

放置到准备好的目录

安装seatunnel

解压软件

sudo tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz -C /opt/seatunnel/backend

sudo tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz -C /opt/seatunnel/web/

配置环境变量

在/etc/profile.d/seatunnel.sh中配置环境变量

然后执行source /etc/profile

下载jar包

Seatunnel里面的connector对应的jar包需要自己下载,在下载之前先看看其下载逻辑

下载逻辑

在执行自动下载jar包钱,进入apache-seatunnel-2.3.3,查看vim bin/install-plugin.sh内容

主要逻辑如下:

  1. 使用mvnw进行下载
  2. 下载seatunnel-hadoop3-3.1.4-uber到lib文件夹下
  3. 下载在config/plugin_config配置的seatunnel的连接器到connectors/seatunnel文件下

在下载之前,可以对config/plugin_config进行编辑,注释不需要的connector,可以添加需要的connector

可vim connectors/plugin-mapping.properties查看所有支持的connector

相关目录

执行命令mkdir -p flink flink-sql spark seatunnel创建多个文件夹

自动下载

sh bin/install-plugin.sh

执行命令即可,一般不推荐,因为从官网下载速度太慢,可以通过修改相关的代码进行手动加速下载。

手动下载

修改代码,通过阿里云的mvn源快速下载,然后将相关jar包复制到对应目录即可。

详细可参考以下文章

seatunnel及web安装常见问题与解决方法-CSDN博客

注意:下载jar复制到两个文件夹,一个是lib文件夹,一个是connectors/seatunnel文件夹。

运行

测试

进入主文件夹/opt/seatunnel/backend/apache-seatunnel-2.3.3执行命令:

sudo ./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

观察到日志有如下信息表示运行测试成功

启动服务

 nohup sh bin/seatunnel-cluster.sh 2>&1 &

查看日志tail -f logs/seatunnel-engine-server.log 有类似信息打印出。

必须启动seatunnel的server,web端服务才能正常运行。

安装seatunnel-web

准备工作

在seatunnel的web端机器上需要部署seatunnel客户端,如果服务端与web端在同一台机器,则可跳过此步。跳过此步,因为测试环境都部署在同一台机器上。如有需要可以访问https://seatunnel.apache.org/docs/seatunnel-engine/deployment/#6-config-seatunnel-engine-client

解压软件

sudo tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz -C /opt/seatunnel/web/

初始化数据库

修改配置

将script/seatunnel_server_env.sh相关配置改为你的对应的数据库信息

此处HOSTNAME,PORT等名称容易与系统其他名称冲突,加上前缀STWEB_

给script/init_sql.sh相关变量加上前缀STWEB_

执行初始化数据库命令

执行命令sh init_sql.sh,无异常则执行成功。

配置后端服务

修改端口与数据源

vim conf/application.yml修改端口号和数据源信息

配置client信息

sudo cp /opt/seatunnel/backend/apache-seatunnel-2.3.3/config/hazelcast-client.yaml ./conf/

配置支持的插件信息

sudo cp /opt/seatunnel/backend/apache-seatunnel-2.3.3/connectors/plugin-mapping.properties ./conf/

配置jar包

配置jar包非常关键,否则会出现各种各样的问题,常见的有:

1.没有数据源可以进行创建

2.没有source或者sink进行选择

3.配置好任务后无法执行

配置元数据mysql的jar包

将mysql-connector-java-8.0.15.jar包复制到

/opt/seatunnel/web/apache-seatunnel-web-1.0.0-bin/libs

配置数据源jar包

将相关jar包复制到/opt/seatunnel/web/apache-seatunnel-web-1.0.0-bin/libs

注意事项

元数据和数据源的jar包还需要要复制到后端lib文件夹/opt/seatunnel/backend/apache-seatunnel-2.3.3/lib

否则在配置好web任务时,后台根本不执行!!!

数据源jar包下载方式查看

seatunnel及web安装常见问题与解决方法-CSDN博客 中如下部分

启动服务

sudo sh bin/seatunnel-backend-daemon.sh start

访问ip:8081/ui,此端口为conf/application.yml中配置的端口

默认用户名,密码为admin/admin

登录进入后,点击数据源,创建数据源,可看到如下页面。

配置任务

Source端选择官方的seatunnel中的role表

Sink端新建另一个库seatunnel_bak,新建一个与seatunnel中role一样的表

运行实例

任务运行成功后,查询目的数据库的数据,结果符合预期。

select *,'org' flag from seatunnel.`role` 

union all 

select *,'dest' flag from seatunnel_bak.`role` 

至此完成seatunnel及web的整体流程搭建与测试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1216764.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

VS2017的redis客户端实现

VS2017下Redis服务器源码地址 https://download.csdn.net/download/qq_23350817/88541316 VS2017下Redis客户端源码地址(hiredis已完成windows下编译)&#xff1a; https://download.csdn.net/download/qq_23350817/88541242 C代码实现&#xff1a; #include <stdio.h>…

053-第三代软件开发-元对象系统

第三代软件开发-元对象系统 文章目录 第三代软件开发-元对象系统项目介绍元对象系统Qt的元对象系统如何实现对象的属性系统&#xff1f;请问Qt的元对象系统还有哪些功能&#xff1f;Qt的元对象系统支持哪些类型的事件&#xff1f;元对象系统中的属性可以用于实现哪些功能&#…

安卓调用onnx模型并计算

安卓平台可以通过调用onnx模型来进行计算&#xff0c;这为移动设备提供了更多的计算能力和应用场景。通过使用onnx模型&#xff0c;安卓设备可以进行复杂的计算任务&#xff0c;例如图像识别、语音识别等。这为移动应用的功能和性能提升提供了新的可能性。同时&#xff0c;开发…

【深度学习】吴恩达课程笔记(五)——超参数调试、batch norm、Softmax 回归

笔记为自我总结整理的学习笔记&#xff0c;若有错误欢迎指出哟~ 【吴恩达课程笔记专栏】 【深度学习】吴恩达课程笔记(一)——深度学习概论、神经网络基础 【深度学习】吴恩达课程笔记(二)——浅层神经网络、深层神经网络 【深度学习】吴恩达课程笔记(三)——参数VS超参数、深度…

AI技术如何融合应用于工业物联网

人工智能技术在近年来得到飞跃性地发展&#xff0c;在自主识别、分析、判断、规划等功能方面都进步显著&#xff0c;也已经应用于越来越多的行业产业。 在工业物联网领域&#xff0c;人工智能也将成为一大助力&#xff0c;通过与工业物联网系统集成融合&#xff0c;能够为工业…

探索arkui(2)--- 布局(列表)--- 1(列表数据的展示)

前端开发布局是指前端开发人员宣布他们开发的新网站或应用程序正式上线的活动。在前端开发布局中&#xff0c;开发人员通常会展示新网站或应用程序的设计、功能和用户体验&#xff0c;并向公众宣传新产品的特点和优势。前端开发布局通常是前端开发领域的重要事件&#xff0c;吸…

JS-项目实战-批量删除水果库存记录

1、fruit.js function $(name) {if (name) {//假设name是 #fruit_tblif (name.startsWith("#")) {name name.substring(1); //fruit_tblreturn document.getElementById(name);} else {return document.getElementsByName(name);}} }//当页面加载完成后执行后面的…

Linux_包管理_apt相关命令的使用

以思维导图的形式整理了下apt相关的命令&#xff0c;便于查阅&#xff0c;主要分为软件源、安装卸载升级、查看&#xff1b; 1、软件源 2、安装、卸载、升级 3、查看 参考链接&#xff1a; Using apt Commands in Linux [Ultimate Guide] 6. apt更新软件源 — 快速使用手册—…

Kettle工具使用小结1

1.背景 客户数据库限定为tidb数据库&#xff0c;相关业务数据均存储在内。因为tidb数据库是分布式的&#xff0c;且不支持存储过程、job等功能&#xff0c;需要通过外部工具进行脚本批量处理&#xff0c;所以这里引入kettle进行脚本批量执行和作业调度。 2.环境信息 &#xf…

电影《惊奇队长2》观后感

上周看完了电影《惊奇队长2》&#xff0c;可能是最近国片看多了&#xff0c;看看国外电影还是感觉非常不错的&#xff0c;其中就有特效部分。目前来说&#xff0c;国内特效和国外还是有一定差距的&#xff0c;在过年时&#xff0c;备受好评的《流浪地球2》据说也是用的国外特效…

【Linux】安全审计-audit

文章目录 一、audit简介二、启auditd服务三、相关文件四、审计规则五、审计日志查询及分析 参考文章&#xff1a; 1、【安全】linux audit审计使用入门 2、audit详细使用配置 写在前面&#xff1a; 1.写博客&#xff0c;做日常工作记录&#xff0c;好记性不如烂笔头嘛&#x…

【AI视野·今日Sound 声学论文速览 第三十三期】Wed, 25 Oct 2023

AI视野今日CS.Sound 声学论文速览 Wed, 25 Oct 2023 Totally 8 papers &#x1f449;上期速览✈更多精彩请移步主页 Daily Sound Papers CDSD: Chinese Dysarthria Speech Database Authors Mengyi Sun, Ming Gao, Xinchen Kang, Shiru Wang, Jun Du, Dengfeng Yao, Su Jing W…

Notepad++ 和正则表达式 只保留自己想要的内容

一、需求 如下文本&#xff0c;三段相同结构的数据&#xff0c;想要获取每段结构中‘重复的Ids ’后面的数字 2023-10-26 18:49:49 重复的Ids 26443,26575 要删除的Ids 4174,4199,4200,55502023-10-26 18:49:49 重复的Ids 26436,26443,26575 要删除的Ids 4166,4199,4200,5550…

WEB 自动化神器 TestCafe(一)—安装和入门篇

今天小编给大家带来WEB 自动化神器 TestCafe(一) —安装和入门篇 一、TestCafe 介绍&#xff1a; TestCafe 是一款基于 Node.js 的端到端 Web 自动化测试框架&#xff0c;支持 TypeScript 或 JavaScript 来编写测试用例&#xff0c;运行用例&#xff0c;并生成自动化测试报告。…

软件外包开发文档工具

有许多工具可用于生成和管理软件开发文档。这些工具可以帮助团队更有效地协作、记录和维护文档。以下是一些常用的软件开发文档生成工具&#xff0c;希望对大家有所帮助。北京木奇移动技术有限公司&#xff0c;专业的软件外包开发公司&#xff0c;欢迎交流合作。 Javadoc&#…

ESP8266跟ESP-01S区别

看到了吧&#xff1a;ESP8266是一个芯片&#xff1b;ESP8266芯片是由外国的乐鑫公司生产的 ESP8266 Wi-Fi SoC | Espressif Systems ESP-01包含了ESP8266芯片&#xff0c;并且有一些外围电路&#xff0c;这个模块&#xff08;不是芯片&#xff09;是由中国的安可信公司生产的。…

2023最新软件测试20个基础面试题及答案

什么是软件测试&#xff1f; 答案&#xff1a;软件测试是指在预定的环境中运行程序&#xff0c;为了发现软件存在的错误、缺陷以及其他不符合要求的行为的过程。 软件测试的目的是什么&#xff1f; 答案&#xff1a;软件测试的主要目的是保证软件的质量&#xff0c;并尽可能大…

【深度学习实验】网络优化与正则化(六):逐层归一化方法——批量归一化、层归一化、权重归一化、局部响应归一化

文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、优化算法0. 导入必要的库1. 随机梯度下降SGD算法a. PyTorch中的SGD优化器b. 使用SGD优化器的前馈神经网络 2.随机梯度下降的改进方法a. 学习率调整b. 梯度估计修正 3. 梯度估计修正&#xff1a;动量法Momen…

linux进程间通信之管道通信

Linux 进程间通信机制分三类&#xff1a;数据交互&#xff0c;同步&#xff0c;信号。理解了这些机制才能灵活运用操作系统提供的 IPC 工具。 一.管道 管道是一种文件形式&#xff0c;是内核的一块缓冲区。匿名管道只能用于具有亲缘关系的进程间通信&#xff0c;命名管道可以用…