Apache SeaTunnel Web 功能正式发布!

news2025/1/6 20:34:16

Apache SeaTunnel Web 功能正式发布!

在大数据技术的不断进步之下,Apache SeaTunnel 成为了众多开发者和企业关注的焦点。今天,我们很高兴地宣布:Apache SeaTunnel Web功能已正式发布,带来了前所未有的易用性和效率。

file Apache SeaTunnel Web 是 SeaTunnel 项目下的一个新组件,专为那些希望通过图形化界面管理和监控其大数据流处理任务的用户设计。不再需要复杂的命令行操作,开发者和数据工程师现在可以在友好的用户界面上轻松配置、提交和管理他们的任务。

准备Apache SeaTunnel环境

由于Apache SeaTunnel Web使用SeaTunnel Java Client提交作业,运行SeaTunnel Web需要首先准备一个SeaTunnel Zeta引擎服务。

基于SeaTunnel Zeta引擎的使用要求,提交作业的SeaTunnel客户端节点必须与运行作业的SeaTunnel服务器节点具有相同的操作系统和安装目录结构。因此,如果您想在IDEA中运行SeaTunnel Web,您必须在与IDEA相同的机器上安装并运行一个SeaTunnel Zeta引擎服务器。

别担心,下面的步骤将告诉您如何在不同情况下正确安装SeaTunnel Zeta引擎服务器。

在服务器上运行SeaTunnel Web

要在服务器上运行SeaTunnel Web,您需要首先拥有一个SeaTunnel Zeta引擎服务器环境。如果您还没有,您可以参考以下步骤进行部署。

在服务器节点上部署SeaTunnel Zeta Engine Server

您有两种方式获取SeaTunnel安装包。从源代码构建或从SeaTunnel网站下载。

这里使用的SeaTunnel版本仅用于编写此文档以展示使用的过程,并不一定代表正确的版本。SeaTunnel Web和SeaTunnel引擎有严格的版本依赖性,您可以通过xxx确认具体的版本映射

支持的SeaTunnel版本

  • 仅SeaTunnel 2.3.3

从源代码构建

  • 从https://seatunnel.apache.org/download 或 https://github.com/apache/seatunnel.git 获取源代码包
  • 使用maven命令构建安装包 ./mvnw -U -T 1C clean install -DskipTests -D"maven.test.skip"=true -D"maven.javadoc.skip"=true -D"checkstyle.skip"=true -D"license.skipAddThirdParty"
  • 然后您可以在 ${Your_code_dir}/seatunnel-dist/target 中获取安装包,例如:apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz

下载安装包

获取SeaTunnel Zeta引擎服务器安装包的另一种方式是从 https://seatunnel.apache.org/download 下载安装包并在线安装插件。

  • 下载并安装连接器插件(在此过程中,一些第三方依赖包也将自动下载并安装,例如hadoop jar)。您可以从 https://seatunnel.apache.org/docs/2.3.3/start-v2/locally/deployment 获取步骤。
  • 完成前一步后,您将收到一个可用于在服务器上安装SeaTunnel Zeta引擎服务器的安装包。运行 tar -zcvf apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz apache-seatunnel-2.3.3-SNAPSHOT

部署SeaTunnel Zeta服务器

在完成3.1.1或3.1.2之后,您可以获得一个安装包 apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz,然后您可以将其复制到您的服务器节点并参考 https://seatunnel.apache.org/docs/seatunnel-engine/deployment 进行部署。

部署SeaTunnel Zeta客户端

如果您使用SeaTunnel Web,您需要在SeaTunnel Web运行节点中部署一个SeaTunnel Zeta客户端。如果您在同一节点上运行SeaTunnel Zeta服务器和SeaTunnel Web,您可以跳过此步骤。

  • apache-seatunnel-2.3.3-SNAPSHOT-bin.tar.gz 复制到SeaTunnel Web节点并解压缩到SeaTunnel Zeta服务器节点的相同路径。
  • 设置 SEATUNNEL_HOME 为环境变量,就像SeaTunnel Zeta服务器节点一样。
  • 配置 hazelcast-client.yaml 参考 https://seatunnel.apache.org/docs/seatunnel-engine/deployment#6-config-seatunnel-engine-client
  • 运行 $SEATUNNEL_HOME/bin/seatunnel.sh --config $SEATUNNEL_HOME/config/v2.batch.config.template,如果这个作业运行完成,表示客户端部署成功。

下载并安装SeaTunnel Web

  1. 从 https://seatunnel.apache.org/download 下载seatunnel web
  2. apache-seatunnel-web-bin-${project.version}.tar.gz 复制到您的服务器节点并解压缩。
tar -zxvf apache-seatunnel-web-bin-${project.version}.tar.gz

初始化数据库

编辑 apache-seatunnel-web-bin-${project.version}/script/seatunnel_server_env.sh 文件,完成已安装的数据库地址、端口、用户名和密码。这里是一个例子:

```
export HOSTNAME="localhost"
export PORT="3306"
export USERNAME="root"
export PASSWORD="123456"
```
  1. 运行初始化 shell sh apache-seatunnel-web-bin-${project.version}/script/init_sql.sh 如果操作过程中没有错误,就表示初始化成功。

2.4 配置应用并运行SeaTunnel Web后端服务器

  • 编辑 apache-seatunnel-web-bin-${project.version}/conf/application.yml 在文件中填写数据库连接信息。
  • 复制 $SEATUNNEL_HOME/config/hazelcast-client.yamlapache-seatunnel-web-bin-${project.version}/conf/
  • 复制 apache-seatunnel-2.3.3-SNAPSHOT/connectors/plugin-mapping.properties 文件到 apache-seatunnel-web-bin-${project.version}/conf/ 目录.

2.5 启动SeaTunnel Web

cd apache-seatunnel-web-${project.version}
sh bin/seatunnel-backend-daemon.sh start

在浏览器中访问http://127.0.0.1:8801/ui/ ,默认用户名和密码是admin/admin。

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1105899.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

手把手带你使用VSCode 搭建 STM32开发环境!

首先附上一张VS Code图一直都喜欢这种,黑色主题感觉高大上。 一、需要的软件和工具。 下载最新版VS Code: 安装好插件,具有良好的代码补全与调试功能。 “ VS Code下载地址:https://code.visualstudio.com/ ” 下载 LLVM:用于代码…

DeFi世界 MXT脱颖而出 利好不断

​​MixTrust希望成为用户在Web3世界的专用金融平台,注重为用户提供个性化的金融服务。而WorldCoin的愿景则是建设一个全球最大的、公平的数字身份和货币体系,强调构建一个涵盖全球范围的身份认证和货币交易系统。 扩展性 在扩展性方面,双方…

操作系统体系结构和OS

1.冯诺依曼计算机体系 关于冯诺伊曼系统,在这里我只是简单讲一讲,更加详细的内容可以看我的计算机组成系列。 常见的笔记本、台式机,不常见的服务器、工作站,大部分都遵守“冯诺依曼体系”,因此该计算机体系就是现代…

易点易动设备管理系统帮助生产企业提升设备巡检效率

在现代制造业中,设备的正常运行对于生产企业的成功至关重要。然而,设备巡检是确保设备安全性和可靠性的关键环节,但却常常耗费大量时间和资源。为了解决这个问题,许多企业采用了现代化的设备管理系统,其中易点易动设备…

简单谈谈我参加数据分析省赛的感受与体会

数据分析省赛的感受与体会 概要考试前的感受与体会考试注意事项小结 概要 大数据分析省赛指的是在省级范围内举办的大数据分析竞赛活动。该竞赛旨在鼓励和推动大数据分析领域的技术创新和人才培养,促进大数据技术与应用的深度融合,切实解决实际问题。参…

通讯协议学习之路:有线通讯协议总览

通讯协议之路主要分为两部分,第一部分从理论上面讲解各类协议的通讯原理以及通讯格式,第二部分从具体运用上讲解各类通讯协议的具体应用方法。 后续文章会同时发表在个人博客(jason1016.club)、CSDN;视频会发布在bilibili(UID:399951374) 一、…

【ELK使用指南 2】常用的 Logstash filter 插件详解(附应用实例)

Logstash filter 一、logstash filter过滤插件的常用模块简介二、grok 正则捕获插件2.1 grok插件的作用2.2 内置正则表达式2.3 自定义正则表达式 三、mutate 数据修改插件3.1 mutate插件的作用3.2 常用的配置选项3.3 mutate插件应用实例 四、multiline 多行合并插件4.1 multili…

哈希表(拉链法)代码模板

这里也是用数组模拟链表 //拉链法 //模拟散列表 在算法题中一般只有添加和查询不会有删除 //如果真的要删除也不是真正的删除而是打上一个标记 //mod的这个数最好取大于数据范围的第一个质数 #include<iostream> #include<cstring> using namespace std; const in…

“1688商品评论接口:打造完美电商口碑的秘密武器!“

1688商品评论接口是一种供卖家使用的接口&#xff0c;可以让卖家通过该接口维护商品的评论信息&#xff0c;包括评论内容、评分、评论时间等等。 通过使用该接口&#xff0c;卖家可以方便地管理商品的评论信息&#xff0c;包括查看、修改、删除评论等操作。同时&#xff0c;该…

屏幕截图软件Snagit 2023 mac中文特点介绍

Snagit 2023 mac是一款屏幕截图和视频录制软件&#xff0c;它可以帮助用户快速捕捉屏幕上的任何内容&#xff0c;并将其编辑、标注和共享。 Snagit 2023 软件特点 多种截图模式&#xff1a;支持全屏截图、窗口截图、区域截图、延时截图等多种截图模式&#xff0c;满足不同用户…

二蛋赠书五期:《Python数据挖掘:入门、进阶与实用案例分析》

前言 大家好&#xff01;我是二蛋&#xff0c;一个热爱技术、乐于分享的工程师。在过去的几年里&#xff0c;我一直通过各种渠道与大家分享技术知识和经验。我深知&#xff0c;每一位技术人员都对自己的技能提升和职业发展有着热切的期待。因此&#xff0c;我非常感激大家一直…

vue使用pdf-dist实现pdf预览以及水印

vue使用pdf-dist实现pdf预览以及水印 一.使用pdf-dist插件将PDF文件转换为一张张canvas图片 npm install pdf-dist二.页面引入插件 const pdfJS require("pdfjs-dist"); pdfJS.GlobalWorkerOptions.workerSrc require("pdfjs-dist/build/pdf.worker.entry&…

JavaScript中多种获取数组最后一个元素的策略。

&#x1f3ac; 江城开朗的豌豆&#xff1a;个人主页 &#x1f525; 个人专栏 :《 VUE 》 《 javaScript 》 &#x1f4dd; 个人网站 :《 江城开朗的豌豆&#x1fadb; 》 ⛺️ 生活的理想&#xff0c;就是为了理想的生活 ! 目录 ⭐ 专栏简介 &#x1f4d8; 文章引言 &…

ESD监控系统-设备接地报警器的应用领域和说明

ESD监控系统是一种用于检测和监控静电放电&#xff08;ESD&#xff09;的设备&#xff0c;其中设备接地监控报警器是其重要组成部分之一。该设备主要用于检测设备的接地情况&#xff0c;当设备没有接地或者接地不良时&#xff0c;会发出报警信号&#xff0c;提醒操作人员及时采…

idea控制台乱码

如果打包时&#xff0c;控制台出现错误乱码的解决办法 而修改此后&#xff0c;运行程序有可能报错&#xff0c;则需要添加vm参数即可&#xff1a;

每日一题 2530. 执行 K 次操作后的最大分数(中等,最大根堆)

显然每次需要取出最大的元素&#xff0c;用过后将他除以三重新加入数组中&#xff0c;所以只要维护一个最大根堆即可 class Solution:def maxKelements(self, nums: List[int], k: int) -> int:nums [-i for i in nums]heapq.heapify(nums)ans 0for i in range(k):ans -…

Himmelblau函数-优化问题的经典案例

Himmelblau函数-优化问题的经典案例 前言 Himmelblau函数是一种常见的多元函数&#xff0c;它的形式为f(x,y)(x^2y-11)^2(xy^2-7)^2。这个函数的名字来源于其发明者David Himmelblau&#xff0c;它在数学和工程领域中都有广泛的应用。 一、Himmelblau函数是什么&#xff1f; …

Fast DDS介绍

目录 架构 Fast DDS是一个DCPS(data-centric)数据中心的发布-订阅模型中间件&#xff0c;主要关注应用程序中处理和发送数据。 架构 一个DomainParticipant启动的线程 NameTypeCardinalityDescriptionEventGeneral每个DomainParticipant一个处理周期性事件和触发的时间事件Dis…

Tomcat配置文件

Tomcat 是一个开源的 web 应用服务器 区别nginx NGINX主要处理静态页面 那么动态请求&#xff08;连接数据库 动态页面&#xff09; 并不是NGINXde 长项 动态的请求会交给tomcat 进行处理 Tomcat : 1 处理动态页面请求&#xff08;http的请求&#xff09; 2 处理后端…

vue集成钉钉单点登录

初始环境判断 判断是否是来自钉钉环境的访问&#xff0c;返回&#xff1a;boolean类型值 window.navigator.userAgent.includes("DingTalk")前端引入vue中钉钉相关的依赖&#xff0c;并获取钉钉的临时授权码 import * as dingtalk from dingtalk-jsapi; let that …