Apache SeaTunnel 2.3.9 正式发布:多项新特性与优化全面提升数据集成能力

news2025/1/21 21:50:01

近日,Apache SeaTunnel 社区正式发布了最新版本 2.3.9。本次更新新增了Helm 集群部署、Transform 支持多表、Zeta新API、表结构转换、任务提交队列、分库分表合并、列转多行 等多个功能更新!

file

作为一款开源、分布式的数据集成平台,本次版本通过新增功能、性能优化与问题修复,为开发者与企业用户带来了更加全面的支持。

📥 2.3.9版本下载:https://seatunnel.apache.org/download/

📕 Release Note:https://github.com/apache/seatunnel/tree/2.3.9

👇👇重要功能解读,可以观看视频👇👇

版本亮点

扩展数据处理与监控能力

任务与数据监控

  • 新增Zeta 新API支持通过 REST API 提交任务并获取日志、任务日志淘汰,提供Zeta Manager UI实时可视化功能。
  • Zeta 支持提交任务排队、Rest API 提交 Hocon 格式作业配置、支持 DDL 期间暂停恢复
  • Schema 演进
    • 多个连接器(如 Oracle、StarRocks、Paimon 等)新增对 Schema Evolution(Schema 演进)的支持,进一步降低复杂数据源集成的门槛。

功能增强

  • Transform提供对多表支持、动态类型处理以及合并分库分表等新能力,为复杂数据转换场景提供灵活性。
  • Transform 支持分库分表合并
  • Transform 支持改表名/字段名
  • 支持RowKindExtractor转换操作类型
  • 支持SQL 中列转多行

多源适配

  • 扩展了对新数据源的支持,例如 Milvus 动态 Schema、多表读取和 Redis 数据删除操作等。

大幅提升任务运行效率

  • 资源调度与线程池管理
    • 优化 Zeta 引擎的 CoordinatorService 线程池配置,避免潜在的内存溢出问题。
  • 任务执行模式
    • 支持 Spark 与 Flink 、 Zeta的多表 Transform,减少任务间依赖,提升并发性能。
    • 支持 Oracle-CDC 读取 DDL。
    • Debezium 增强,支持发送到消息队列进行缓冲,支持特殊数据类型及时间类型,可通过多表/表写1个Topic。
  • 数据流传输
    • 改进了 ClickHouse、JDBC 等连接器的写入模式,提升大数据量处理场景的稳定性。

新增 DDL Sink 支持

连接器PR作者
StarRocks#8082jw-itq
Paimon#8211dailai
Oracle#7908dailai
Doris#8250deng-jeffer
Postgresql#8276hawk9821
Elasticsearch#8412zhangshenghang

Bug 修复与可靠性提升

  • 支持 Helm 快速部署集群
  • 修复了多项连接器相关问题,如 MongoDB、Kafka、Hive 等连接器的异常处理和功能失效问题。
  • 改善了 Avro 格式对 Null 值的支持,解决了 Excel 数据读取的公式与数值解析错误。
  • 优化了 Docker 部署与 CI 流程,确保系统在不同环境中的一致性。

致谢贡献者

感谢Tyrantlucifer对本次发版工作的指导和帮助,同时感谢以下社区贡献者的共同努力,让本次发版工作顺利完成:

Github IDGithub IDGithub IDGithub ID
Asura7969Cancai CaiCarl-Zhou-CNCosmosNi
Daniel DuanDavid ZolloGuangdong LiuGumKey
JarvisJastJeremyJia Fan
Mohammad ArshadNian LiuNovaOdysseus Zhang
QiaoJ-ChenSEZShashwat TiwariShiwanming
Tu-maimesTyrantluciferWanming ShiXQ
Xiaojian SunYOMO LEEZhilin Licorgy-w
czsdaigoopautoydailaideng-jeffer
dependabot[bot]dwaveeyysfcb-xiaobo
hailin0happyboy1024liminlinjianchang
litiliuluckyLJYpi-lasohurdc
tyrantluciferwelsh-wenwengysxiaochen
zhangdonghaozhouyh不忘初心丑西蒙
峰峰老王

Apache SeaTunnel 2.3.9 的发布标志着其在开源数据集成领域的进一步突破。无论是实时数据同步、批流一体化任务处理,还是复杂场景下的 Schema 管理与性能优化,SeaTunnel 都为用户提供了更强大的工具。

作为一个快速发展的 Apache 顶级项目,SeaTunnel 一直秉承社区驱动与开源精神。欢迎广大开发者与企业用户参与社区贡献,共同完善和推广这一数据集成利器。

关于白鲸开源

白鲸开源是一家开源原生的 DataOps 商业公司,已基于Apache SeaTunnel 开发的并推出了商业版软件 WhaleTunnel,提供企业级功能增强、服务、运维、Debug、定期漏洞扫描和修复,无论是产品功能、稳定性、兼容性、速度还是安全性,都比开源版 Apache SeaTunnel 有巨大的进步!感兴趣的小伙伴可以下滑添加市场经理详细咨询~

联系方式

公司网站: www.whaleops.com
联系邮箱: zenghui@whaleops.com

下滑探索更多WhaleTunnel的优势,让我们帮助你构建一个高效、安全的大数据解决方案。🚀

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2280020.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

4 AXI USER IP

前言 使用AXI Interface封装IP,并使用AXI Interface实现对IP内部寄存器进行读写实现控制LED的demo,这个demo是非常必要的,因为在前面的笔记中基本都需哟PS端与PL端就行通信互相交互,在PL端可以通过中断的形式来告知PS端一些事情&…

B站评论系统的多级存储架构

以下文章来源于哔哩哔哩技术 ,作者业务 哔哩哔哩技术. 提供B站相关技术的介绍和讲解 1. 背景 评论是 B站生态的重要组成部分,涵盖了 UP 主与用户的互动、平台内容的推荐与优化、社区文化建设以及用户情感满足。B站的评论区不仅是用户互动的核心场所&…

电子科大2024秋《大数据分析与智能计算》真题回忆

考试日期:2025-01-08 课程:成电信软学院-大数据分析与智能计算 形式:开卷 考试回忆版 简答题(4*15) 1. 简述大数据的四个特征。分析每个特征所带来的问题和可能的解决方案 2. HDFS的架构的主要组件有哪些&#xff0…

多选multiple下拉框el-select回显问题(只显示后端返回id)

首先保证v-model的值对应options数据源里面的id <el-form-item prop"subclass" label"分类" ><el-select v-model"formData.subclass" multiple placeholder"请选择" clearable :disabled"!!formData.id"><e…

JavaWeb开发(十五)实战-生鲜后台管理系统(二)注册、登录、记住密码

1. 生鲜后台管理系统-注册功能 1.1. 注册功能 &#xff08;1&#xff09;创建注册RegisterServlet&#xff0c;接收form表单中的参数。   &#xff08;2&#xff09;service创建一个userService处理业务逻辑。   &#xff08;3&#xff09;RegisterServlet将参数传递给ser…

【MySQL系列文章】Linux环境下安装部署MySQL

前言 本次安装部署主要针对Linux环境进行安装部署操作,系统位数64 getconf LONG_BIT 64MySQL版本&#xff1a;v5.7.38 一、下载MySQL MySQL下载地址&#xff1a;MySQL :: Download MySQL Community Server (Archived Versions) 二、上传MySQL压缩包到Linuxx环境&#xff0c…

嵌入式硬件篇---基本组合逻辑电路

文章目录 前言基本逻辑门电路1.与门&#xff08;AND Gate&#xff09;2.或门&#xff08;OR Gate&#xff09;3.非门&#xff08;NOT Gate&#xff09;4.与非门&#xff08;NAND Gate&#xff09;5.或非门&#xff08;NOR Gate&#xff09;6.异或门&#xff08;XOR Gate&#x…

基于微信小程序的手机银行系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏&#xff1a;…

C++ List 容器:实现原理深度解析

1.基本结构 1.1list底层 list底层是一个双向链表&#xff0c;每个节点包含三个主要部分&#xff1a;存储的数据&#xff0c;指向前一个节点和后一个节点的指针。我们首先定义一个 list_node 结构体来描述链表节点。 template <class T> struct list_node {T _data;lis…

在Spring Boot中使用SeeEmitter类实现EventStream流式编程将实时事件推送至客户端

&#x1f604; 19年之后由于某些原因断更了三年&#xff0c;23年重新扬帆起航&#xff0c;推出更多优质博文&#xff0c;希望大家多多支持&#xff5e; &#x1f337; 古之立大事者&#xff0c;不惟有超世之才&#xff0c;亦必有坚忍不拔之志 &#x1f390; 个人CSND主页——Mi…

Maven下载配置

目录 Win下载配置maven的环境变量 Mac下载安装配置环境变量 MavenSetting.xml文件配置 Win 下载 https://maven.apache.org/ 在主页面点击Download 点击archives 最好不要下载使用新版本&#xff0c;我使用的是maven-3.6.3&#xff0c;我们点击页面下方的archives&#xff0…

小程序获取微信运动步数

1、用户点击按钮&#xff0c;在小程序中触发getuserinfo方法&#xff0c;获取用户信息 <scroll-view class"scrollarea" scroll-y type"list"><view class"container"><button bind:tap"getLogin">获取</button&…

OSCP - Proving Grounds - BullyBox

主要知识点 如果发现有域名&#xff0c;则可以加入/etc/hosts后重新执行nmap,nikto等扫描dirsearch的时候可以使用完整一些的字典文件&#xff0c;避免漏掉信息.git dump 具体步骤 执行nmap 扫描&#xff0c;发现 80和22端口开放,访问后发现被重定向到 bullybox.local Star…

MIAOYUN信创云原生项目亮相西部“中试”生态对接活动

近日&#xff0c;以“构建‘中试’生态&#xff0c;赋能科技成果转化”为主题的“科创天府智汇蓉城”西部“中试”生态对接活动在成都高新区菁蓉汇隆重开幕。活动分为成果展览、“中试”生态主场以及成果路演洽谈对接三大板块。在成果展览环节&#xff0c;成都元来云志科技有限…

计算机网络 (47)应用进程跨越网络的通信

前言 计算机网络应用进程跨越网络的通信是一个复杂而关键的过程&#xff0c;它涉及多个层面和组件的协同工作。 一、通信概述 计算机网络中的通信&#xff0c;本质上是不同主机中的应用进程之间的数据交换。为了实现这种通信&#xff0c;需要借助网络协议栈中的各层协议&#x…

封装svg图片展示及操作组件——svgComponent——js技能提升

template部分 <template><div class"canvas-wrapper" ref"canvasWrapper"><svg:viewBox"computedViewBox"ref"svgCanvas"xmlns"http://www.w3.org/2000/svg"xmlns:xlink"http://www.w3.org/1999/xlink…

大数据,Hadoop,HDFS的简单介绍

大数据 海量数据&#xff0c;具有高增长率、数据类型多样化、一定时间内无法使用常规软件工具进行捕捉、管理和处理的数据集 合 大数据的特征: 4V Volume : 巨大的数据量 Variety : 数据类型多样化 结构化的数据 : 即具有固定格式和有限长度的数据 半结构化的数据 : 是…

EAMM: 通过基于音频的情感感知运动模型实现的一次性情感对话人脸合成

EAMM: 通过基于音频的情感感知运动模型实现的一次性情感对话人脸合成 1所有的材料都可以在EAMM: One-Shot Emotional Talking Face via Audio-Based Emotion-Aware Motion Model网站上找到。 摘要 尽管音频驱动的对话人脸生成技术已取得显著进展&#xff0c;但现有方法要么忽…

基于STM32的智能门锁安防系统(开源)

目录 项目演示 项目概述 硬件组成&#xff1a; 功能实现 1. 开锁模式 1.1 按键密码开锁 1.2 门禁卡开锁 1.3 指纹开锁 2. 功能备注 3. 硬件模块工作流程 3.1 步进电机控制 3.2 蜂鸣器提示 3.3 OLED显示 3.4 指纹与卡片管理 项目源代码分析 1. 主程序流程 (main…

2024年度总结:从后端Java到全栈成长的蜕变

目录 前言1. 用数据与实践书写成长篇章2. 技术与生活的双重蜕变3. 技术的进阶与生活的绽放 前言 今年是我入行的第十年&#xff0c;也是记录在CSDN平台上的第五年。这五年来&#xff0c;我始终坚持记录成长的点滴&#xff0c;将个人事业与博客创作紧密相连。一路走来&#xff0…