Apache SeaTunnel 4月回顾:明星贡献者与技术突破

news2024/12/28 19:20:37

各位热爱 SeaTunnel 的小伙伴们,SeaTunnel 社区 4 月份月报来啦!这里将记录 SeaTunnel 社区每月的重要更新,欢迎关注!

月度 Merge 之星

感谢以下小伙伴 4 月为 Apache SeaTunnel 做的精彩贡献(排名不分先后):

file

@TyrantLucifer,@sunxiaojian,@CosmosNi,@corgy-w,@litiliu,@LeonYoah,@hailin0,@taohaozhi1129,@L-Gryps,@Hisoka-X,@xiaochen-zhou,@shangeyao,@lightzhao,@haneeshmv,@liunaijie,@nianhua99,@dailai,@dzygoon,@ruanwenjun,@xxzuo,@liugddx,@EricJoy2048,@baicie,@YalikWang,@gitfortian

apache/seatunnel

fix

  • [fix][doc]修复死链 @liunaijie
  • [fix][zeta]修复无法释放资源的问题 @liunaijie
  • [Fix]修复Oracle类型转换器在数值类型中处理负数比例的问题 @Hisoka-X
  • [Bug Fix]将Doris的错误状态(#6753)记录下来。 @taohaozhi1129
  • [bigfix][S3 File]:Change the [SCHEMA] attribute of the [S3CONF class]为了在反序列化后避免重新赋值,需要使其非静态 @LeonYoah
  • [Hotfix][S3 Connector]将aws-java-sdk-bundle的版本更新以修复任务无法运行的问题。 @EricJoy2048
  • [Fix][Script]修复 JVM 选项文件末尾没有\n时丢失 JVM 选项的问题 @Hisoka-X
  • [fix]修复SeaTunnel获取row size时的NPE问题 @liunaijie
  • [Fix][Connector-v2]修复 Doris 和 StarRocks 数据库中创建表的 SQL 语句错误 @dailai
  • [Fix][Doc]修复了一些文档中的链接 @xxzuo
  • [Fix][connector-rocketmq]将正确的偏移量提交给broker,并减少ThreadInterruptedException日志 @YalikWang
  • [Fix][Kafka-Sink]修复Apache SeaTunnel KafkaSinkFactory选项规则 @liunaijie
  • [Fix][Doc]修复一些拼写错误 @xiaochen-zhou
  • [Fix][Doc]修复FTPSink配置键usernameuser。 @Hisoka-X
  • [fix][connector-rocketmq]修复了当checkpoint.interval设置过小时引发的空指针异常问题(#6624) @YalikWang
  • [Hotfix]修复了Apache SeaTunnel中HTTP源读取yyyy-MM-dd HH:mm:ss格式数据的bug,并优化了DateTimeUtils。 @EricJoy2048
  • [Bug] [formats]修复当内容包含文件分隔符时解析行失败的问题 @litiliu
  • [Fix][Connector-V2]修复当分区已存在时,Apache SeaTunnel增加Hive分区的错误 @Hisoka-X
  • [Fix][Zeta]解决因保存点检查机制导致的线程挂起问题 @Hisoka-X
  • [Bug]修复OrcWriteStrategy/ParquetWriteStrategy在使用Kerberos身份验证时的登录问题。 @ruanwenjun
  • [Bug][Improve][Connector-v2][ElasticsearchSource]修复当源为空时的行为,支持SourceConfig.SOURCE字段为空。 @CosmosNi
  • [Hotfix]解决 DEFAULT TABLE 问题 @EricJoy2048

improve

  • [Improve][Zeta]为Zeta任务添加Minio作为检查点存储的文档 @gitfortian
  • [Improve] [Clickhouse]当设置allow_experimental_lightweight_delete为false时,移除检查 (#6727) @shangeyao
  • [Improve][HiveSink]修复资源泄漏的风险。 @lightzhao
  • [Improve][Zeta]禁用Apache SeaTunnel检查点的HDFS文件系统缓存。 @LeonYoah
  • [Doc][Improvement]为Config-Encryption-Decryption.md添加中文支持 @xxzuo
  • [Doc][Improve]介绍文档中的多行文本功能 @nianhua99
  • [Feature][connector-v2]启用了Iceberg-sink模式变更测试 @sunxiaojian
  • [Improve][mysql-cdc/jdbc]支持MySQL 5.5版本 @hailin0
  • [Improve]优化CDC连接器中的表架构读取 @Hisoka-X
  • [Improve][mysql-cdc]当SHOW CREATE TABLE命令失败时,回退到描述表 @hailin0
  • [Improve][Hive]更新Hive 3版本 @EricJoy2048
  • [Feature][Connector-V2]冰山sink支持将数据写入分支 @sunxiaojian
  • [Improve][Transform]移除找不到字段异常 @xiaochen-zhou
  • [Feature][Zeta]在作业配置中支持配置任务重试次数。 @Hisoka-X
  • [Improve]优化Doris流加载客户端侧的错误信息 @Hisoka-X
  • [Improve]优化Parquet类型转换时的读取性能 @Hisoka-X
  • [Improve][Zeta]当任务完成后,检查点将不会写入文件。 @liunaijie
  • [Improve][Jdbc]在SQL中添加引号标识符 @hailin0
  • [Improve][Zeta]优化RestHttpGetCommandProcessor#getSeaTunnelServer()方法的逻辑 @xiaochen-zhou
  • [Doc][Improve]Sink部分支持中文 @corgy-w
  • [Doc][Improve]为Kafka连接器添加Kerberos身份验证支持 (#6653) @gitfortian
  • [Doc][Improve]为seatunnel-engine添加中文支持 @xxzuo
  • [Improve][Connector-v2]Hive连接器支持多个文件系统。 @dailai
  • [Improve][Transform]移除解析转换过程中的Fallback @xiaochen-zhou
  • [Feature][Tool]为问题6199添加连接器检查脚本 @dailai
  • [Feature][CDC]在cdc数据源中支持监听消息延迟事件。 @hailin0
  • [Improve][Test]修复ResourceManagerEventReport模块上测试的不稳定问题。 @Hisoka-X
  • [Improve][Jdbc]在自动创建表时增加类型转换器 @hailin0
  • [Improve][Connector-V2]支持PaimonSink的Hadoop HA和Kerberos认证。 @dailai
  • [Improve][CDC]当记录不包含模式字段时,提升读取性能。 @Hisoka-X
  • [feature][connector-v2]添加xugudb连接器 @L-Gryps
  • [Improve][CDC]在增量阶段优化split状态的内存分配 @hailin0
  • [Improve][Zeta][storage]更新HDFS配置,支持更多参数 @liunaijie
  • [Doc][Improve]为start-v2/locally/quick-start-flink.md和start-v2/locally/quick-start-spark.md添加中文支持。 @dzygoon
  • [Feature][starter]支持在Spark/Flink引擎上用户自定义参数。 @liunaijie
  • [Feature]Hive源/ sink支持多个表。 @ruanwenjun

others

  • [Chore]删除无用的接口 @TyrantLucifer
  • 2.3.5版本发布 @liugddx
  • [Release][2.3.5][release-note]添加发布说明 @liugddx
  • [Docs]更新Debezium JSON文档 @liunaijie
  • [E2E]修复Amazon DynamoDB IT的不稳定问题 @hailin0
  • [Docs]修复Kafka格式文档 @liunaijie
  • [E2E]启用StarRocksCDCSinkIT @liunaijie

apache/seatunnel-website

  • [Docs]更新并支持选择语言 @baicie

apache/seatunnel-web

  • [feature][datasource]主要添加数据源-jdbc-db2 @haneeshmv

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1655216.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

快速话术本(常用文本快速复制工具)EXE成品+软件源码

功能介绍 经常性需要重复性的输入几个不同的文本,来回复制很麻烦,这个小工具可以帮你解决,把要经常输入的文本添加进去,点击即可复制~ 链接:https://pan.baidu.com/s/14-U_9uzkvpCrpzBkQaDZeA?pwdu7ot 提取码&#…

详细介绍一下PointPillars算法的网络结构

PointPillars是一种用于3D目标检测的算法,它主要使用了点云数据和深度学习模型。 PointPillars算法的网络结构主要可以分为三个主要阶段: Pillar Feature Net(点云特征处理网络):此阶段的主要任务是将输入的点云数据转…

排序算法(Java版)

目录 1、直接插入排序2、希尔排序3、直接选择排序4、堆排序5、冒泡排序6、快速排序6.1 递归实现6.2 非递归实现 7、归并排序7.1 递归实现7.2 非递归实现 8、性能分析 今天我们学习一种算法:排序算法(本文的排序默认是从小到大顺序)&#xff0…

【mysql篇】执行delete删除大量数据后,磁盘未清空,为什么?

目录 迁移脚本删除数据以及备份数据 解决方法OPTIMIZE TABLE二进制日志按月生成数据 最近某个项目虽说用户量不大,但是,单表的数据量越来越大,mysql一般单表超过千万级别后,性能直线下降,所以利用shardingphere按月做了…

ISO14229 -1 UDS诊断服务记录-001:0x34\0x36\0x37\0x31\0x19\0x14服务报文格式介绍

目录 1、34服务-请求下载 1.1、诊断请求格式 1.2、正响应格式 1.3、负响应格式 1.4、工程应用分析 2、36服务-传输数据 2.1、请求报文格式 2.2、正响应格式 2.3、负响应NRC 3、37服务-退出传输 3.1、报文格式 3.2、正响应格式 3.3、负响应NRC 4、31服务-例程控制 …

从零开始的软件测试学习之旅(八)jmeter线程组参数化及函数学习

jmeter线程组参数化及函数学习 Jmeter基础基本使用流程组件与元件 线程组线程的执行方式Jmeter组件执行顺序 常见属性设置查看结果数的作用域举例 Jmeter参数化实现方式1.用户定义参数2.用户参数3.函数4.csv数据文件设置 每日复习 Jmeter基础 基本使用流程 启动项目案例 启动…

Ubuntu22.04下安装kafka_2.11-0.10.1.0并运行简单实例

目录 一、版本信息 二、安装Kafka 1.将Kafka安装包移到下载目录中 2.下载Spark并确保hadoop用户对Spark目录有操作权限 三、启动Kafka并测试Kafka是否正常工作 1.启动Kafka 2.测试Kafka是否正常工作 一、版本信息 虚拟机产品:VMware Workstation 17 Pro 虚…

电脑那些可以升级的基本配置

一. 中央处理器(CPU):(若不是焊点的可以升级) 1、一句话简介: 这是电脑的心脏,决定了电脑的处理能力。常见的品牌有Intel和AMD。 2、换CPU指南: 1) 处理器品牌: - 主要…

RT-IoT2022 数据集-扩展数据(自制方法)

数据集官网Discover datasets around the world!https://archive.ics.uci.edu/dataset/942/rt-iot2022RT-IoT2022 是源自实时物联网基础设施的专有数据集,作为集成了各种物联网设备和复杂网络攻击方法的综合资源而引入。该数据集包含正常和对抗性网络行为&#xff0…

使用Docker安装Yapi接口管理工具

简介: YAPI 是由去哪儿网移动架构组开发的一款可视化接口管理工具。它具有可视化管理、高效易用、功能强大等特点。它提供了便捷的接口创建、发布和维护方式,开发人员可以通过简单的操作实现接口管理。 YAPI 还支持类似 postman 的接口调试,对…

CSS---Emmet(二)

一、Emmet语法 Emmet语法是一种用于快速编写HTML和CSS的缩写技术。它允许开发者通过简洁的表达式快速生成复杂的代码结构,极大地提高了编码效率。使用Emmet,你只需要写出一些简短的缩写符号和操作符,然后通过快捷键(通常是Tab键&…

Android 10.0 Launcher3定制folder文件夹2x2布局之一xml文件配置和解析相关属性

1.前言 在10.0的系统rom产品定制化开发中,在对Launcher3的folder文件夹功能定制中,要求folder文件夹跨行显示,就是 2x2布局显示,默认的都是占1格的,现在要求占4格显示,系统默认是不支持显示4格的,所以接下来需要分析相关的 功能,然后来实现这个功能 2.Launcher3定制fo…

《构建高效审批系统:架构设计与实践》

在现代企业管理中,审批系统扮演着至关重要的角色,它不仅能够规范业务流程,提高工作效率,还能够增强企业的管理控制力和信息化水平。本文将探讨如何设计和构建一套高效的审批系统架构,以满足企业日常审批需求&#xff0…

【Python】在Windows Server上部署Flask后端服务器

想要在Windows Server上部署flask应用,当然不能只下一个anaconda配完环境之后直接启动py文件,这样的话后台会有一段警告: * Serving Flask app app* Debug mode: off WARNING: This is a development server. Do not use it in a production …

UE4_Water插件_Buoyancy组件使用

water插件提供了一个浮力Actor蓝图类。 需要注意的几个问题: 1、StaticMesh需要替换根组件。 2、需要模拟物理设置质量。 3、需要添加浮力组件,设置浮力点,应用水中牵引力。 4、最重要的是需要激活——自动启用。 5、调水波长的地方 双击图片…

Linux 基础命令、性能监控

一、Linux 基础命令 grep:在文件中执行关键词搜索,并显示匹配的结果。 -c 仅显示找到的行数 -i 忽略大小写 -n 显示行号 -v 反向选择: 仅列出没有关键词的行 (invert) -r 递归搜索文件目录 -C n 打印匹配行的前后 n 行grep login user.cpp # 在…

Meta更低的训练成本取得更好的性能: 多token预测(Multi-Token Prediction)

Meta提出了一种透过多token预测(Multi-token Prediction)来训练更好、更快的大型语言模型的方法。这篇论文的重点如下: 训练语言模型同时预测多个未来的token,可以提高样本效率(sample efficiency)。 在推论阶段,使用多token预测可以达到最高3倍的加速。 论文的主要贡献包括: …

并发问题系统学习(更新中)

进程、线程 进程:进程是代码在数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位。可以理解为一个java应用。 线程:线程是进程的一个执行路径,一个进程中至少有一个线程,进程中的多个线程共享进程的资源。…

CleanMyMac X 4.15.3 版本发布

CleanMyMac X 4.15.3 版本发布,一款苹果 macOS 系统好用的伴侣软件,其包含 1.一键深度清理。2.系统垃圾专清。3.大/旧文件专清。4.系统提速。5.性能悬浮窗。6.恶意软件防护。7.隐私保护。8.软件卸载器。9.软件更新器等 9 大功能,为您的苹果电…

VSCode-vue3.0-安装与配置-export default简单例子

文章目录 1.下载VSCode2.修改语言为中文3.辅助插件列表4.vue3模板文件简单例子5.总结 1.下载VSCode 从官网下载VSCode,并按下一步安装成功。 2.修改语言为中文 点击确认修改,如下图所示: 或者打开命令面板:输入Configure Displ…