倒带ChunJun,同心前行|2022年度回顾2023年共建规划

news2024/11/25 23:28:30

ChunJun是一个开始于2018年的批流一体数据集成框架项目,原名FlinkX。2022年2月22日,在FlinkX进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架。

2022年的ChunJun茁壮成长,如今已经是一个由68多位贡献者协同开发、拥有3437个star的人气项目。

项目地址:https://github.com/DTStack/chunjun

ChunJun 项目进展

Star数:3437 Fork数:1556

Issue Closed:764 PR Cloesd:523

Contributors:68 Commits:5147

ChunJun 内容输出

视频课程:共计15课

涵盖直播课程、入门指南、解决方案等方方面面

精品文章:共计18篇

带你快速了解chunJun

技术社群:3898人

已成为大量开发者及大数据爱好者的交流学习平台

ChunJun 奖项荣誉

入选Gitee最有价值开源项目——GVP

file

2022 ChunJun大事记

送虎岁,迎兔年,值此除旧迎新之际,想和一直以来关注ChunJun开源社区的朋友聊聊这一年的进展:

2022年2月22日

沉淀了团队六年来在数据同步和集成方面的实践经验,技术团队决定对FlinkX进行整体升级,并更名为ChunJun。希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架。

2022年5月28日

ChunJun社区第一次会议,讨论当前第一个版本的roadmap规划,首次邀请社区小伙伴一起参与讨论。内容包括减少启动参数,让用户快速启动;增加 Docker 部分,用户直接下载Docker 镜像,开箱即用等。

2022年6月25日

开源小伙伴贡献的官网内容正式发布。

官网地址:https://dtstack.github.io/chunjun/

2022年7月9日

ChunJun社区第二次会议,讨论当前第二个版本的roadmap规划。

2022年9月18日

ChunJun社区第三次会议,讨论当前第三个版本的roadmap规划,调整 pr review & merge 规范和流程。

2022 ChunJun活动

2022年8月27日

联合OceanBase社区主办开源线下Meetup,发布基于Oceanbase 的离线插件和cdc 插件,并推出联合方案。

file

2022年9月24日

参与Hadoop MeetUp,分享ChunJun在实时采集上的功能和新特性。

file

2022年10月29日

联合举办 COSCon'22 开源年会杭州分会场,分享袋鼠云三大组件 ChunJun、Taier、ChengYing 的配套使用构建。

file

2022 ChunJun精品课程

2022年4月27日

课程:ChunJun支持异构数据源DDL转换与自动执行

视频链接:https://sourl.cn/i9CzDP

2022年6月27日

课程:ChunJun数据还原-DDL功能模块解析

视频链接:https://sourl.cn/ffwtMc

2022年7月6日

课程:ChunJun同步Hive事务表

视频链接:https://sourl.cn/fbaWgD

2022年8月19日

课程:ChunJun数据传输模块介绍

视频链接:https://sourl.cn/iLY7vn

2022年9月22日

课程:ChunJun类加载原理与实现

视频链接:https://s.r.sn.cn/WCWURr

2022年12月9日

课程:ChunJun数据安全之Kerberos介绍

视频链接:https://s.r.sn.cn/Nix84z

2022 ChunJun研发进展

共发布七个版本:

V1.12.1

· 核心数据还原功能框架开发完成,增加了binlog/logminer 对 DDL 的监听处理;

· 丰富插件,添加Doris 插件;

· 添加ChunJun 对 Flink python udf 的支持;

· 稳定性提升,修复ChunJun 20+ bug。

V1.12.2

· 丰富插件, 添加 inceptor插件;

· 丰富插件,添加 influxdb插件;

· 代码优化,使用插件 spotless-plugins强制对代码风格进行检查;

· es 插件优化,支持 ssl模式;

· gbase 插件优化,支持 update模式;

· k8s 模式下添加对 application mode支持;

· 稳定性提升,修复ChunJun 10+ bug。

V1.12.3

· 丰富插件, 添加 starrocks插件;

· 增量同步支持 datetime类型;

· SQLserver cdc增加对数据类型 smallint的支持;

· 稳定性提升,修复ChunJun 10+ bug。

V1.12.4

· 丰富插件,添加 oceanbase插件;

· 数据还原功能加强,添加中间数据存储,避免数据丢失;

· 项目名称调整,从 FlinkX修改为 ChunJun;

· 插件优化,调整 inceptor插件的读取方式,从原来的 jdbc调整为直接读取文件;

· 插件优化,pg读取插件支持 Array类型;

· 增加对 protobuffer format的支持;

· 稳定性提升,修复ChunJun 20+ bug。

V1.12.5

· 数据同步 jdbc分片优化,添加对 range mode的支持,原先只支持 mod模式分片;

· 易用性提升,添加内置提交脚本,在不同模式下任务提交需要传入的参数,只需要传递 -job和 -confProp即可;

· ChunJun增加一个模块,准备用于发布安装包;

· 稳定性提升,修复ChunJun 15+ bug。

V1.12.6

· 优化 ChunJun数据同步的序列化方式;

· ChunJun 添加新的官网,方便社区同学了解阅读文档及技术方案;

· 丰富插件, 添加 rocketmq、sybase、s3、vertica11、iceberg插件及 redis读取插件;

· docker模式的支持,并添加执行脚本和文档;

· jdbc 插件增强,添加在执行前检查 dbconn;

· hbase 插件优化和重构,支持 transformer;

· ChunJun 工程支持E2E 功能;

· oracle 插件增强支持 nchar、nvarchar2 类型的中文存储;

· 稳定性提升,修复ChunJun 30+ bug。

V1.12.7

· 优化 jdbc base模块,添加对列信息的初始化功能;

· 优化 ftp读取性能,添加对大文件切片的支持;

· hdfs 插件优化,支持 hadoop3.x 版本 orc读取;

· e2e 功能丰富,添加 ftp container;

· es7 插件优化,支持 type关键字;

· 稳定性提升,修复ChunJun 30+ bug。

2023年的ChunJun

ChunJun未来规划

· 依赖 Flink版本升级到1.16;

· ChunJun 提供Rest api 的server 服务,简化ChunJun 集成的难度;

· ChunJun 添加数据还原DDL支持Iceberg、Hudi。

兔年祝福

2022年,感谢 ChunJun社区小伙伴们的大力支持,ChunJun走的每一步都离不开你们的帮助,2023年,我们继续交流,一起进步。

也祝福大家在新的一年里兔飞猛进,快乐,幸福~💗 想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szcsdn

同时,欢迎对大数据开源项目有兴趣的同学加入我们,一起交流最新开源技术信息,号码:30537511,项目地址:https://github.com/DTStack

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/345997.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

服务器常见的网络攻击以及防御方法

网络安全威胁类别 网络内部的威胁,网络的滥用,没有安全意识的员工,黑客,骇客。 木马攻击原理 C/S 架构,服务器端被植入目标主机,服务器端通过反弹连接和客户端连接。从而客户端对其进行控制。 病毒 一…

蓝桥杯C/C++VIP试题每日一练之报时助手

💛作者主页:静Yu 🧡简介:CSDN全栈优质创作者、华为云享专家、阿里云社区博客专家,前端知识交流社区创建者 💛社区地址:前端知识交流社区 🧡博主的个人博客:静Yu的个人博客 🧡博主的个人笔记本:前端面试题 个人笔记本只记录前端领域的面试题目,项目总结,面试技…

Nacos——Nacos简介以及Nacos Server安装

资料来源:02-Nacos配置管理-什么是配置中心_哔哩哔哩_bilibili nacos记得下载2.x版本的,负责以后新建配置的时候会出现“发布错误,请检查参数是否正确”错误!!!! 目录 一、Nacos简介 1.1 四…

【CS224W】(task4)图嵌入表示学习

note node2vec: 计算随机游走概率从节点uuu开始模拟rrr条长度为lll的游走链路使用 Stochastic Gradient Descent 优化损失函数 Node2vec在节点分类方面表现更好;而其他方法在链路预测上效果更好,如random walk效率更高;graph emb…

请注意,PDF正在传播恶意软件

据Bleeping Computer消息,安全研究人员发现了一种新型的恶意软件传播活动,攻击者通过使用PDF附件夹带恶意的Word文档,从而使用户感染恶意软件。 类似的恶意软件传播方式在以往可不多见。在大多数人的印象中,电子邮件是夹带加载了恶…

Redis-简单动态字符串

Redis中字符串应该是我们使用最多的一种数据类型了,但是有没有想过Redis是如何存储字符串的呢?Redis并没有用C语言传统的字符串(C语言中的字符串一般末尾采用空字符结尾,\0),而是采用它们自己实现的一种简单动态字符串(SDS)实现的…

若依ruoyi——手把手教你制作自己的管理系统【二、修改样式】

阿里图标一( ̄︶ ̄*)) 图片白嫖一((* ̄3 ̄)╭ ********* 专栏略长 爆肝万字 细节狂魔 请准备好一键三连 ********* 运行成功后: idea后台正常先挂着 我习惯用VScode操作 当然如果有两台机子 一个挂后台一个改前端就更好…

java中volatile与synchronized的区别,volatile为什么不能保证原子性

1.volatile与synchronized的区别 2.volatile为什么不能保证原子性 定义: 即一个操作或者多个操作 要么全部执行并且执行的过程不会被任何因素打断,要么就都不执行。 原子性是拒绝多线程操作的,不论是多核还是单核,具有原子性的量…

【C/C++】VS2019下C++生成DLL并且成功调用(金针菇般细)

目录 一,生成动态链接库 二,使用动态链接库 一,生成动态链接库 1.打开VS2019,创建新项目,选择 动态链接库(DLL) 模板后进行下一步 2.输入项目名称,其它默认就行(可自行选择),点击创建 3 工程…

hive开窗函数

hive开窗函数 窗口函数 数据准备 1 jx 20 2 zx 24 3 yx 18 4 wz 10 5 yy 34 6 wy 25create table t (> id int,> name string,> age int> )> row format delimited fields terminated by ; load data inpath /data/data.txt into table t;ROW_NUMBER ROW_N…

网上订餐项目(含后台管理界面)

项目开发环境 项目使用IDEA 2018.3.5进行开发。Maven版本为 3.6.2。Tomcat版本为 8.5.42。数据库为mysql 5.7。JDK版本为1.8_211。项目使用SpringSpringMVCMybits框架。 点餐前台功能 登陆界面如下 登陆后可添加菜品到餐车 餐车里可查看添加的菜品 提交后可查看已派送和未…

Zookeeper配置化中心

zookeeper的基本知识 zookeeper的数据结构:zookeeper提供的命名空间非常类似于标准的文件系统,key-value的形式存储,名称key由/分割的一系列路径元素,zookeeper名称空间中的每个节点都是一个路径标志。 windows下的zookeeper安装&#…

使用Docker快速部署ES单机

所有的操作都是基于Docker来的,没有装Docker的话请参照官方文档安装单机环境部署初始化相关目录mkdir -p /usr/local/elasticsearch/{config,plugins,data}准备配置文件vim /usr/local/elasticsearch/config/elasticsearch.yml将下面的内容粘贴到elasticsearch.yml#…

训练一个中文gpt2模型

前言 这是我的github上的一个介绍,关于如何训练中文版本的gpt2的。链接为: https://github.com/yuanzhoulvpi2017/zero_nlp 介绍 本文,将介绍如何使用中文语料,训练一个gpt2可以使用你自己的数据训练,用来:写新闻、…

linux中top命令分析

TOP命令是 比较常用的性能分析命令,可以看出服务器CPU 、负载、内存、磁盘、IO等数值,接下来就详细解读top命令 top命令 打开服务器终端,直接输入top,top命令中的数据显示的都是当前的实时数据 直接这样输入,回车即…

iptables防火墙屏蔽指定ip的端口

因为需要测试客户端程序与hadoop服务器之间正常通信需要开通的端口, 所以在hadoop各服务器上使用iptables防火墙屏蔽了测试客户端程序的ip和所有端口。然后,根据报错信息提示的端口号来逐步放开直到能正常通信下载文件。 在服务器端屏蔽指定ip访问所有端口 #查看…

UUID的弊端以及雪花算法

目录 一、问题 为什么需要分布式全局唯一ID以及分布式ID的业务需求 ID生成规则部分硬性要求 ID号生成系统的可用性要求 二、一般通用方案 (一)UUID (二)数据库自增主键 (三)Redis生成全局id策略 三…

与AI相遇 | 在ChatGPT中输入“情人节”,我们会得到......?

最近ChatGPT可谓是风靡全球,大家彼此的问候从“你吃饭了吗”变成“你玩ChatGPT了吗”。这款当今最火爆的AI语言模型,是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具,使用了Transformer神经网络架构&#xff…

校园创新创业基地管理系统(java,jsp,ssh,mysql)+全套视频教程

技术栈: JAVA,SSH, MYSQL, JQUERY,HTML,CSS, JAVASCRIPT首页访问 http://localhost:8080/Struts2.3.16.1Hibernate4.3.4Spring4.0.2/index_index.action管理员admin 123456用户 user1 123456代码功能演示: http://woc.xin/8C64kZ功能列表:本系统包含普通用户,后台管…

LeetCode(Java)—— 加一(简单)

加一概述:给定一个由整数组成的非空数组所表示的非负整数,在该数的基础上加一。最高位数字存放在数组的首位, 数组中每个元素只存储单个数字。你可以假设除了整数 0 之外,这个整数不会以零开头。输入:digits [1,2,3] …