官宣:计算中间件 Apache Linkis 正式毕业成为 Apache 顶级项目

news2024/12/23 10:03:10

Apache 软件基金会(ASF)孵化器于2022年12月03日,通过了 Apache Linkis 计算中间件项目的孵化毕业投票。2023年01月18日,Apache 软件基金会官方宣布 Apache Linkis 顺利毕业,成为 Apache 顶级项目(TLP)。

以上截图来自 Apache 官网
原文链接:https://news.apache.org/foundation/entry/the-apache-software-foundation-announces-apache-linkis-as-a-top-level-project

一、关于 Apache Linkis

Apache Linkis 计算中间件项目,是由微众银行大数据平台团队在2019年7月进行开源,并于2021年8月正式捐献给全球顶级开源社区 Apache 软件基金会(ASF),成为 ASF 孵化项目,在2022年12月03日通过孵化毕业投票。

Apache Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。 通过使用 Linkis 提供的 REST/JDBC/Shell 等标准接口,上层应用可以方便地连接访问 MySQL/Spark/Hive/Trino/Flink 等底层引擎,同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通,以及通过 REST 标准接口提供了数据源管理和数据源对应的元数据查询服务。作为计算中间件,Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦,简化了复杂的网络调用关系,降低了整体复杂度,同时节约了整体开发和维护成本。

自开源以来,开源社区群用户总数超 7600人,沙箱累计试用公司超 2600家,收到超过 110家企业已投入生产的反馈,生产环境支撑的数据量超 400PB,生产服务的用户超 5000人,涉及金融、电信、制造、互联网等多个行业。许多公司已经用 Linkis 来解决大数据平台连通、扩展、管控、编排等计算治理问题。

在一年多的孵化期间,Apache Linkis 由社区开发者主导发布了7个 Apache 版本,平均约两个月就会发布一个版本;新加入了4个 PPMC成员 和13个 Committers,来自不同的公司和团队,贡献人数达到127人。 Apache Linkis 社区各项指标发展良好,项目已经趋于成熟, Apache Linkis 顺利通过 ASF 孵化器项目管理委员会的毕业评估和投票,并得到ASF董事会批准,毕业晋升为 Apache 基金会顶级项目。

二、Apache Linkis 的核心功能点以及 Roadmap

通过使用 Linkis,上层应用工具如批量系统可以把 Linkis 作为统一的网关或者 JobServer 来提交批量任务;数据分析工具可以利用 Linkis 的交互式任务的能力实时获取日志、结果集、进度信息等能力。集成了 Linkis 的工具可以做到互联互通,在不同的工具中可以使用同一个定义的 UDF、数据源、物料等。

接入了 Linkis 的上层应用工具都可以拥有以下核心功能特性:

  • 丰富的底层计算存储引擎支持:Spark、Hive、Flink、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel 和 Shell 等;

  • 丰富的语言支持:SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON 和 JAVA 等;

  • 强大的计算治理能力:能够提供基于多级标签的任务路由、负载均衡、多租户、流量控制、资源控制等能力;

  • 全栈计算存储引擎架构支持:能够接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量任务、交互式查询任务、实时流式任务和数据湖任务;

  • 统一上下文服务:支持跨用户、系统、计算引擎去关联管理用户和系统的资源文件(JAR、ZIP、Properties 等),结果集、参数变量、函数、UDF 等,一处设置,处处自动引用;

  • 统一物料:提供了系统和用户级物料管理,可分享和流转,跨用户、跨系统共享物料;

  • 统一数据源管理:提供了 Hive、ElasticSearch、Mysql、Kafka、MongoDB 等类型数据源信息的增删查改、版本控制、连接测试和对应数据源的元数据信息查询能力;

  • 错误码能力:提供了任务常见错误的错误码和解决方案,方便用户自助定位问题;

从孵化器毕业也证明了 Linkis 项目和社区进一步走向成熟,但是要成为一个世界顶级的计算中间件项目还有很多的事情要做。Linkis 社区整理了一份 Roadmap ,欢迎大家参与一起贡献。部分重大特性如下:

三、Apache Linkis 生态

Linkis 作为计算中间件,也积极推动与多个开源社区的项目进行集成,以丰富 Linkis 的生态。下图是部分已经与 Linkis 集成的开源项目,涵盖了数据分析、工作流、数据交换、数据质量、机器学习、以及常用的计算和存储引擎等。上层应用工具通过 Linkis 提交和管理各类引擎的任务,把 Linkis 当成了一个开发基座。极大地降低了上层应用工具在连通、扩展、管控等计算治理方面的开发工作量,让上层应用工具只需专注于其自身的功能性需求。

未来我们也将进一步引导和推动更多的上层工具系统和底层引擎,去与 Linkis 对接集成,丰富 Linkis 的生态。欢迎越来越多的项目参与其中。

四、毕业寄语(按姓氏首字母排序)

恭喜 Apache Linkis 顺利毕业!一路走来,我有幸见证了 Linkis 社区的发展壮大,在开源大数据领域的影响力也与日俱增。希望 Apache Linkis 未来发展得越来越好,成为更有影响力的世界级开源项目!——堵俊平,Apache Linkis Champion,Apache 软件基金会 Member,开放原子开源基金会TOC 主席


Linkis 社区发展的非常繁荣,恭喜 Linkis 顺利从 Apache 孵化器毕业成为顶级项目,作为大数据领域优秀的计算中间件, Linkis 使得用户可以更加方便的通过 REST/JDBC 等标准接口来访问 Spark、Flink 等底层引擎。毕业是一段新旅程的开始,期待 Linkis 能发展得更好!——代立冬,Apache Linkis Mentor,Apache 软件基金会 Member,Apache DolphinScheduler PMC Chair


感谢社区每一位成员的热情和贡献!我们通过对 “Apache Way” 的持续践行,形成了一个多样、有序,且能够推动项目不断进化的、富有生命力的社区。毕业只是新征程的开始,期待与大家一起,继续增强 Linkis 在连通、管控、编排、复用等数据平台计算治理方面能力,让大数据变得更简单。——邸帅,Apache Linkis PMC Chair,微众银行大数据平台负责人


祝贺 Apache Linkis 从 ASF 孵化器中毕业成为 Apache 顶级项目。作为 Apache 孵化器导师,非常高兴能够看到 Apache Linkis 能够依托项目用户和开发者构建起健康发展的社群,并很好地践行 Apache Way。祝愿 Apache Linkis 茁壮成长,并与其他 Apache 大数据项目一同打造更加繁荣的开源大数据技术生态!——姜宁,Apache 软件基金会董事,Apache ServiceComb PMC Chair


很高兴看到,从微众蹒跚起步的计算中间件 Linkis,能够通过开源,在 Apache Way 的指引和社区伙伴的共同培育下快速成长,走进各行各业,服务千百企业,并顺利毕业成为 Apache 顶级项目。期望 Linkis 能够继续茁壮成长,在大数据开源领域能够发挥更大的价值。也期待更多的社区伙伴的参与,并涌现出更多优秀的开源项目,为基础软件开源的发展继续添砖加瓦。——卢道和,微众银行基础科技产品部负责人


恭贺 Apache Linkis 在 2022 年终岁末时,为源自中国的 Apache 顶级项目再添一员强将(总共 20 个项目)。祝愿 Apache Linkis 计算治理的征程顺利开展,兼容并蓄的社区持续拓展!
——刘天栋,Apache 软件基金会 Member,开源社联合创始人


衷心祝贺 Linkis 成功从 Apache 孵化器中毕业,成为 Apache 顶级项目。作为微众银行主导开源和捐赠的优秀项目,计算中间件 Apache Linkis 经过金融级生产环境的持续打磨,和社区各行业贡献者的共同建设完善,已成为解决大数据平台计算治理问题的利器。未来,微众银行将一如既往支持开源社区建设,助力我国为全球基础软件的发展贡献关键力量。——马智涛,微众银行副行长兼首席信息官


作为 Apache Linkis 的重度用户,非常高兴看到它从 Apache 毕业,在这里表示由衷的祝福。我们从2020年开始关注并尝试在业务上使用它,目前已将大部分底层业务迁移到 Linkis 上管理。在此过程中得到了社区伙伴给予的大力支持,也贡献了自己的一份力量。毕业不是结束,是新的开始,还有很多工作等着我们去做。希望未来和社区伙伴一起将 Apache Linkis 做得更强大更完善。——聂磊,Apache Linkis Contributor,理想汽车大数据架构师


Apache Linkis 是2019年由微众银行开源并贡献给 Apache 软件基金会的一个大数据项目,Linkis 自开源之后,在业界引起了广泛关注。更难能可贵的是,围绕 Linkis 项目而形成的开发者社区非常活跃,目前已经有 23 位项目管理委员会成员、33 位代码 Committer 及超过127 位 Contributor,他们来自不同的地区和组织,自发地参与在项目中开发新特性、回答用户问题、修复 bug、发布版本等,呈现出良好的多样性和可持续性。在 2022 年 12月,Linkis 项目通过了 Apache 孵化器的项目成熟度评估以及投票,毕业成为又一个 Apache 顶级项目。对 Linkis 来说,毕业不是终点,而只是一个里程碑。在 2023 年,希望 Linkis 社区能够继续秉承 The Apache Way 的理念,以 Community Over Code 的精神吸纳更多的用户和开发者,持续发展和壮大开源软件项目,使其最终能够惠及更多企业和个人用户。

——史少锋,Apache Linkis Mentor,Apache 软件基金会 Member,Apache Kylin PMC Chair


很高兴看到微众银行捐献给 Apache 开源软件基金会的 Linkis 项目毕业成为 Apache 基金会的顶级项目。这证明项目发起人充分理解 Apache 基金会的价值观 Community Over Code,并遵循 Apache 社区的开放、透明、贤能治理的规则进行长期运作,社区成熟度得到了 Apache 软件基金会孵化委员会的一致认可。恭喜 Linkis 项目和团队,给大数据技术生态提供了一个值得长期信任的好项目,通过计算中间件将应用层和引擎层解耦,使得上层大数据应用编写更简单,更快速。——谭中意,Apache 软件基金会 Member,中国开源推进联盟副秘书,开放原子开源基金会 TOC 副主席


热烈庆祝 Linkis 从 Apache 孵化器毕业!Liniks 是一个 Hadoop 及相关生态圈“数据库”的计算中间件,是一个非常有意思而且很有价值的项目,在此,衷心祝愿 Apache LInkis 项目和社区发展越来越好!——王华磊,Apache Linkis Contributor,邮储银行数据管理部副主任工程师


作为 Linkis 的用户和开发者,非常荣幸见证了 Linkis 从开源,到 Apache 孵化,再到最终的毕业,真的很不容易,也见证了中国开源力量的崛起。随着越来越多小伙伴的贡献, Linkis 已经越来越标准稳定了,期待更多小伙伴们加入有爱的 Linkis 社区,一起将社区建设得更好。——王小刚,Apache Linkis PMC Member,天翼云 大数据开发工程师


作为项目的 Mentor,非常高兴看到 Apache Linkis 成功毕业,成为 Apache 顶级项目。Apache Linkis 的社区非常活跃,在孵化期间,始终维持着两个月一次的发版节奏,这在所有孵化项目中都非常难得,说明项目的参与人员都很活跃,且尽职尽责。祝 Apache Linkis 项目未来越来越好!——张铎,Apache Linkis Mentor,Apache 软件基金会Member,Apache HBase PMC Chair


恭喜 Apache Linkis 从 Apache 毕业!我们从2021年开始关注并尝试应用于某些业务上,目前已有部分业务运行于 Linkis 上,现正着手于其它业务的迁移工作。非常感谢社区各位伙伴的耐心和帮助!成为顶级项目并不是结束,而是一个开始,衷心希望 Linkis 在未来得到更好的发展,并且帮助到更多的企业去构建大数据平台。——张华金,Apache Linkis PMC Member,广州银行信用卡中心高级需求分析师


作为 Apache Linkis 最早投入到生产环境的忠实用户和开发者,非常开心见证了 Linkis 一步一步发展壮大,很荣幸能够为社区贡献一点绵薄之力。祝愿 Apache Linkis 社区发展越来越好,为大数据平台化贡献更大的价值,希望大家参与进来一起将 Linkis 建设得更好!——朱辉,Apache Linkis PMC Member,BOSS直聘数据中台负责人


祝贺 Linkis 经过16个月的孵化,顺利从 Apache 孵化器毕业成为顶级项目。在孵化过程中,Linkis 社区始终遵循 Apache Way,采用开放、透明、包容的治理体系,建立了非常繁荣且多元化的开源社区。祝贺 Linkis 社区所有的贡献者和参与者,也祝愿 Linkis 开源项目能够发展越来越好!——钟燕清,微众银行开源管理办公室负责人

五、期待你的加入

从 Apache 孵化器毕业只是一个开始,对于成为真正的顶级开源项目只是迈出了第一步。Linkis 社区将继续践行 Apache 的开源文化主旨,打造一个更加协作、开放、多元的社区。欢迎更多的组织和个人参与到 Apache Linkis 的建设中来,促进 Linkis 社区持续健康地发展。

六、Apache Linkis 官方链接

官网主页:

https://linkis.apache.org/

仓库地址:

https://github.com/apache/linkis

订阅Linkis邮件列表:dev-subscribe@linkis.apache.org(发送任意内容到邮箱后,根据回复以订阅邮件列表 )

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/196175.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

泊松分布的计算方式

如果都要计算泊松分布了,那么就默认你知道泊松分布的基本知识了,我这里只介绍如何计算,我是用的Excel直接套用公式计算的,如果想在代码里用,我的实现方式是,先用Excel把值全部求出来,然后做成ma…

开组会写论文必备工具清单

来源:投稿 作者:卷舒 编辑:学姐 公式工具 https://www.latexlive.com/ snip这个工具也与之类似,但是需要安装,且有50个的限制。 这是一个LaTeX公式在线编辑器。提供了各类快捷符号及公式模板。在输入区域尝试LaTeX公…

创建SpringBoot工程

目录 一、官网创建 1、进入spring官网:Spring | Home 2、点击Spring Boot,滑倒最下面,点击Spring initializr 3,创建Spring Boot工程,版本选2.多的,高版本配置可能会出现问题,jdk选你电脑上装…

训练营day15

层序遍历 10 226.翻转二叉树 101.对称二叉树 2 102.二叉树的层序遍历 力扣题目链接 给你一个二叉树,请你返回其按 层序遍历 得到的节点值。 (即逐层地,从左到右访问所有节点)。 接下来我们再来介绍二叉树的另一种遍历方式&#x…

Java面试题二-并发编程、IO、设计模式、通信/网络、JVM

本文目录如下:Java面试题(二)四、并发编程线程和进程的区别?守护线程是什么?创建线程有哪几种方式?线程有哪些状态?sleep() 和 wait() 有什么区别?线程的sleep()方法和yield()方法有什么区别?线…

KVM虚拟机安装Virtio驱动

KVM虚拟机安装Virtio驱动KVM服务器上配置Virtio驱动ISO文件Windows实例安装Virtio驱动Linux实例安装kvm驱动(一般不需要)KVM服务器上配置Virtio驱动ISO文件 参考:https://www.ibm.com/docs/zh/cloud-orchestrator/2.5.0.1?topicimages-installing-virtio-driver-k…

成功解决:尚硅谷中的谷粒商城前端项目运行依赖问题。【详细图解+问题说明+解决思路】

一个混迹于Github、Stack Overflow、开源中国、CSDN、博客园、稀土掘金、51CTO等 的野生程序员。 目标:分享更多的知识,充实自己,帮助他人 GitHub公共仓库:https://github.com/zhengyuzh 以github为主: 1、分享前端后端…

程序员超级书单:技术人必看

写在前面 电影一部两小时打底,却很少有人可以静下心看30分钟书。今天刷沸点摸鱼, 无意中摸到一条让我有写作冲动的鱼,开工几天了,大家应该都暗暗立下不少flag,比如坚持锻炼,再比如自己今年要看多少本书籍。 行业内卷…

舆情监控工具app推荐,舆情监控工具包括哪些?

舆情监控工具的目的是帮助组织了解公众对各种话题、问题或品牌的意见和情绪。它们可以从多种来源收集数据,包括社交媒体、新闻媒体、博客、论坛和评论区。舆情监控工具app推荐,舆情监控工具包括哪些? 一、舆情监控工具app推荐 TOOM舆情监控工具&…

算法基础集训(第31天)------>BFS之经典【走迷宫】

一:概念定义给定一个 nm 的二维整数数组,用来表示一个迷宫,数组中只包含 0 或 1,其中 0 表示可以走的路,1 表示不可通过的墙壁。最初,有一个人位于左上角 (1,1) 处,已知该人每次可以向上、下、左…

扎克伯格15年邮件曝光:AR/VR平台全盘细节,谈收购Unity的优势

近期一份2015年时扎克伯格的一封邮件曝光,文中解释了Facebook在VR领域的战略策略和VR对未来的影响等,揭露了但是Facebook在VR/AR方向上的全盘计划,同时曝光当时Facebook就有收购Unity的计划,值得一看。以下是摘要:1&am…

DarkNet框架实现分类任务避坑指南(附安装包)

声明:本文仅分享技术,无其他 文章目录***声明:本文仅分享技术,无其他***这个框架真的非常非常非常小众,入坑需谨慎DarkNet对编译环境有要求配置前的准备环节1、 DarkNet源码封装(安装包如果失效了&#xff…

看这个就够了——ubuntu系统中的cuda cudnn cudatookit及pytorch使用

一.基本概念1.1 nvidia独立显卡独立显卡是指以独立板卡形式存在,可在具备显卡接口的主板上自由插拔的显卡。独立显卡具备单独的显存,不占用系统内存,而且技术上领先于集成显卡,能够提供更好的显示效果和运行性能。显卡作为电脑主机…

GooFuzz:一款基于OSINT方法的模糊测试工具

关于GooFuzz GooFuzz是一款基于OSINT方法的模糊测试工具,该工具基于Google Dork实现其功能。本质上来说,GooFuzz是一个Bash脚本,该脚本使用了Google Search技术来获取文件或目录中的敏感信息,而无需向目标Web服务器发送请求。 工…

ESP-IDF:字符和整形二维指针测试

ESP-IDF:字符和整形二维指针测试 /字符和整形二维指针测试/ void print19a(void ** cp) { cout<<"test char ** "<<endl; cout<<"cp "<<*((char **)cp)<<endl; char *s *((char **)cp); cout<<"cp "<&…

可信数字仓储(TDR)及其实践应用案例

数字资源长期保存活动是为了保存人类的科学文化遗产&#xff0c;为公众提供持续服务&#xff0c;并为未来提供历史证据。在对数字资源进行长期保存的过程中&#xff0c;不可避免地要面对环境、技术、人员等方面的改变&#xff0c;要让用户信任所获得的信息&#xff0c;保存活动…

华为车BU王军被停职,余承东独掌智能车业务丨HiEV独家

来自多个信息源的消息显示&#xff0c;华为智能汽车解决方案BU&#xff08;简称「车BU」&#xff09;正迎来多项人事调整。 据HiEV得知的信息&#xff0c;车BU COO、智能驾驶解决方案产品线总裁王军已被停职。这距王军最近一次公开露面&#xff0c;仅相隔半个月。1月14日&#…

haproxy相关

docker编译运行 创建Dockerfile文件FROM haproxy:2.6.8 COPY haproxy.cfg /usr/local/etc/haproxy/haproxy.cfg编译docker镜像 docker build -t my-haproxy .测试配置文件 docker run -it --rm --name haproxy-syntax-check my-haproxy haproxy -c -f /usr/local/etc/haproxy/…

【FreeRTOS】详细讲解FreeRTOS里中断管理并通过示例讲述其用法

文章目录中断函数解析FreeRTOS中断使用示例中断 大家看到中断后&#xff0c;有没有想到一个名词——异常呢&#xff1f;若大家想到了&#xff0c;但是记不起相关概念&#xff1b;或者是&#xff0c;大家没想到这个名词&#xff0c;没关系&#xff0c; 下面小编就给大家伙讲讲中…

VMware 虚拟机无法开机

在windows下安装VMware虚拟机&#xff0c;使用ubuntu18.04系统时&#xff0c;由于非正常关机或者硬盘内存不够&#xff0c;导致无法正常开机&#xff0c;现象如下&#xff1a;问题原因&#xff1a;第一&#xff1a;pillx4_smbus异常&#xff0c;需要禁用&#xff1b;第二&#…