Databricks 收购 Tabular 的意义:数据开放框架的胜利

news2024/9/22 15:45:57

Databricks 宣布收购 Tabular,这是一个由 Apache Iceberg 的原始创建者开发的数据平台,在数据分析行业引发了涟漪。此次收购凸显了开放框架在数据领域日益增长的重要性,预示着数据管理、分析和 AI/ML 计划领域的创新、协作和可访问性的新时代。MinIO 一直是 Apache Iceberg 的粉丝,并且与 Tabulal 的团队关系密切。我们已经写了许多关于这项技术如何与高性能对象存储一起工作的基础文章。在下一章中,我们为他们感到兴奋。

开放框架的兴起

开放框架彻底改变了我们处理数据的方式。与将用户锁定在特定平台和工具中的专有系统不同,开放框架提供了灵活性、互操作性和透明度。它们使组织能够利用可用的最佳工具,集成各种数据源,并定制解决方案以满足特定需求,而不受供应商限制的限制。

虽然有些人可能会质疑 Databricks 收购 Tabular 背后的动机,特别是考虑到收购是在 Snowflake 的年度用户大会上宣布的,当时有传言称 Snowflake 本身正在谈判收购 Tabular,但 Databricks 确实拥有开源的诚意,可以为 Iceberg 和更广泛的社区做出积极贡献。这是通过他们对表格的投资来实现的,也许更重要的是,通过有效地雇用冰山格式的创建者。Databricks 历来是开源技术的坚定拥护者,收购 Tabular 符合其培养开放数据生态系统的使命。

虽然我们支持开放框架的任何扩展,无论是物质的还是意识形态的,但组织可以从这场非常公开的战斗中吸取什么教训?至少,很明显,开放表格式是现代数据基础设施的基石。在考虑未来时,组织应专注于能够有效利用这些强大格式的工具和技术。

开放框架在现代数据湖中的作用

现代数据湖作为集中式存储库,用于存储大量结构化和非结构化数据,为高级分析和 AI 计划提供所需的灵活性。显然,为了在 AI 用例中发挥作用,现代数据湖必须建立在高性能、弹性和可扩展的存储之上。

将开放框架集成到这些面向未来的数据湖中具有变革性,因为它增强了它们已经内置的可扩展性、灵活性和互操作性。开放框架使组织能够避免供应商锁定(尤其是在主要供应商急于支持 Iceberg 的情况下),并提供与各种数据源和分析工具轻松集成的灵活性,以及与各种数据源和分析工具轻松集成的灵活性。这两项功能对于构建强大、面向未来的数据基础架构至关重要。

随着 Apache Iceberg、Apache Hudi 和 Delta Lake 等开放框架的兴起,现代数据湖在打破数据孤岛、实现数据访问民主化以及促进更具协作性和创新性的数据生态系统方面的作用得到了强调。以下是这些好处的细分。

增强互操作性和灵活性

开放框架的主要优势之一是它们能够增强互操作性。在当今数据驱动的世界中,组织通常依靠无数的工具和平台来收集、存储、分析和可视化数据。开放框架充当桥梁,允许这些不同的系统无缝通信。

当开放框架部署在 MinIO 上时,用户会放大这种固有的互操作性和灵活性。现代数据湖中的这种强大组合可确保您的数据可以在您需要的任何地方高效访问、管理和处理:私有云、公共云、colos 或边缘。归根结底,运营灵活性并非易事。

通过协作推动创新

开放框架在协作中茁壮成长。就其本质而言,开源项目邀请全球开发人员、研究人员和数据科学家社区做出贡献。这种协作方法可以加速创新,因为可以快速开发、测试和实施新的想法和解决方案。事实是,开源催生了开源,尤其是在人工智能领域。在数据驱动创新的时代,比以往任何时候都更清楚,数据基础设施的未来是开源的。

实现数据访问的民主化

也许开放框架最深远的影响是它们在数据访问民主化方面的作用。通过降低进入门槛,开源工具使各种规模和预算的组织能够利用数据的力量。这种民主化对于创造公平的竞争环境和确保即使是小企业也能在数据驱动的经济中竞争至关重要。

只要有开放框架,这种民主化就是正确的,但对于像MinIO这样建立在开源对象存储上的基础设施来说尤其如此。这种简单易用和部署的基础架构进一步降低了成本和复杂性,使更广泛的组织能够使用强大的数据存储以及 AI 和分析功能。借助 MinIO 和开放式框架,您可以事半功倍。

把它带回家

展望未来,很明显,开放、协作和可访问性原则将继续推动数据环境的发展。Databricks 收购 Tabular 的战略举措凸显了这一驱动力。通过拥抱和投资开放框架,您的组织不仅可以增强其平台,还可以倡导数据比以往任何时候都更易于访问、互操作和创新的未来。这些原则对于构建真正成功的 AI 计划至关重要。

不要落后于自己的基础架构,而是使用 Iceberg 或 Hudi 等开放格式以及世界上最快的对象存储软件开始构建组织自己的现代数据湖。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1915897.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

RedisTemplate 中序列化方式辨析

在Spring Data Redis中,RedisTemplate 是操作Redis的核心类,它提供了丰富的API来与Redis进行交互。由于Redis是一个键值存储系统,它存储的是字节序列,因此在使用RedisTemplate时,需要指定键(Key&#xff09…

伺服【禾川X6】

驱动器: A:脉冲 B:EtherCAT // SV-X6 FB 040 AA 一套360 N:CANopen R:PROFINET 电机: SV-X6 MA 040A-B2 KA 框号: 40 8mm 50…

C++ Primer 总结索引 | 第十六章:模板与泛型编程

1、面向对象编程(OOP)和泛型编程 都能处理在编写程序时 不知道类型的情况。不同之处在于:OOP 能处理类型 在程序运行之前都未知的情况;而在泛型编程中,在编译时就能获知类型了 2、容器、迭代器 和 算法 都是泛型编程的…

element el-upload 粘贴上传图片

对form中的某一个el-form-item添加 paste.native 事件&#xff0c;事件绑定方法名 handlePaste也可以在其他控件中添加事件监听&#xff0c;这里在当前form-item 这个块使用了&#xff0c;只有当你点击目标区域时才有效。 <el-form-item label"备注图片" paste.n…

skywalking-2-客户端-php的安装与使用

skywalking的客户端支持php&#xff0c;真的很棒。 官方安装文档&#xff1a;https://skywalking.apache.org/docs/skywalking-php/next/en/setup/service-agent/php-agent/readme/ 前置准备 本次使用的php版本是8.2.13: php -v PHP 8.2.13 (cli) (built: Nov 21 2023 09:5…

Prometheus+Grafana主机运行数据

目录 介绍 安装Node Exporter 配置Prometheus 验证配置 导入仪表盘 介绍 Prometheus是一款开源的监控和警报工具&#xff0c;而Node Exporter是Prometheus的一个官方插件&#xff0c;用于采集主机上的各种系统和硬件指标。 安装Node Exporter 下载最新版本的Node Export…

科普文:浮点数精度运算BigDecimal踩坑和填坑

概叙 用过Java的BigDecimal类型&#xff0c;但是很多人都用错了。如果使用不当&#xff0c;可能会造成非常致命的线上问题&#xff0c;因为这涉及到金额等数据的计算精度。 首先说一下&#xff0c;一般对于不需要特别高精度的计算&#xff0c;我们使用double或float类型就可以了…

PHP实现用户认证与权限管理的全面指南

目录 引言 1. 数据库设计 1.1 用户表&#xff08;users&#xff09; 1.2 角色表&#xff08;roles&#xff09; 1.3 权限表&#xff08;permissions&#xff09; 1.4 用户角色关联表&#xff08;user_roles&#xff09; 1.5 角色权限关联表&#xff08;role_permissions…

MySQL之基本查询(下)-表的增删查改

表的增删查改&#xff1a;CRUD : Create(创建), Retrieve(读取)&#xff0c;Update(更新)&#xff0c;Delete&#xff08;删除&#xff09; Update(更新) 语法&#xff1a; UPDATE table_name SET column expr [, column expr ...] [WHERE ...] [ORDER BY ...] [LIMIT ...] …

【观成科技】Websocket协议代理隧道加密流量分析与检测

Websocket协议代理隧道加密流量简介 攻防场景下&#xff0c;Websocket协议常被用于代理隧道的搭建&#xff0c;攻击者企图通过Websocket协议来绕过网络限制&#xff0c;搭建一个低延迟、双向实时数据传输的隧道。当前&#xff0c;主流的支持Websocket通信代理的工具有&#xf…

AnimateLCM:高效生成连贯真实的视频

视频扩散模型因其能够生成连贯且高保真的视频而日益受到关注。然而&#xff0c;迭代去噪过程使得这类模型计算密集且耗时&#xff0c;限制了其应用范围。香港中文大学 MMLab、Avolution AI、上海人工智能实验室和商汤科技公司的研究团队提出了AnimateLCM&#xff0c;这是一种允…

盲盒抽卡机小程序:抽卡机的多样化发展

近几年&#xff0c;盲盒卡牌出现在了大众的生活中&#xff0c;深受学生和年轻消费者的喜爱。卡牌是一种新的盲盒模式&#xff0c;玩家购买后随机获得卡牌&#xff0c;为了收集一整套卡牌&#xff0c;玩家会进行各种复购行为&#xff0c;卡牌逐渐成为了年轻人追捧的休闲方式&…

获取天气数据

获取天气数据其实是一个简单的HTTP接口&#xff0c;根据用户输入的adcode&#xff0c;查询目标区域当前/未来的天气数据&#xff0c;数据来源是中国气象局。 第一步&#xff0c;申请”web服务 API”密钥&#xff08;Key&#xff09;&#xff1b; 链接: 首页 | 高德控制台 (am…

HTTP协议分析/burp/goby/xray

一、HTTP简介 HTTP(超文本传输协议)是今天所有web应用程序使用的通信协议。最初&#xff0c;HTTP只是一个为获取基于文本的静态资源而开发的简单协议&#xff0c;后来人们以名种形式扩展和利用它.使其能够支持如今常见的复杂分布式应用程序。HTTP使用一种用于消息的模型:客户端…

软件产品必须进行确认测试吗?包括哪些测试流程和注意事项?

在当前科技快速发展的时代&#xff0c;软件产品已经成为人们生活和工作中不可或缺的一部分。然而&#xff0c;随着软件产品的增多和复杂性的提升&#xff0c;软件质量的问题也逐渐浮现出来。为了确保软件产品的质量和稳定性&#xff0c;软件产品在开发完成后必须进行确认测试。…

模版初阶(更新)

文章目录 模版介绍函数模版模版匹配规则类模版结言 模版介绍 函数模版分为两个类型&#xff1a; 函数模版类模版 函数模版 语法格式&#xff1a; t e m p l a t e < t y p n a m e T 1 , t y p n a m e T 2... > template<typname T1,typname T2...> template&…

小技巧(更新中)

1.Pycharm使用小技巧pycharm的使用小技巧1---快速找到模块内的函数和类&#xff0c;快速定位查看的模块所在位置_pycharm怎么查找某个函数-CSDN博客 2. Python库之requirments Python库安装之requirements.txt, environment.yml_python requirements-CSDN博客 3.执行.sh脚本的…

N6 word2vec文本分类

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊# 前言 前言 上周学习了训练word2vec模型&#xff0c;这周进行相关实战 1. 导入所需库和设备配置 import torch import torch.nn as nn import torchvision …

10x Visium HD数据分析

–https://satijalab.org/seurat/articles/visiumhd_analysis_vignette 留意更多内容&#xff0c;欢迎关注微信公众号&#xff1a;组学之心 1.数据准备-Seurat Visium HD 数据是由特定空间排列分布的寡核苷酸序列在 2um x 2um 的网格&#xff08;bin&#xff09;中生成的。然…

15. Revit API: Transaction(事务)与 Failures(故障处理)

前言 UI讲完&#xff0c;回到DB这块儿。在Document那篇&#xff0c;提到增删改查操作都是在Document上&#xff0c;是对Documet进行操作。 看到“增删改查”这四个&#xff0c;想到什么了没有&#xff1f; 数据库&#xff08;DB&#xff09;嘛~话说那本经典的红皮数据库的书叫…