偶数科技发布实时湖仓数据平台Skylab 5.3版本

news2024/12/28 17:43:33

近日, 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品,分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava,在本次的新版本升级中以上全线产品都进行了更新。

在已经具备完整生态组件的基础上,Skylab 本次升级进一步提升了生态扩展能力,在数据的开放存储格式、应用分析的多数据源接入等方面都做了优化,比如新增对 Hudi 开放存储格式的原生支持,以及接入更多数据库类型作为数据分析和应用的数据源。

接下来让我们一起了解下 Skylab 5.3 各组件的更新情况。

云原生分布式数据库 OushuDB 5.2 更新

继上一个版本可以原生使用 Hive 存储在 HDFS 的数据,OushuDB 5.2 实现了原生支持 Hudi 存储格式,提供了更多开放的数据格式,实现了“一数多擎”,即多个引擎共享同一份数据,也为客户在落地湖仓一体提供了更多可选方案。

存算分离的数据库架构必然需要在计算节点做数据缓存,OushuDB 5.2 的 Magma 表实现了计算节点数据缓存,极大提升查询速度。

OushuDB 的客户端 Worksheet 在本次升级中对性能、功能和交互体验都做了优化。功能方面,Worksheet 支持同时展示多条 SQL 查询结果,支持在创建对象时选择表空间、表压缩及压缩比;支持数十万表的查询与展示,客户端性能进一步提升;Worksheet 在导入导出数据及脚本、SQL 语法提示、历史版本搜索、报错方式等方面都进行了交互优化。

OushuDB 5.2 还完善了数据库审计功能,此外还支持自动统计信息收集,用户可以不再通过 Analyze 来发数据统计信息。

数据工厂 Wasp 5.3 更新

新版本的 Wasp 在产品易用性上进行了大幅提升,用户可以仅配置一次任务就将整个库的数十万张表进行同步,极大的提升效率,同时,Wasp 还支持可视化数据清洗与流计算的配置,提升了产品易用性。

除了已经支持的Oracle、MySQL、DB2、PostgreSQL等数据源,还新增支持 Sybase、KingBase等数据源。CDC 支持无主键源表同步场景,规避了数据同步可能面临的数据冲突和重复问题。

数据资产管理平台 Orbit 2.2 更新

Orbit 新增主数据管理模块。主数据管理模块是一种关键的企业管理工具,通过主数据模型和主数据服务,集中管理和维护企业中的主数据,提高数据一致性、准确性和可用性,帮助组织整合不同的业务流程和系统,各个部门和系统可以基于相同的数据进行工作,从而提高业务流程的协同效率。

此外,相较上一个版本,Orbit在元数据采集、数据资产发布及撤销、元数据删除等方面做了进一步优化,大幅提升处理性能和操作体验。

数据资产目录和元数据目录“主页”展示可视化的统计信息

数据分析与应用平台 Kepler 4.0 更新

新版本 Kepler 在多数据源接入、血缘详情展示和报表开发几个方面做了大幅优化。

支持 MySQL 和 OushuDB 等多种数据源,为用户提供了更多的接入方式,并根据不同数据源对指标、标签、报表、数据可视化、数据工厂等功能进行优化。血缘节点增加指标、事实、维度、数据库表等详情展示,让用户迅速了解血缘信息。

报表开发方面,新增单元格批量设置、字段生成表头、表级节点拖入。

数据可视化模块添加水球图、数据文字云类型图表。

自动化机器学习平台 LittleBoy 5.0 更新

新版本 LittleBoy 在现有的丰富算子的基础上,形成了特殊算子的定制能力,如对数据字段进行加密算子和解密算子,这也意味着 LittleBoy 对不同行业和场景的生态扩展能力逐步增强。

数据开发与调度平台 Flow 5.3 更新

提供批次相关功能,支持追批、自定义批次标签。用户可以通过批次来管理任务的周期执行(如以天、周为周期),更好的应对业务分批执行需求的支持,为作业调度的开发提供便利。

系统管理软件 Lava 5.3 更新

Lava 提供了升级框架,用户可以通过升级脚本一键升级 Wasp、Flow、Worksheet。新版本增加了 OushuDB 监控页面,展示集群拓扑结构、执行中的SQL、会话和锁信息等。

偶数 Skylab 是一个拥有海量数据存储、计算、分析、应用和 AI 能力的实时湖仓数据平台,提供完整的数据管理生态闭环,帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。依托 Skylab,用户可以轻松实现智慧营销、智能风控、智慧审计、智慧监管等数据应用场景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/820894.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

vscode如何包含第三方库

方法1:使用C Extension 在include 的 rapidjson的头文件时,vscode会提示找不到的问题 悬停,点击黄色提示 Edit "includePath" setting Include Path,输入rapidjson的include路径 /Users/xxx/workspaces/rapidjson-1.1.…

服务器出入口IP通俗理解

一、出口IP 这是机房的网络设备(如防火墙)给内网主机生成的一个外网IP,用来保证内网主机能和其他公网主机进行来回通信,通常作为其他接入方的IP白名单使用,一般有几台内网主机就有几个出口IP,出口IP通常和入…

TSINGSEE青犀视频AI算法引擎中台在渣土车智慧管控场景中的应用

一、行业背景 随着社会的发展和人们生活水平的不断进步,大家对环境卫生和空气质量的要求越来越重视。渣土车是建筑垃圾的运输主力,也存在行驶频繁、不合规、不合法的操作,可能对交通安全、环境卫生和城市形象造成影响。比如在施工工地&#x…

Django音乐电台推荐系统【纯干货分享,免费领源码00750】

摘要 科技进步的飞速发展引起人们日常生活的巨大变化,电子信息技术的飞速发展使得电子信息技术的各个领域的应用水平得到普及和应用。信息时代的到来已成为不可阻挡的时尚潮流,人类发展的历史正进入一个新时代。在现实运用中,应用软件的工作规…

【云原生】K8S超详细概述

目录 一、Kubernets概述1.1 K8S什么1.2为什么要用K8S 二、Kubernetes 集群架构与组件2.1Master组件Kube-apiserverKube-controller-managerKube-scheduler 2.2 配置存储中心etcd 2.3 Node 组件KubeletKube-Proxydocker 或 rocket 三、 Kubernetes 核心概念3.1Pod3.2Pod 控制器K…

WPF上位机5——C#运算符、特性、反射

C#运算符 按位操作 特性 预定义特性(内置) 自定义特性 通过特性获得数据表列的名称 反射 通过反射创建对象并调用对象的方法

【Vue组件eval方法的使用】

Vue页面中条件可以放在当前vue页面中而无需影响到组件 如 这是我的表格操作列按钮,需求是第四个按钮如果表格当前数据的is_execl字段为0则显示否则隐藏 这种条件判断很频繁 如果像之前一样给一个标识,页面多了就难以维护,而且判断条件如果不…

使用docker部署Wordpress

文章目录 1.创建网络2.创建volume存储3.拉取镜像4.创建mysql容器mysql修改密码 5.创建wordpress容器6.访问localhost:80就可以直接使用啦 1.创建网络 docker network create --subnet172.18.0.0/24 pro-net2.创建volume存储 # mysql 存储 docker volume create volume_mysql…

程序员成长之路心得篇——高效编码诀窍

随着AIGC的飞速发展,程序员越来越能够感受到外界和自己的压力。如何能够在AI蓬勃发展的时代不至于落后,不至于被替代?项目的开发效率起了至关重要的作用。 首先提出几个问题: 如何实现高效编程?高效编程的核心在于哪里&#xff…

无涯教程-Lua - 变量声明

变量的名称可以由字母,数字和下划线字符组成。它必须以字母或下划线开头,由于Lua区分大小写,因此大写和小写字母是不同的。 在Lua中,尽管无涯教程没有变量数据类型,但是根据变量的范围有三种类型。 全局变量(Global) …

功率信号源的输出阻抗是多大的

功率信号源是一种产生高功率信号的电子设备,它通常用于测试和测量、无线电通信、音频系统等领域。在实际应用中,功率信号源的输出阻抗对于整个电路的性能和准确性非常重要。 输出阻抗是指电路输出端产生的电阻值。在功率信号源中,输出阻抗通常…

【Linux详解】——进程间通信

📖 前言:本期介绍进程间通信。 目录 🕒 1. 理解进程间通信🕘 1.1 什么是通信🕘 1.2 为什么要有通信🕘 1.3 如何进行进程间通信 🕒 2. 管道🕘 2.1 匿名管道🕤 2.1.1 回顾文…

SpringBoot2学习笔记

信息来源:https://www.bilibili.com/video/BV19K4y1L7MT?p5&vd_source3969f30b089463e19db0cc5e8fe4583a 作者提供的文档:https://www.yuque.com/atguigu/springboot 作者提供的代码:https://gitee.com/leifengyang/springboot2 ----…

自动化测试指南:什么该自动化什么不该自动化

除了测试,测试数据创建、需求跟踪和测试报告等任务也可自动化。 什么应该被自动化? 与人工测试相比,具备明显收益如果失败会对业务造成相当大的损失的业务功能或用户流;自动化测试有助于经常验证这些功能。 需要针对应用程序的每个…

myeclipse的Debug模式

1.表示当前实现继续运行直到下一个断点,快捷键为F8。 2.表示打断整个进程 3.表示进入当前方法,快捷键为F5。 4.表示运行下一行代码,快捷键为F6。 5.表示退出当前方法,返回到调用层,快捷键为F7。 6.表示当前线程的…

硬核来袭!中国AI大模型峰会“封神之作”,开发者们不容错过!

2023年全球AI浪潮迭起,大语言模型热度空前,生成式人工智能为千行百业高质量发展带来更多想象空间。作为前沿科技风向标、汇聚全球开发者的顶级盛会,WAVE SUMMIT 2023深度学习开发者峰会正式定档8月16日,在北京望京凯悦酒店召开。本…

PCB制版技术03

5.21 P(W)改变折线 5.22 点击右键可以拐弯,点击左键可以取消 5.23 这三个点,代表着连接在一起的意思 5.24 把这个电阻和线一连 5.25 点一下,然后把点给拉回来 5.26 连接三极管,十电阻 5.27 对齐和对称就能够感觉很舒服&#xff0c…

Google OAuth 2 authorization - Error: redirect_uri_mismatch 400

出现这个问题,一般是因为google授权origin地址和重定向redirect_uri地址没有匹配上。 请仔细检查重定向地址的url中origin部分和授权origin部分是否能够匹配:

#P0995. [NOIP2005普及组] 循环

题目描述 乐乐是一个聪明而又勤奋好学的孩子。他总喜欢探求事物的规律。一天,他突然对数的正整数次幂产生了兴趣。 众所周知,22 的正整数次幂最后一位数总是不断的在重复 2,4,8,6,2,4,8,6…2,4,8,6,2,4,8,6… 我们说 22 的正整数次幂最后一位的循环长度…

新《生产建设项目水土保持方案审查要点》要求下全流程水土保持应用

目录 专题一 水土保持常用法律法规、规范及文件解读 专题二 水土保持方案及监测、验收开展的流程 专题三 水土保持需要收集的资料 专题四 水土保持现场踏勘需要注意的事项 专题五 常见水土保持工程施工工艺流程 专题六 《生产建设项目水土保持方案审查要点》(…