偶数科技发布实时湖仓数据平台 Skylab 5.0

news2024/11/29 8:55:00

2023 年 4 月 11 日, 偶数发布了最新的实时湖仓数据平台 Skylab 5.0,平台各个组件进行了全面升级。新版 Skylab 的发布标志着偶数科技具有从数据存储、计算、管理到分析、应用和 AI 能力的完整的数据管理生态闭环,帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。依托 Skylab,用户可以轻松实现智慧营销、智能风控、智慧审计、智慧监管等数据应用场景。

Skylab 核心组件包括云原生分布式数据库 OushuDB、自动化机器学习平台 LittleBoy、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、数据开发与调度平台 Flow、数据工厂 Wasp 和系统管理软件 Lava。

OushuDB

OushuDB 是由偶数科技自主研发的云原生分布式数据库,具有高性能、高并发、高可用的技术优势。OushuDB 兼容国产软硬件平台,符合国家信创标准。新一代执行器显著提升批处理和按需即席查询效率,面向 PB 级大数据的复杂查询,OushuDB 相比传统 MPP 和 SQL-on-Hadoop 快一个数量级。采用计算存储分离架构深度优化数据库的扩展能力,支持腾讯云、阿里云、华为云、金山云、微软 Azure、AWS 等主流云平台,充分满足云端应用高度弹性、无限扩容的要求。OushuDB 的 5.1 版本通过对接 Hive 元数据,可以原生使用 Hive 存储在 HDFS 的数据。同时,偶数分布式表存储 Magma 的稳定性和性能也进一步增强。另外,新版本增加了对 Copy to/from HDFS 协议 URL 的完整支持,以及对 Text/Csv 格式、GZ 压缩类型的支持。

LittleBoy

LittleBoy 自动化机器学习平台提供完整的 MLOps 链路,集成数据清洗、特征工程、深度学习、AutoML、模型管理和 AI 服务。其可视化交互可通过拖拽、对话引导等方式帮助用户清晰直观建模。LittleBoy 同时支持有监督学习和无监督学习,近百种内置算法满足不同场景建模需求。结合 OushuDB 高性能读写速度,LittleBoy 相比同类产品大幅提升模型收敛效率,帮助分析师和数据科学家将机器学习快速转化为业务价值。

Kepler

Kepler 是一款功能强大且简单易用的数据分析与应用平台,满足不同行业的数据开发、分析、应用等复合需求。通过横向打通指标、标签、报表、模型四种数据资产,实现不同类型数据的资产共享。作为 Skylab 的数据访问和应用的通道,Kepler 将海量数据分析与应用的性能发挥到极致。

Orbit

Orbit 数据资产管理平台为用户提供可视化的数据资产图谱、自动化的数据资产分类、多维度的数据血缘分析,以及可持续的数据标准贯彻实施。通过对存量和新增的数据资产进行全方位的规划管理,为企业搭建领先的数据运营体系,减少数据污染和治理成本,提高数据可见性和使用效率,助力数字经济下的数据确权和定价,加快数据要素流通。

Flow

Flow 是一款拥有强大 Web 界面交互能力的数据开发与调度平台,为 Skylab 平台提供任务调度能力。Flow 不仅支持丰富的任务类型,还拥有百万级任务节点的前端交互能力,灵活实现大规模集群任务的调度服务。支持作业重跑、单点跑以及下游跑等多种运行模式,既可以查看实时运行日志也可以追溯历史任务。通过任务、任务组、作业、作业空间等资源组织,可实现多级别并发和优先级配置。

Wasp

Wasp 数据工厂可以轻松对接多种数据源,灵活可扩展。支持存量和增量同步、离线和实时持续同步、自动和定时同步、数据容错和断点续传。用户可以通过零代码可视化操作进行一套任务的批流数据加工,Wasp 在保证数据一致性的同时,为用户提供高性能、高吞吐的数据加工和同步。

Lava

Lava 负责 Skylab 平台集群管理、监控运维、用户管理、认证、审计、权限、消息等基础服务。通过灵活可扩展的技术架构、云中立的技术路线,为用户提供简单易用、安全可靠、性能稳定的系统管理服务。降低运维成本,提高管理效率。

除了完整的生态组件,偶数 Skylab 平台还率先实现了湖仓一体 ANCHOR 标准六大特性,通过虚拟计算集群技术,真正在数据和查询层面形成一体化架构。在超大规模集群上支持高并发,保障事务支持,提供实时能力,实现一个技术平台、一份业务数据、一份元数据。通过偶数首创的 Omega 架构保障了 ANCHOR 的实时优势特性,形成了具备全实时能力的实时湖仓数据平台。

● All Disparate Data 多源异构数据

● Native on Cloud 云原生

● Consistency 数据一致性

● High Concurrency 超高并发

● One Copy of Data 一份数据

● Real-time 实时 T+0

随着全行业数字化转型进入深水区,企业也必然要面临诸多技术挑战,针对企业 IT 系统尤其是数据平台技术栈越来越复杂,运维操作越来越繁琐,数据应用链路越来越冗长等问题,偶数通过 Skylab 一个平台将这些复杂、繁琐和冗长的 IT 难题化繁为简,通过实时湖仓一体架构实现完整的数据管理生态闭环。用更先进的技术和更少的成本,为企业带来全实时的洞察力、更智能的决策、更快的应用集成,助力企业数字化转型。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/422977.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

贴完车衣开车就走?

贴完车衣之后,你以为直接开走就好了吗? 大错特错!!! 正确流程,记得收藏起来! 1:膜开箱:这个当场开箱,防止偷梁换柱 2:装贴过程:确认施…

损失函数(Loss Function)一文详解-分类问题常见损失函数Python代码实现+计算原理解析

目录 前言 一、损失函数概述 二、损失函数分类 1.分类问题的损失函数 1.交叉熵损失函数(Cross Entropy Loss) 2.Hinge损失函数 3.余弦相似度损失函数(Cosine Similarity Loss) 4.指数损失函数(Exponential Los…

Next.js Polygon, Solidity,The Graph,IPFS,Hardhat web3博客系统

参考 源文档The Complete Guide to Full Stack Web3 Development - DEV Community 源码,源文章里的github项目无法直接运行,经过修改后可mac中可用GitHub - daocodedao/web3-blog: https://linzhji.blog.csdn.net/article/details/130125634 框架 博客…

python pandas数据处理excel、csv列转行、行转列(具体示例)

一、数据处理需求 对Excel或CSV格式的数据,我们经常都是使用pandas库读取后转为DataFrame进行处理。有的时候我们需要对其中的数据进行行列转换,但是不是简单的行列转换,因为数据中有重复的数据属性。比如我们的数据在Excel中的格式如下: 那么,我们如何将上面的数据格式转…

2023爱分析·商业智能应用解决方案市场厂商评估报告:数聚股份

目录 1. 研究范围定义 2. 商业智能应用解决方案市场分析 3. 厂商评估:数聚股份 4. 入选证书 1. 研究范围定义 商业智能(BI)是在实现数据集成和统一管理的基础上,利用数据存储和处理、分析与展示等技术,满足企…

Java多线程案例-Java多线程(3)

各位观众老爷们, 创作不易, 多多支持😶‍🌫️🙏😘 字数11223, 时间:2023年4月16日11:19:58 状态: 精神恍恍惚惚, 想打游戏🥵 目录(点击传送) 单例模式 饿汉模式 懒汉模式 单线程版 多线程版 阻塞队列 什么是阻塞队…

助力工业物联网,工业大数据之ODS层及DWD层建表语法【七】

文章目录ODS层及DWD层构建01:课程回顾02:课程目标03:数仓分层回顾04:Hive建表语法05:Avro建表语法ODS层及DWD层构建 01:课程回顾 一站制造项目的数仓设计为几层以及每一层的功能是什么? ODS&am…

Pytorch-gpu的安装

1.先安装cuda和cudnn 推荐安装cuda11.3和cuda10.2,因为这两个版本用的多。 安装教程可以看我的另一篇文章: cuda和cudnn安装教程 2.安装对应版本的Pytorch Pytorch的版本需要和cuda的版本相对应。具体对应关系可以去官网查看。这里先附上一张对应关系…

openpnp - 顶部相机 - 辅助光(环形灯)的电路原理图

文章目录openpnp - 顶部相机 - 辅助光(环形灯)的电路原理图概述ENDopenpnp - 顶部相机 - 辅助光(环形灯)的电路原理图 概述 同学帮我做的简易灯板设计不太合理, 发热量极大. 想看看商用的环形灯电路啥样的, 如果有可能, 自己做块灯板, 塞进商用环形灯外壳中. 拆解了一个环形灯…

数据库备份

数据库备份,恢复实操 策略一:(文件系统备份工具 cp)(适合小型数据库,是最可靠的) 1、停止MySQL服务器。 2、直接复制整个数据库目录。注意:使用这种方法最好还原到相同版本服务器中&…

【图像分类】【深度学习】ViT算法Pytorch代码讲解

【图像分类】【深度学习】ViT算法Pytorch代码讲解 文章目录【图像分类】【深度学习】ViT算法Pytorch代码讲解前言ViT(Vision Transformer)讲解patch embeddingpositional embeddingTransformer EncoderEncoder BlockMulti-head attentionMLP Head完整代码总结前言 ViT是由谷歌…

Spring Boot+Vue实现Socket通知推送

目录 Spring Boot端 第一步,引入依赖 第二步,创建WebSocket配置类 第三步,创建WebSocket服务 第四步,创建Controller进行发送测试 Vue端 第一步,创建连接工具类 第二步,建立连接 ​编辑 第三步&a…

xxl-job-2.3.1 本地编译jar包并部署

参考网上其他文章,总结步骤 一、官网地址 分布式任务调度平台XXL-JOB 二、源码地址 github: GitHub - xuxueli/xxl-job: A distributed task scheduling framework.(分布式任务调度平台XXL-JOB) gitee: xxl-job: 一个分布…

k8s v1.26.2 安装部署步骤

准备 开通端口 master需要开通的端口: TCP: 6443 2379 2380 10250 10259 10257 ,10250 30000~30010(应用) node需要开通的端口: TCP: 10250 30000~30010(应用) master加端口 firewall-cmd --permanent --add-port6443/tcp firewall-cmd --permanent --add-port2379/tcp fir…

数据库学习笔记 概念数据库的设计(2)

回顾上节课的内容 数据库的设计:概念设计:抽取实体和联系 逻辑设计:设计模式 设计模式 物理设计:设计数据库的内模式 和存储和存取相关的配置 sql创建索引可以做分表 将所有学生存入一张表或者每个学院一个表 根据某种条件进行分表 CSstudent 实体联系模型 叫ER图 实体(矩形)和…

城乡供水信息化平台建设-构建智慧美丽乡村

建设方案 城乡供水信息化系统是运用云计算、大数据等信息化手段,借助在线监测设备,并依托“城乡供水信息化平台”,实时感知供水系统的运行状态,实现对农村供水工程远程监控、在线监测、实时预警、智慧监管。 系统功能 水源地监测&…

springboot+vue职称评审管理系统(源码+文档)

风定落花生,歌声逐流水,大家好我是风歌,混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的职称评审管理系统。项目源码请联系风歌,文末附上联系信息 。 目前有各类成品java毕设,需要请看文末联系方式 …

OSPF出口设计

1.合理规划OSPF区域,使得办公网络发生变化时服务器区域(R7)路由表不会发生变化,写出两种方案,请详细描述该方案? OSPF区域规划如下: 核心路由器和汇聚路由器之间所有链路工作在区域0骨干区域,而办公网络接入路由器和汇聚路由器之间链路工作在区域10;服务器网络接入路由…

Java集合类源码阅读(一)

文章目录一. Iterator(迭代器)1. Iterator源码2. ListIterator源码二. Collection三. List四. Vector在阅读源码之前,我们首先需要知道,java集合的一个继承关系图,如下所示然后按照个集合关系图,逐步阅读源…

onnxruntime 运行过程报错“onnxruntime::Model::Model Unknown model file format version“

背景 这几天在玩一下yolov6,使用的是paddle框架训练的yolov6,然后使用paddl 转成onnx,再用onnxruntime来去预测模型。由于是在linux服务器上转出来 的onnx模型,并在本地的windows电脑上去使用,大概就是这样的一个情…