偶数科技亮相2023中国程序员节——数据库技术高峰论坛

news2025/1/12 6:51:16

2023年10月24日,由中国软件行业协会主办的“中国程序员节”在北京、深圳、宁波多地同时召开,其中数据库技术高峰论坛在北京举办,偶数科技亮相本次论坛并分享了题为《大模型、实时需求推动湖仓平台走向开放》的主题演讲。

国际局势复杂、科技竞争加速,数据库作为科技发展的根技术之一,在信息管理、决策支持、数据挖掘等方面的重要性日益凸显。为了进一步推动国产数据库技术的发展和应用,本次论坛汇聚了业界专家、学者,围绕多模态、分布式、国产迁移、湖仓一体、开源社区等数据库技术话题开展交流与探讨,增进广大程序员对前沿新技术及应用的深入了解,拓展知识深度。

当下,AI和实时场景的需求不断扩展,AI+实时俨然成为了企业数据平台无法避免的技术焦点。偶数市场总监杨哲就如何让企业如何通过开放的数据平台拥抱AI+实时的双重能力,进行了分享。

图片

偶数给出的破局之道首先是在数据的存储方面采用开放格式的一份数据(如Parquet、ORC、Hudi等)。各个计算引擎都使用开放的数据格式,数据以开放文件格式被写入数据平台,之后就能被多个引擎多次直接读取和使用。

有了存储的开放性,在计算引擎方面,可以尽量优化和减少计算引擎的数量,并针对结构化数据、非结构化数据和流式数据,选用各具优势的计算引擎:

● 针对流数据的计算,采用常见的Flink;

● 针对非结构化数据和机器学习,可以采用Spark;

● 针对结构化数据,需要兼容开放数据格式,兼顾实时查询、离线分析、高并发和高可用的分析引擎,比如偶数的OushuDB。

图片

至此,开放格式,一份数据,多个引擎的架构初步形成,这样的“一数多擎”架构形成了可以破局当前企业数据困境的方案——实时湖仓(Realtime Lakehouse)。“一数多擎”是偶数在多个行业的湖仓一体项目落地中不断迭代的最佳实践,企业在选择多个引擎时一定需要基于“化繁为简”和“扬长避短”原则。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1192807.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

面包机上架亚马逊美国站UL1026测试报告办理

面包机(又称烤面包机)是一种家用电器,用于制作面包、烤饼等食品。在亚马逊美国站销售面包机时,可能需要提供 UL 报告以确保产品安全性。UL1026 是适用于面包机的美国安全标准。 面包机UL1026报告是按照美国国家电气规范NFPA 70所规…

Django生鲜蔬菜采购系统-计算机毕设 附源码 24033

Django生鲜蔬菜采购系统 目 录 摘要 1 绪论 1.1 研究背景 1.2国内外研究现状 1.3论文结构与章节安排 2 生鲜蔬菜采购系统系统分析 2.1 可行性分析 2.1.1 技术可行性分析 2.1.2 经济可行性分析 2.1.3 操作可行性分析 2.2 系统流程分析 2.2.1 数据流程 3.3.2 业务流…

Bean_AOP

Bean 源码 https://github.com/cmdch2017/Bean_IOC.git 获取Bean对象 BeanFactory Bean的作用域 第三方Bean需要用Bean注解 比如消息队列项目中,需要用到Json的消息转换器,这是第三方的Bean对象,所以不能用Component,而要用B…

【Mysql】查询mysql的版本

目录 cmd命令查询 mysql -- help(命令) mysql -u root -p(命令) 数据库管理工具查询 select version(); cmd命令查询 mysql -- help(命令) mysql -u root -p(命令) 执行该命令并且输入数据库密码 数据库管理工具查询 selec…

C++之旅(学习笔记)第6章 基本操作

C之旅(学习笔记)第6章 基本操作 6.1 基本操作 class X{ public:X(Sometype); // "普通的构造函数": 创建一个对象X(); // 默认构造函数X(const X&); // 拷贝构造函数X(X&&); // 移动构造函数X& operator(const …

广州华锐互动:VR互动实训内容编辑器助力教育创新升级

随着科技的飞速发展,教育领域也正在经历一场深刻的变革。其中,虚拟现实(VR)技术为教学活动提供了前所未有的便利和可能性。在诸多的VR应用中,VR互动实训内容编辑器无疑是最具潜力和创新性的一种。广州华锐互动开发的这款编辑器以其独特的功能…

HelloGitHub 社区动态,开启新的篇章!

今天这篇文章是 HelloGitHub 社区动态的第一篇文章,所以我想多说两句,聊聊为啥开启这个系列。 我是 2016 年创建的 HelloGitHub,它从最初的一份分享开源项目的月刊,现如今已经成长为 7w Star 的开源项目、1w 用户的开源社区、全网…

Xshell安装+使用教程

简介 Xshell 是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。 Xshell可以在Windows界面下用来访问远端不…

linux中使用arthas进行jvm内存分析

1. 安装下载 首先在官方github地址选择合适的版本,下载后上传到对于服务器。 使用unzip arthas-bin.zip 解压文件。进入目录中,执行./install-local.sh进行安装。执行完成后提示succeed,即可使用。 2. 启动 进入目录,执行java…

Python大语言模型实战-利用ChatDev框架自动开发一个游戏软件(附完整教程)

实现功能 ChatDev一个由多智能体协作框架,是一个虚拟软件公司,在人类 “用户” 指定一个具体的任务需求后,不同角色的智能体将进行交互式协同,以生产一个完整软件(包括源代码、环境依赖说明书、用户手册等&#xff09…

智汇云舟入选IDC《中国智慧园区解决方案2023年厂商评估》报告

近日,全球领先的市场研究和咨询公司IDC发布报告《中国智慧园区解决方案2023年厂商评估》。报告内,IDC对中国市场具有代表性、且符合评估入围门槛要求的智慧园区解决方案厂商进行了综合评估。智汇云舟凭借在产品、技术等方面的综合优势,与大华…

从事人力资源相关工作,必须要有人力资源证书吗?

人力资源证书不是HR必备,但高含金量的HR证书确实是个加分项,有时候门槛有时候就是一证之隔。 作为人力资源从业者或者打算从事人力行业的同学,如果有意向考证的不妨看看,有哪些证书可以让你真正学以致用?哪些证书可以…

伦敦金冬令时开市时间怎样调整

在刚刚过去的一周,欧美的金融市场已经正式进入了冬令时,这对伦敦金市场的交易时间也产生了影响。由于美国于今年11月5日(星期日)开始正式实施冬令时间,所以香港的伦敦金平台的交易时间也随之而有所调整。 从今年11月6日开始&#…

makefile的基础使用

1、建一个目录: mkdir Makefile/makefile(两个任意一个就可以) 2、用vim打开 3、在makefile里面的写法: 目标文件 : 依赖文件 >小例子: test:test.c [tab]依赖关系 gcc -o test test.c 4、…

win10 下 ros + Qt 工程CMakeLists.txt

win10 下 ros Qt 工程CMakeLists.txt 系统:win10 ros: melodic Qt: 5.12.12 源码目录: D:\workspace\catkin_qt 示例代码 https://github.com/ncnynl/ros-qt.git 由于示例代码是Qt4 ,目前我是用QT5,所以CMakeLists.txt 修改如下 CMakeLists.txt #####…

区块链多链数字钱包开发

随着区块链技术的不断发展,多链数字钱包的开发逐渐成为热门领域。多链数字钱包是一种可以支持多种区块链网络的数字钱包,用户可以使用它来存储、管理和转移不同的数字资产。本文将探讨多链数字钱包的开发背景、市场需求、技术实现和未来趋势等方面。 一、…

AI编程工具:一站式编程解决方案,引领AI编程新时代

在人工智能的巨浪之下,编程领域正在经历一场深刻的转型。这场转型的核心,就是AI智能编程工具的出现。它们为开发者提供了一种全新的编程方式,极大地提高了编程效率。在这场变革中,DevChat无疑是引领者之一。 一、DevChat&#xf…

2011年03月31日 Go生态洞察:Godoc —— Go代码的文档化

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

98 多数元素

多数元素 题解1 哈希表题解2 Boyer-Moore 投票算法 给定一个大小为 n 的数组 nums ,返回其中的多数元素。多数元素是指在数组中出现次数 大于 ⌊ n / 2 ⌋ ⌊ n/2 ⌋ ⌊n/2⌋ 的元素。 你可以假设数组是非空的,并且给定的数组总是存在多数元素。 示例…

外部访问K8S集群内部的kafka集群服务

不许转载 kafka 部署 把 kafka 部署到 k8s 后,我们肯定是通过 service 从 k8s 外部访问 kafaka。这里的 service 要么是 NodePort, 要么是 LoadBalancer 类型。我们使用的方式是 LoadBalancer。 我们先看下面这张图,这是 kafka 在集群中的网…