Databend 开源周报第 115 期

news2024/11/19 3:33:35

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

聚合索引

Databend 最近引入了 聚合索引 以提高查询性能,特别是涉及 MIN、MAX 和 SUM 等聚合查询的场景下。聚合索引使用预计算和独立存储查询结果等技术,从而消除了扫描整个表的需要,加快了数据检索速度。

此外,该特性还附带刷新机制,支持按需更新和保存最新查询结果,从而保持数据的准确性和可靠性。Databend 建议在执行相关查询之前手动刷新聚合索引,以检索最新的数据;如果使用 Databend Cloud 则支持自动刷新聚合索引。

-- Create an aggregating index
CREATE AGGREGATING INDEX my_agg_index AS SELECT MIN(a), MAX(c) FROM agg;

-- Refresh the aggregating index
REFRESH AGGREGATING INDEX my_agg_index;

聚合索引 需要升级至 企业版 。如需了解升级信息,请联系 Databend 团队 。

如果您想了解更多信息,请查看下面列出的资源。

  • Docs | AGGREGATING INDEX

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

MERGE INTO 流水线全景图

前段时间,Databend 实现了对 MERGE INTO 语句的支持,以提供更全面的数据维护能力。对其中原理感兴趣的小伙伴,可以查看下面的 MERGE INTO 流水线全景图。

                                                                                                                                              +-------------------+
                                                                                       +-----------------------------+    output_port_row_id  |                   |
                                          +-----------------------+     Matched        |                             +------------------------>-ResizeProcessor(1)+---------------+
                                          |                       +---+--------------->|    MatchedSplitProcessor    |                        |                   |               |
                                          |                       |   |                |                             +----------+             +-------------------+               |
       +----------------------+           |                       +---+                +-----------------------------+          |                                                 |
       |   MergeIntoSource    +---------->|MergeIntoSplitProcessor|                                                       output_port_updated                                     |
       +----------------------+           |                       +---+                +-----------------------------+          |             +-------------------+               |
                                          |                       |   | NotMatched     |                             |          |             |                   |               |
                                          |                       +---+--------------->| MergeIntoNotMatchedProcessor+----------+------------->-ResizeProcessor(1)+-----------+   |
                                          +-----------------------+                    |                             |                        |                   |           |   |
                                                                                       +-----------------------------+                        +-------------------+           |   |
                                                                                                                                                                              |   |
                                                                                                                                                                              |   |
                                                                                                                                                                              |   |
                                                                                                                                                                              |   |
                                                                                                                                                                              |   |
                                                                             +-------------------------------------------------+                                              |   |
                                                                             |                                                 |                                              |   |
                                                                             |                                                 |                                              |   |
         +--------------------------+        +-------------------------+     |         ++---------------------------+          |     +--------------------------------------+ |   |
+---------+ TransformSerializeSegment<--------+ TransformSerializeBlock <-----+---------+|TransformAddComputedColumns|<---------+-----+TransformResortAddOnWithoutSourceSchema<-+   |
|         +--------------------------+        +-------------------------+     |         ++---------------------------+          |     +--------------------------------------+     |
|                                                                             |                                                 |                                                  |
|                                                                             |                                                 |                                                  |
|                                                                             |                                                 |                                                  |
|                                                                             |                                                 |                                                  |
|          +---------------+                 +------------------------------+ |               ++---------------+                |               +---------------+                  |
+----------+ TransformDummy|<----------------+ AsyncAccumulatingTransformer <-+---------------+|TransformDummy |<---------------+---------------+TransformDummy <------------------+
|          +---------------+                 +------------------------------+ |               ++---------------+                |               +---------------+
|                                                                             |                                                 |
|                                                                             |  If it includes 'computed', this section        |
|                                                                             |  of code will be executed, otherwise it won't   |
|                                                                             |                                                 |
|                                                                            -+-------------------------------------------------+
|
|
|
|        +------------------+            +-----------------------+        +-----------+
+------->|ResizeProcessor(1)+----------->|TableMutationAggregator+------->|CommitSink |
        +------------------+            +-----------------------+        +-----------+

如果您想了解更多信息,请查看下面列出的资源。

  • PR #13036 | chore: draw merge into pipeline

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 为 MERGE INTO 实现自动聚合和自动 compact 支持。
  • SQLsmith 现在可以覆盖 DELETE、UPDATE、ALTER TABLE 和 CAST 。
  • 新增 json_each 和 json_array_elements 等半结构化数据处理函数。
  • 新增 to_week_of_year 和 date_part 等时间日期函数,可以阅读 Docs | Date & Time Functions 了解更多细节。
  • 阅读 Sending IoT Stream Data to Databend with LF Edge eKuiper 了解如何将 Databend 与 eKuiper 集成,以应对日益增长的 IoT 数据分析需求。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

增强基于角色的访问控制能力

目前,Databend 的访问控制体系由基于角色的访问控制(RBAC)和自主访问控制(DAC)两部分组成。然而,为了进一步完善这套体系,还需要完成一些后续工作。

我们计划在 2023 Q4 支持对更多未覆盖资源的权限检查,并且制定相应的权限定义指南。

Issue #13207 | Tracking: RBAC improvement plan in 2023 Q4

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。 

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend Website
  • GitHub Discussions
  • Twitter
  • Slack Channel

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1105835.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

再现ORA-600 4000故障处理---惜分飞

有一个10g的库&#xff0c;由于redo损坏导致无法正常recover成功 正常途径无法open成功,尝试强制打开库 Wed Oct 18 11:23:25 2023 alter database open resetlogs Wed Oct 18 11:23:25 2023 RESETLOGS is being done without consistancy checks. This may result in a corr…

端到端测试(End-to-end tests)重试策略

作者&#xff5c;Giuseppe Donati&#xff0c;Trivago公司Web测试自动化工程师 整理&#xff5c;TesterHome 失败后重试&#xff0c;是好是坏&#xff1f; 为什么要在失败时重试所有测试&#xff1f;为什么不&#xff1f; 作为Trivago&#xff08;德国酒店搜索服务平台&…

Cesium Vue(四)— 物体(Entity)的添加与配置

1. 添加标签和广告牌 // 添加文字标签和广告牌var label viewer.entities.add({position: Cesium.Cartesian3.fromDegrees(113.3191, 23.109, 750),label: {text: "广州塔",font: "24px sans-serif",fillColor: Cesium.Color.WHITE,outlineColor: Cesium.…

什么是美颜SDK?解析主播直播美颜SDK的技术原理与应用

当下&#xff0c;越来越多的主播和内容创作者依赖直播平台来与观众互动、分享内容和实时传达信息。然而&#xff0c;为了在激烈的竞争中脱颖而出&#xff0c;许多主播需要借助美颜技术来提高他们的外貌吸引力。这就引入了主播直播美颜SDK&#xff0c;一个结合了技术原理与应用的…

链表 oj2 (7.31)

206. 反转链表 - 力扣&#xff08;LeetCode&#xff09; 我们通过头插来实现 将链表上的节点取下来&#xff08;取的时候需要记录下一个节点&#xff09;&#xff0c;形成新的链表&#xff0c;对新的链表进行头插。 /*** Definition for singly-linked list.* struct ListNode…

2024年湖北建筑安全员abc三类人员考试新题库考试题库

2024年湖北建筑安全员abc三类人员考试新题库考试题库 湖北三类人员建筑安全员ABC证新题库是存在的&#xff0c;因为安管系统老更新&#xff0c;每次更新后&#xff0c;新题库&#xff08;重点题库&#xff09;就会有所变化。新题库主要是针对考试的&#xff0c;提高考试合格率…

基于selenium的pyse自动化测试框架

介绍&#xff1a; pyse基于selenium&#xff08;webdriver&#xff09;进行了简单的二次封装&#xff0c;比selenium所提供的方法操作更简洁。 特点&#xff1a; 默认使用CSS定位&#xff0c;同时支持多种定位方法&#xff08;id\name\class\link_text\xpath\css&#xff09;…

新工控机的基本配置过程

我们50水球上的工控机使用的是&#xff1a;英特尔 NUC10i7FNH 迷你电脑&#xff08;通过查看铭牌获知&#xff09;。对应官网&#xff1a; https://www.intel.cn/content/www/cn/zh/support/products/188811/intel-nuc/intel-nuc-kits/intel-nuc-kit-with-10th-generation-inte…

【temu】分析拼多多跨境电商Temu数据分析数据采集

Temu是拼多多旗下跨境电商平台&#xff0c;于2022年9月1日在美国、加拿大、新加坡、中国台湾、中国香港等市场上线。本文作者从销售额、销量、产品分布等方面&#xff0c;对Temu产品进行了分析&#xff0c;一起来看一下吧。 item_get获得商品详情item_review获得商品评论列表it…

线上购药小程序的崭新时代:医疗与科技的完美结合

在当今数字化时代&#xff0c;医疗和科技的融合已经催生了许多创新的解决方案&#xff0c;其中线上购药小程序正是医疗与科技完美结合的杰出代表。在这篇文章中&#xff0c;我们将一起探讨如何使用现代技术来创建一个简单的线上购药小程序原型&#xff0c;以展示医疗和科技的崭…

Mysql 约束,基本查询,复合查询与函数

文章目录 约束空属性约束默认值约束zerofill主键约束自增长约束唯一键约束外键约束 查询select的执行顺序单表查询排序 updatedelete整张表的拷贝复合语句group by分组查询 函数日期函数字符串函数数学函数其他函数 复合查询合并查询union 约束 空属性约束 两个值&#xff1a…

springcloud之项目实战服务治理

写在前面 在这篇文章 我们已经搭建完成了优惠券模块的单体版本&#xff0c;为了向微服务化迈出坚实的一步&#xff0c;这部分来看下服务治理的内容&#xff0c;并在我们的项目中引入服务治理&#xff0c;下面我们就开始吧&#xff01; 源码 。 1&#xff1a;什么是&#xff…

基于Java公益志愿捐赠管理系统设计与实现(源码+LW+调试+开题报告)

项目描述 临近学期结束&#xff0c;还是毕业设计&#xff0c;你还在做java程序网络编程&#xff0c;期末作业&#xff0c;老师的作业要求觉得大了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等。这里根据疫情当下&#xff0c;你想解决的问…

卡尔曼滤波器融合六轴IMU数据

卡尔曼滤波 卡尔曼滤波是一种常用的状态估计方法&#xff0c;其基本原理是对系统状态进行最优估计。其主要思想是将系统的状态分为先验状态和后验状态&#xff0c;通过将先验状态和观测值进行加权平均&#xff0c;得到最优估计状态。 卡尔曼滤波增益的计算是使后验误差协方差…

程序员工作5年,还是个中级程序员,如何再快速晋升?

我曾经就是这个状态&#xff0c;5年工作经验就像是一年工作经验用了5年。职业生涯遇到了瓶颈&#xff0c;无法突破。分析原因有很多&#xff0c;一方面是基本功没练好&#xff0c;像操作系统底层、数据结构、算法、计算机网络这些计算机基础知识掌握的不扎实&#xff0c;不能灵…

vue项目的创建——总结版

目录 前提&#xff1a; 一、vue项目的创建 二、浏览项目页面 三、vue项目目录文件含义和作用 ​四、修改端口号 前提&#xff1a; 首先要有Node.js环境。 1.安装vue npm install vue 2.命令行工具&#xff08;CLI&#xff09;为单页面应用快速搭建繁杂的脚手架 npm in…

vulnhub之MATRIX-BREAKOUT 2 MORPHEUS

信息收集 输入命令&#xff1a;arp-scan 192.168.239.0/24&#xff0c;探测存活主机&#xff0c;发现192.168.239.185 对存活主机进行端口扫描&#xff0c;发现&#xff1a;22、80、81端口 浏览器访问http://192.168.239.185:81是一个登录界面 浏览器访问http://192.168.239.…

大模型携手AI原生应用融入产业场景

前言 10月17日&#xff0c;百度世界2023在北京首钢园召开。百度集团执行副总裁、百度智能云事业群总裁沈抖宣布&#xff0c;对“云智一体”的战略内涵全面升级&#xff0c;即云智一体&#xff0c;深入产业&#xff0c;生态繁荣&#xff0c;AI普惠。重磅发布“千帆AI原生应用开…

ASO优化之增加APP应用下载安装量的技巧1

想要增加APP应用的下载安装量&#xff0c;首先要在发布之前&#xff0c;分析我们的应用推广策略该如何运作并进行调整。提高知名度的基础是关键词&#xff0c;其次使用社交网络来推广我们的应用程序。 1、基础与规划。 在启动应用程序或者是实行ASO计划之前&#xff0c;需要了…

6-3 用链栈实现将非负的十进制数转换为指定的进制数【有题解视频,可本地编译器调试】 分数 15

int DecimalConvert(LinkStack s, int dec, int scale) {while (dec){if (LinkStackPush(s, dec % scale))dec dec / scale;elsereturn 0;}return 1; }