Databend 开源周报 #69

news2024/11/25 23:12:26

Databend 是一款强大的云数仓。专为弹性和高效设计,自由且开源。

即刻体验云服务:https://app.databend.com。

New Features

multiple catalog

  • 实现删除用户定义目录 (#8820)

meta

  • 新增用于删除 key 和使 key 过期的 cli 命令 (#8858)

planner

  • 支持 broadcast join (#8779)
  • 为 join 下推潜在的谓词 (#8855)

query

  • 优化 count(Nullable(col)) (#8805)
  • 支持重置设置 (#8870)
  • 新增 distinct count aggregator 和 column distinct count (#8825)

storage

  • 按相反顺序压缩段 (#8806)

new expression

  • 地理函数支持 (#8481)
  • 添加用于获取 “ValueType” 内存占用的方法 (#8875)
  • 添加全局内置函数注册表 (#8912)

Code Refactor

memory tracker

  • 向 memory tracker 传递指针地址 (#8879)
  • 新增 “StatBuffer” 以提供细粒度的内存分配统计缓冲区 (#8880)

new expression

  • 允许常量折叠使用稀疏列 id (#8821)

Infra Changes

  • 按 handler 区分 sqllogic test (#8836)

Bug Fix

base

  • 支持追踪 ProcessorAsyncTask (#8871)

http handler

  • 避免在任务未完成时删除运行时 (#8894)

query

  • 移除组合长字符串时的无用 memcpy (#8851)

storage

  • 仅在确定 metasrv 内的表状态没有被修改的情况下,才可以安全地从存储中删除快照文件 (#8850)

News

Datafuse Labs / Databend 本周新动态!

新表达式能力预览:地理函数

在支持地理函数后,Databend 将具备对地理类型输入进行运算的能力。

随着 #8481 的合并,新表达式系统中已经支持包括 great_circle_distancegeo_distancegreat_circle_anglepoint_in_ellipses 在内的地理函数。

Databend 现在正在积极推进向新表达式迁移的工作,关注 expression 分支以获得最新进展!

阅读以下材料以了解更多讯息:

  • PR | geo functions

重置设置

#8870 的合并为 Databend 添加了对重置设置的支持。

UNSET 意味着将一个或多个设置重置为默认值。如果设置之前被变更为 GLOBAL 级,也会随着重置回到初始的 SESSION 级。

UNSET <setting_name> | ( <setting_name> [, <setting_name> ...])

阅读以下材料以了解更多讯息:

  • PR | support unset settings
  • Docs | UNSET

Issues

遇到你可能会感兴趣的问题,欢迎试着解决它。

为建表语句添加压缩选项

压缩有助于减小数据库的体积,对于 IO 敏感的负载任务,压缩可能会带来性能提升。

Databend 计划向 “create table” 语句中引入 “compression” 选项,并提供对 LZ4 (default) 和 Snappy 压缩算法的支持。

create table t1(a int) [compression="LZ4|SNAPPY"]

Issue 8903: feat: add compression option to create table

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changlogs

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

在这里插入图片描述

Meet Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend Website :https://databend.rs/

  • Weekly :https://weekly.databend.rs/

  • GitHub Discussions :https://github.com/datafuselabs/databend/discussions

  • Twitter :https://twitter.com/Datafuse_Labs

  • Slack Channel :https://link.databend.rs/join-slack

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/48414.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

30组易混易错词汇辨析,柯桥成人英语培训哪家好

30组易混易错词汇辨析 1. clothes, cloth, clothing clothes统指各种衣服&#xff0c;谓语动词永远是复数&#xff0c; cloth指布&#xff0c;为不可数名词 clothing 服装的总称&#xff0c;指一件衣服用a piece of, an article of 2. amount, number amount后接不可数名词…

求Huffman树的带权路径长度

Huffman树的建立过程&#xff1a; 首先得到整个叶子结点的集合&#xff1a; 求Huffman树的带权路径长度算法&#xff1a; 书上讲常见的求Huffman树的带权路径长度算法为&#xff1a;从叶子结点权值乘路径长度&#xff1a; WPL7*25*25*23*32*349 另外一种求WPL的算法为&…

视频编解码学习之一:理论基础

1. 为什么要进行视频压缩&#xff1f; 未经压缩的数字视频的数据量巨大 存储困难 一张DVD只能存储几秒钟的未压缩数字视频。 传输困难 1兆的带宽传输一秒的数字电视视频需要大约4分钟。 \2. 为什么可以压缩 去除冗余信息 空间冗余&#xff1a;图像相邻像素之间有较强的相关性…

化工厂人员定位系统:以安全为出发点,助力企业安全生产管控数智化

化工厂人员定位系统采用先进的高精度时间同步技术和调度技术&#xff0c;可在复杂化工场景中精准锁定作业人员在多层空间内的实时位置&#xff0c;实现高精度人员定位。 如何管理好每个车间的作业人员&#xff1f; 如何监管作业人员是否按时到岗&#xff1f; 如何知晓当前人员…

阿里专家精心整理分享的Java程序员面试笔试通关宝典PDF

前言 学习是一种基础性的能力。然而&#xff0c;“吾生也有涯&#xff0c;而知也无涯。”&#xff0c;如果学习不注意方法&#xff0c;则会“以有涯随无涯&#xff0c;殆矣”。 学习就像吃饭睡觉一样&#xff0c;是人的一种本能&#xff0c;人人都有学习的能力。我们在刚出生…

MuLogin的WebRTC功能介绍与设置

WebRTC 协议可以绕过代理取到一些本机的网卡IP和真实的上网公网IP地址&#xff0c;那么我们可以使用替换模式来让网站取到我们指定的IP信息&#xff0c;或用禁用模式&#xff0c;让被访问的网站不能通过WebRTC协议来取我们的IP地址。这里如果你不知道公网IP是多少&#xff0c;建…

18.JVM

目录 1.编写源代码 2.JDK &#xff08;Java Development Kit&#xff09; 3.JRE(Java Runtime Environment) Java运行时环境 4.JVM 1.类名 2.类文件放在哪&#xff1f; 13JVM按需加载类&#xff0c;那么何时加载一个类&#xff1f; 4.类文件是怎么来的&#xff1f; 5…

WebRTC学习笔记五 SDP(Session Description Protocol)

SDP里面内容虽然很多&#xff0c;但是条理很清楚。SDP值为字符串&#xff0c;通过换行符生成一行一行的SDP报文&#xff0c;所有行可分为三类&#xff1a;全局行、音频行、视频行 v - Version&#xff0c;版本&#xff0c;版本&#xff0c;应等于0 o - Origin&#xff0c;源&a…

Github优秀项目-使用Python基于GPT2文本自动生成

基于 GPT2-Chinese 模型的中文文本生成项目,可用于中文生成任务。 当下市面上很多文本自动生成业务都是基于该模型二次开发的,可以很少有那种特定垂直领域的模型用于该领域的创作,也就导致大家在使用类似产品的时候会发现很多的问题,这种问题多数会导致写出来的文章前后逻…

工业大数据收集及预测建模方法(南京大学-宋哲博士分享)- 个人总结

获取工业大数据途径 Retrospective Study(回溯性研究)&#xff1a;完全依赖于现有的历史数据&#xff0c;去数据挖掘、学习和建模&#xff1b;Observational Study(观察性研究)&#xff1a;在一段时间内观察要研究的工业过程&#xff0c;微调相关的控制参数&#xff0c;看系统…

闲人闲谈PS之三十五——物资备货与提前采购

惯例闲话&#xff1a;又一年快过去了&#xff0c;回想刚刚开始在CSDN上写笔记&#xff0c;还是2年前的事情。闲人其实是一个拖延症十分严重的人&#xff0c;自从开始走上写作这条路之后&#xff0c;治疗拖延症找到了办法&#xff0c;每天总有一些事情让闲人去思考&#xff0c;然…

Banana Pi开源社区开源硬件瑞芯微RK3568/RK3588全国产化支持计划

随着国产芯片的崛起与电子供应链的国产化率越来越高&#xff0c;全国产替换从技术上成为了可能。加上近几年地缘政治的影响&#xff0c;全国产替换的呼声越来越高&#xff0c;已经提升到了国家战略层面。国产替换成为了一股技术前进的力量。 Banana Pi开源社区&#xff0c;全力…

操作系统_多线程笔记(二)

文章目录1.线程状态2.多线程在的意义是什么?1.线程状态 状态是针对当前线程调度的情况来描述的,因为线程是系统调度的基本单位,所以状态是属于线程的属性 线程的六种状态: 注意: 1.一旦内核里的PCB消亡了,此时代码中创建的thread也就没有用了,即内核里的线程释放的时候无…

终于有阿里p9架构师分享出困扰我多年的分布式系统开发实战文档

前言 都说程序员工资高、待遇好&#xff0c; 2022 金九银十到了&#xff0c;你的小目标是 30K、40K&#xff0c;还是 16薪的 20K&#xff1f;作为一名 Java 开发工程师&#xff0c;当能力可以满足公司业务需求时&#xff0c;拿到超预期的 Offer 并不算难。然而&#xff0c;提升…

ANR 触发、监控、分析 一网打尽

平时看博客或者学知识&#xff0c;学到的东西比较零散&#xff0c;没有独立的知识模块概念&#xff0c;而且学了之后很容易忘。于是我建立了一个自己的笔记仓库 (一个我长期维护的笔记仓库&#xff0c;感兴趣的可以点个star~你的star是我写作的巨大大大大的动力)&#xff0c;将…

用VS软件开发“浪漫烟花“<笔记摘录>

此处主要讲:如何开发一个连续的烟花弹上升并进行烟花爆炸的程序. 第一步自然是创建窗口,设置窗口宽度为1200,高度为800(#include <graphics.h>) initgraph(1200, 800);//创建窗口,宽度1200,高度800 第二步我们需要为这个窗口添加背景音乐,这里我们添加了一首"周杰伦…

【使用 BERT 的问答系统】第 1 章 : 自然语言处理简介

&#x1f50e;大家好&#xff0c;我是Sonhhxg_柒&#xff0c;希望你看完之后&#xff0c;能对你有所帮助&#xff0c;不足请指正&#xff01;共同学习交流&#x1f50e; &#x1f4dd;个人主页&#xff0d;Sonhhxg_柒的博客_CSDN博客 &#x1f4c3; &#x1f381;欢迎各位→点赞…

【车间调度】基于模拟退火优化算法的的并行车间机器优化调度(Matlab代码实现)

目录 1 概述 2并行机调度问题的的描述 3 模拟退火法 4 基于模拟退火优化算法的的并行车间机器优化调度&#xff08;Matlab代码实现&#xff09; 4.1 运行结果 5 参考文献 6 Matlab代码 1 概述 并行机调度&#xff08;也称并行多机调度, Parallel MachinesScheduling Prob…

你不知道的npm

npm 前端工程化离不开 npm&#xff08;node package manager&#xff09; 或者 Yarn 这些管理工具。npm 或 Yarn 在工程项目中&#xff0c;除了负责依赖的安装和维护以外&#xff0c;还能通过 npm scripts 串联起各个职能部分&#xff0c;让独立的环节自动运转起来。 npm诞生…

跨平台.NET应用UI组件DevExpress XAF v22.1 - 增强Web API Service

DevExpress XAF是一款强大的现代应用程序框架&#xff0c;允许同时开发ASP.NET和WinForms。DevExpress XAF采用模块化设计&#xff0c;开发人员可以选择内建模块&#xff0c;也可以自行创建&#xff0c;从而以更快的速度和比开发人员当前更强有力的方式创建应用程序。&#xff…