Databend 开源周报 第 78 期

news2024/11/14 1:37:59

Databend 是一款强大的云数仓。专为弹性和高效设计。自由且开源。
即刻体验云服务:https://app.databend.com 。

What’s New

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

Features & Improvements

SQL

  • 消除多余的 group by 标量 (#9708)

Query

  • 支持对 insert/delete/optimize 行为进行权限检查 (#9664)
  • 启用空投影 (#9675)
  • 在最终聚合阶段增加聚合限制 (#9716)
  • create/alter view 语句中支持可选列名 (#9715)

Storage

  • 为原生存储格式增加 prewhere 支持 (#9600)

Code Refactoring

IO

  • 将 io 相关的常量移动到 common/io (#9700)
  • 重构 fuse/io/read (#9711)

Planner

  • Scalar 重命名为 ScalarExpr (#9665)

Storage

  • 重构缓存层 (#9672)
  • pruner.rs -> fuse_bloom_pruner.rs (#9710)
  • 将 pruner 从分层改成链式 (#9714)

Build/Testing/CI Infra Changes

  • 支持为 Docker 映像设置 minio 存储以及外置 s3 存储 (#9676)

Bug Fixes 🔧

Expression

  • 修复 simple_cast (#9671)

Query

  • 修复 efficiently_memory_final_aggregator 结果不稳定的问题 (#9685)
  • 修复 max_result_rows 只对输出结果数进行限制的问题 (#9661)
  • 修复 two level aggregator 可能会导致查询挂起的问题 (#9694)

Storage

  • 如果没有根据 output schema 排序,则可能获得错误的 datablocks (#9470)
  • bloom filter 使用了不正确的 cache key (#9706)

What’s On In Databend

请持续关注 Databend 的最新动态。

Databend 多合一 Docker 映像

Databend Docker 映像现在支持设置 MinIO 存储和配置外置 AWS S3 存储。

现在你可以轻松使用该映像达成与 Databend 的初体验。

运行,使用 MinIO 存储后端

docker run \
    -p 8000:8000 \
    -p 9000:9000 \
    -e MINIO_ENABLED=true \
    datafuselabs/databend

运行,使用自定义配置

docker run \
    -p 8000:8000 \
    -e DATABEND_QUERY_CONFIG_FILE=/etc/databend/mine.toml \
    -v query_config_file:/etc/databend/mine.toml \
    datafuselabs/databend

阅读下述材料以了解更多讯息

  • PR | ci: support setup minio storage & external s3 storage in docker image
  • Docker Hub | Databend All-in-One Docker Image

What’s Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

向量搜索

向量搜索(Vector Search)可以捕获非结构化数据的含义和上下文,通常用于文本和图像的处理,允许通过语义来检索相似结果,并且往往能够比传统的关键字检索取得更好的效果。

Databend 计划支持向量搜索,为用户提供更丰富和高效的查询手段,初步的解决方案可能包括集成 Faiss Index 。

Issue 9699: feat: vector search (Faiss index)

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changlogs

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。




Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend Website
  • GitHub Discussions
  • Twitter
  • Slack Channel

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/188195.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Docker查看正在运行的容器目录

起因 为了方便操作服务器,大部分都是使用宝塔面板操作的,在宝塔中我发现面板中用来管理Docker的工具使用起来非常方便,如下图: 可以看到宝塔的面板可以直接查看和从操作容器、Compose 、Compose 模板、镜像、网络、存储卷、仓库等…

2022年度总结:拒绝无效努力,实现破圈成长。

在从毕业一直到现在,我都会写一篇关于自己的从技术、商业、人情世故以及未来展望的博文,以至于归纳每个时期的自己, 走在互联网开发的边缘,不得不抽出时间鞭策自己学习新知识,未知的知识是 充满好奇的, 就好…

Centos 7 内核升级

参考 https://www.cnblogs.com/zengkefu/p/5667145.html 一、ELRepo 关于内核种类: kernel-ml 中的ml是英文【 mainline stable 】的缩写,elrepo-kernel中罗列出来的是最新的稳定主线版本。 kernel-lt 中的lt是英文【 long term support 】的缩写,elre…

分布式理论之体系结构

写在前面 分布式的体系结构目前有两种,第一种是集中式架构,也就是我们最常见到的master-slave架构,第二种是非集中式架构,也就是我们经常听到的去中心化架构,本文我们就一起来看下吧! 1:集中式…

Android开发技术——车机技术之WMS学习

/ 窗口管理 / 窗口管理核心类介绍 窗口管理使用到的 DisplayContent,WindowToken 和 WindowState。 DisplayContent 用来管理一个逻辑屏上的所有窗口,有几个屏幕就会有几个 DisplayContent。使用 displayId 来区分。 处于不同 DisplayContent 的两个…

免费好用的IPv6之远程管理路由器-OpenWrt上uhttpd的TLS(HTTPS)部署流程介绍

在免费好用的IPv6之远程管理路由器-OpenWrt上uhttpd的使用介绍_123-wqy的博客-CSDN博客_openwrt uhttpd这篇文章的最后,我们已经可以使用80、443端口从路由器内外网的IPv6地址对路由器的WEB界面进行访问。但是,考虑外网访问场景下的安全性问题&#xff0…

初级软件测试面试会问什么 这些问题你都知道吗?

在现如今这竞争十分激烈的软件测试职场中,求职者们想获得一份让自己满意且高薪的工作是十分不易的,因此,只有事先做好充分准备才能让自己通关筹码加倍。在这里,我给各位即将踏入面试征程的初级软件测试小伙伴们准备了一些关于初级…

车载网络测试 - BootLoader刷写 - 总纲

随着车载以太网技术的快速发展,智能汽车也已经走进了千家万户,OTA无线解决方案也逐渐走进了大众的视野;实际上在车载以太网未出现之前,我们车上大多数使用的升级一般都是adb、U盘等不太方便的刷写方式,并且在车上是一种…

字节青训营——架构初探学习笔记

1. 规则引擎 规则引擎是一种嵌入在应用服务中的组件,可以将灵活多变的业务决策从服务代码中分离出来。通过使用预定义的语义模块来编写业务逻辑规则。在执行时接受数据输入、解释业务规则,并做出决策。规则引擎能大大提高系统的灵活性和扩展性。 在字节…

小波神经网络的时间序列预测模型

一、小波变换 波变换主要通过伸缩和平移实现多尺度细化,突出所要处理的问题细节,有效提取局部信息。 将傅里叶变换中无限长的三角函数基换成了有限长的会衰减的小波基。 小波变换不仅可以知道信号的频率成分,还能知道各频率成分出现的时刻…

Win10蓝屏问题:SYSTEM_THREAD_EXCEPTION_NOT_HANDLED

最近一段时间,我一直出现蓝屏的情况, 以为是CPU散热不行导致的重启, 因为比较频繁所以在此记录解决这个问题, 还是一贯的风格:图文并茂。终止代码:SYSTEM_THREAD_EXCEPTION_NOT_HANDLED失败的操作&#xff…

关于灰度发布基本问题的解答及轻量化落地方案

由于工作需要,近期又恶补了一下“灰度发布”的相关知识,也和身边小伙伴探讨了轻量化实现灰度发布的落地方案。借此机会,正好将相关内容跟大家整理分享一下。 什么是灰度? 要想了解这个问题就要先明白什么是灰度。灰度从字面意思…

BGP综合实验(华为)

题目: 思路: 把路由划分在AS1,AS2,AS3之中,并使各网段之间的网络互通。明确交接端的路由的路由宣告在哪个区域,例如R1宣告在1.1.1.0 24 网段中(易于识别的网段)R1对应1.1.1.0网段。其他的路由器以此推类。利…

gma 地理空间绘图:(1)绘制简单的世界地图-1.地图绘制与细节调整

了解 gma gma 是什么? gma 是一个基于 Python 的地理、气象数据快速处理和数据分析函数包(Geographic and Meteorological Analysis,gma)。gma 网站:地理与气象分析库。 gma 的主要功能有哪些? 气候气象&a…

基于大数据的公共建筑能耗监测系统的应用探究

摘要:为了解决当前公共建筑能耗居高不下的突出问题,借助当前信息化技术手段,围绕公共建筑能耗监测系统中的大数据应用,从监测系统的总设计框架入手,分别就物联网中数据采集器设计方式、数据传输技术、数据库部署方式分…

【浪漫情人节】送你Python表白神器,祝天下有情人终成眷属

哈哈哈再过十几天就到了一年一度的情人节啦!如此浪漫的日子,小王决定用Python写一个简单的表白神器送给大家,祝天下有情人终成眷属! 目录 前言 一、Turtle小海龟 1. 基本函数 2. 漂浮爱心 二、Tkinter界面设计 1. 基本…

微信小程序015中医知识库百科科普系统

本系统为网上用户提供了一个在线浏览知识的平台。主要实现了用户登陆注册、在线浏览知识的功能,用户可以将自己的拥有的知识信息上传到中医药知识库系统中以供其他用户在线浏览并评论。同时实现了中医药知识库系统的后台管理功能,提供了管理员和操作员权…

06 Alibaba微服务组件Sentinel (1)

1、分布式系统遇到的问题 服务的可用性问题 服务的可用性场景 在一个高度服务化的系统中,我们实现的一个业务逻辑通常会依赖多个服务, 如图所示: 如果其中的下单服务不可用, 就会出现线程池里所有线程都因等待响应而被阻塞, 从而造成整个服务链路不可用, 进而导致…

深度解锁 CRUD 应用开发平台

全文 2400 字 阅读时间约 8 分钟 本文首发于码匠技术博客 目录 使用 CRUD 应用开发平台的好处 CRUD 应用开发平台的主要功能 如何使用 CRUD 应用开发平台? 如何自定义 CRUD 应用开发平台? 使用码匠开发的 CRUD 应用程序类型 关于码匠 CRUD 应用是具…

tomcat多实例优化及zabbix监控群集

tomcat简介Tomcat是Apache软件基金会(Apache Software Foundation)的Jakarta项目中的一个核心项目,由Apache,Sun和其他一些公司及个人共同开发而成。Tomcat服务器是一个免费的开放源代码的Web应用服务器,属于轻量级应用服务器,在中小型系统和…