Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务: https://app.databend.com 。
What's New
探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。
Features & Improvements :sparkles:
AST
select from stage 支持带连接选项的 uri (#10066)
Catalog
支持创建 Iceberg catalog (#9017)
Expression
decimal 类型支持聚合函数 min/max (#10085)
decimal 类型支持聚合函数 sum/avg (#10059)
Pipeline
增强 pipelines processors 能力 (#10098)
Query
create stage, select stage, copy, infer_schema 支持具名文件类型 (#10084)
查询结果缓存 (#10042)
Storage
表数据缓存 (#9772)
在 drop all 中使用 drop_table_by_id API (#10054)
原生存储格式支持嵌套数据类型 (#9798)
Code Refactoring :tada:
Meta
为升级实现兼容层 (#10082)
更优雅的错误处理 (#10112, #10114, etc.)
Cluster
支持交换排序 (#10149)
Executor
检查 processor graph 完成情况 (#10166)
Planner
为物理计划构建器执行常量折叠 (#9889)
Query
使用 AccumulatingTransform 实现单状态聚合器 (#10125)
Storage
适配 OpenDAL 批删除支持 (#10150)
适配 OpenDAL 基于查询的元数据缓存 (#10162)
Build/Testing/CI Infra Changes :electric_plug:
发布 deb 软件源 (#10080)
支持 systemd units (#10145)
Bug Fixes :wrench:
Expression
不再返回 Variant 作为公共超级类型 (#9961)
允许从 string 和 variant 的自动类型转换 (#10111)
Cluster
在集群模式下修复 limit 查询挂起 (#10006)
Storage
修复包含 tuple 类型时的列统计错误 (#10068)
增列后 compact 未按预期工作 (#10070)
修复增列的 min/max 统计故障 (#10137)
What's On In Databend
请持续关注 Databend 的最新动态。
Query Result Cache
仅仅过去一周,Databend 现已支持查询结果缓存!
┌─────────┐ 1 ┌─────────┐ 1
│ ├───►│ ├───►Dummy───►Downstream
Upstream────►│Duplicate│ 2 │ │ 3
│ ├───►│ ├───►Dummy───►Downstream
└─────────┘ │ │
│ Shuffle │
┌─────────┐ 3 │ │ 2 ┌─────────┐
│ ├───►│ ├───►│ Write │
Upstream────►│Duplicate│ 4 │ │ 4 │ Result │
│ ├───►│ ├───►│ Cache │
└─────────┘ └─────────┘ └─────────┘
阅读下述材料以了解更多讯息
PR | feat(query): query result cache
Docs | RFC: Query Result Cache
Tracking Issue | RFC: query result cache
Table Data Cache
Databend 现在支持表数据缓存:
磁盘缓存:DataBlock 的原始列(压缩)数据。
内存缓存(实验性):DataBlock 的反序列化列对象。
对于缓存友好的工作负载,性能提升显着。
阅读下述材料以了解更多讯息
PR | feat: table data cache
Docs | Query Server Configuration - Cache
Deb Source & Systemd Support
Databend 现在提供官方的 Deb 软件源,并支持使用 systemd 管理服务。
对于 DEB822 源格式:
sudo curl -L -o /etc/apt/sources.list.d/datafuselabs.sources https://repo.databend.rs/deb/datafuselabs.sources
sudo apt update
sudo apt install databend
sudo systemctl start databend-meta
sudo systemctl start databend-query
阅读下述材料以了解更多讯息
PR | chore(ci): release with systemd units
Docs | Installing Databend - Package Manager
What's Up Next
我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。
服务启动进度报告
启动 Query / Meta 节点时,有必要执行检查并将结果显式输出,以帮助用户诊断故障并确认节点 / 集群状态。
示例:
storage check succeed
meta check failed: timeout, no response. endpoints: xxxxxxxx .
status check failed: address already in use.
Issue 10193: Feature: output the necessary progress when starting a query/meta node
如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!
Changlogs
前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感谢贡献者们在本周的卓越工作。
Connect With Us
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。
Databend Website
GitHub Discussions
Twitter
Slack Channel