开源周报第 89 期

news2024/9/23 21:20:29

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。

Databend v1.1 正式发布

Databend v1.1.0 已于 2023 年 4 月 14 日正式发布！这次发布标志着 Databend 自 1.0 版本以来的首次重大更新。

新版本有许多新功能,包括：

COPY INTO 现在具备 ETL 能力
支持全部 TPC-DS 查询
REPLACE INTO
窗口函数
可视化工具集成：包括 Metabase , Redash 和 Grafana
Rust 驱动程序
AI 函数
AskBend - 知识库问答系统

如果你想要了解更多信息，请查看下面列出的资源。

What's Fresh in Databend v1.1 | Blog | Databend

新加的 AI 相关配置

Databend 添加了新的 AI 相关配置，允许使用不同的端点和模型。

这意味着它可以与其他服务轻松集成，包括 Azure OpenAI API 。此外，可以根据需要灵活配置对应的模型以平衡表现和成本。

| "query"   | "openai_api_base_url"                      | "https://api.openai.com/v1/"     | ""       |
| "query"   | "openai_api_completion_model"              | "text-embedding-ada-002"         | ""       |
| "query"   | "openai_api_embedding_model"               | "gpt-3.5-turbo"                  | ""       |

如果你想要了解更多信息，请查看下面列出的资源。

PR | add openai api_base_url, completion_model and embedding_model to query config

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

bendsql - Databend 原生命令行工具

以前我们已经介绍过 bendsql ，是一款用 Go 语言编写的 Databend 原生客户端。现在它正在用 Rust 语言重写，目前处于实验性阶段。

Rust 版本不仅支持 REST API，还支持 Flight SQL 。

bendsql> select avg(number) from numbers(10);

SELECT
  avg(number)
FROM
  numbers(10);

┌───────────────────┐
│    avg(number)    │
│ Nullable(Float64) │
├───────────────────┤
│ 4.5               │
└───────────────────┘

1 row in 0.259 sec. Processed 10 rows, 10B (38.59 rows/s, 308B/s)

我们期待很快与你分享更多 Rust 版本的更新！欢迎试用并给我们反馈。如果你想要了解更多信息，请查看下面列出的资源。

Crates.io - bendsql
GitHub - databendcloud/bendsql | Go
Github - datafuselabs/databend-client | Rust

亮点

以下是一些值得注意的事件，也许您可以找到感兴趣的内容。

Databend 利用 RBAC 模型来保护您的数据。阅读文档|访问控制特权，了解 Databend 中的全局权限和对象特定权限。
添加 array_aggregate 函数并支持更多数组聚合函数，包括 stddev_samp 、stddev_pop 、stddev 、std、median 、approx_count_distinct 、kurtosis 和 skewness 。
添加系统表 system.caches 来描述 Databend 中的缓存状态。
Databend 最近引入了 z3.rs 来解决约束问题。Z3 是微软研究院开源的定理证明器，通常用于解决 SMT 问题。

What's Up Next

我们始终对前沿技术和创新理念持开放态度，欢迎您加入社区，为 Databend 注入活力。

发布提案：Nightly v1.2

Databend v1.2 计划于 5 月 15 日发布，预期包括以下功能:

Task	Status	Comments
(Query) JSON indexing#6994	IN PROGRESS	high-priority
(Query) Fulltext index#3915	IN PROGRESS	high-priority
(Query+Storage) Merge Into#10174	PLAN	high-priority
(Query)Window function#10810	IN PROGRESS
(Query)Distributed COPY#8594	PLAN
(Query)Lambda function and high-order functions	PLAN
(Storage) Fuse engine re-clustering	PLAN	high-priority
(Storage) Fuse engine segment tree	IN PROGRESS	high-priority
(Storage) Fuse engine orphan data cleanup	IN PROGRESS	high-priority
(Storage) Compress Fuse meta data#10265	IN PROGRESS	high-priority
Embedding Model #10689	IN PROGRESS	high-priority
Search optimization SQL framwork	IN PROGRESS
Distributed group by with dictonary	IN PROGRESS
Add Column-Level dynamic data masking support	PLAN