Apache Doris：深度优化与最佳实践

news2024/11/15 5:00:08

引言

在前两篇文章中，我们已经介绍了 Apache Doris 的基本概念、安装配置、基础操作以及一些高级特性。本文将进一步深入探讨 Doris 的性能优化技巧、高级查询优化、数据建模最佳实践以及常见问题的解决方法。通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。

性能优化技巧

1. 合理设置 Bucket 数

Bucket 数直接影响数据的分布和查询性能。合理的 Bucket 数可以避免数据倾斜，提高查询效率。

实践示例

假设我们有一个用户行为表 user_behavior，我们需要根据 user_id 进行分区和桶分配。

CREATE TABLE user_behavior (
    user_id INT,
    item_id INT,
    category_id INT,
    behavior STRING,
    ts TIMESTAMP
) ENGINE=OLAP
PARTITION BY RANGE (ts)
(PARTITION p1 VALUES LESS THAN ('2024-01-01'),
 PARTITION p2 VALUES LESS THAN ('2024-02-01'))
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");

2. 预聚合

预聚合可以显著提高查询性能，特别是在需要频繁进行聚合操作的场景中。

实践示例

假设我们需要频繁统计每天各个类别的销售数量，可以创建一个预聚合表 pre_aggregated_sales。

CREATE TABLE pre_aggregated_sales (
    category_id INT,
    ts DATE,
    sales_count BIGINT SUM
) ENGINE=OLAP AGGREGATE KEY(category_id, ts)
DISTRIBUTED BY HASH(category_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");

-- 插入预聚合数据
INSERT INTO pre_aggregated_sales
SELECT category_id, DATE(ts), COUNT(*) AS sales_count
FROM user_behavior
GROUP BY category_id, DATE(ts);

3. 索引优化

合理使用索引可以显著提高查询性能。Doris 支持多种索引类型，包括 Bitmap 索引和 Bloom Filter 索引。

Bitmap 索引

适用于基数较小的列，如性别、状态等。

CREATE TABLE bitmap_index_table (
    user_id INT,
    gender TINYINT BITMAP INDEX
) ENGINE=OLAP DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");
Bloom Filter 索引

适用于需要快速过滤大量数据的场景。

CREATE TABLE bloom_filter_table (
    user_id INT,
    name VARCHAR(255) BLOOM FILTER (100000, 0.01)
) ENGINE=OLAP DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");

4. 缓存机制

利用 Doris 的缓存机制可以减少磁盘 I/O，提高查询速度。

实践示例

开启查询缓存：

SET enable_query_cache = true;

5. 分区策略

合理的分区策略可以显著提高查询性能。Doris 支持范围分区和列表分区。

范围分区

适用于按时间范围划分数据的场景。

CREATE TABLE range_partition_table (
    user_id INT,
    order_id INT,
    order_date DATE
) ENGINE=OLAP DUPLICATE KEY(user_id, order_id)
PARTITION BY RANGE (order_date)
(PARTITION p1 VALUES LESS THAN ('2024-01-01'),
 PARTITION p2 VALUES LESS THAN ('2024-02-01'))
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");
列表分区

适用于按特定值划分数据的场景。

CREATE TABLE list_partition_table (
    user_id INT,
    region STRING
) ENGINE=OLAP DUPLICATE KEY(user_id)
PARTITION BY LIST (region)
(PARTITION p1 VALUES IN ('North', 'South'),
 PARTITION p2 VALUES IN ('East', 'West'))
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");

高级查询优化

1. 子查询优化

子查询在某些情况下会导致性能下降。通过改写查询语句，可以显著提高查询性能。

实践示例

假设我们需要查询每个用户的最近一次购买记录。

原始查询：

SELECT user_id, MAX(ts) AS latest_purchase
FROM user_behavior
GROUP BY user_id;

优化后的查询：

WITH latest_purchase AS (
    SELECT user_id, MAX(ts) AS latest_purchase_ts
    FROM user_behavior
    GROUP BY user_id
)
SELECT ub.user_id, ub.item_id, ub.category_id, ub.ts
FROM user_behavior ub
JOIN latest_purchase lp ON ub.user_id = lp.user_id AND ub.ts = lp.latest_purchase_ts;

2. 索引覆盖

索引覆盖是指查询的所有列都在索引中，这样可以避免回表查询，提高查询性能。

实践示例

假设我们有一个用户表 users，经常需要查询用户的姓名和年龄。

CREATE TABLE users (
    user_id INT,
    name VARCHAR(255),
    age INT,
    email VARCHAR(255)
) ENGINE=OLAP DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10
PROPERTIES ("replication_num" = "1");

-- 创建索引覆盖的二级索引
ALTER TABLE users ADD INDEX idx_name_age (name, age);

3. 并行查询

Doris 支持并行查询，通过增加并行度可以显著提高查询性能。

实践示例

增加并行度：

SET parallel_exec_instance_num = 10;

数据建模最佳实践

1. 数据模型选择

Doris 支持多种数据模型，每种模型适用于不同的场景。选择合适的数据模型对于提高查询性能至关重要。

Aggregate Key 模型

适用于需要对某个维度进行聚合计算的场景。

CREATE TABLE agg_table (
    k1 INT,
    v1 INT SUM,
    v2 DOUBLE MAX
) ENGINE=OLAP AGGREGATE KEY(k1)
DISTRIBUTED BY HASH(k1) BUCKETS 10
PROPERTIES ("replication_num" = "1");
Unique Key 模型

适用于需要唯一键值的场景。

CREATE TABLE unique_table (
    k1 INT,
    v1 VARCHAR(255)
) ENGINE=OLAP UNIQUE KEY(k1)
DISTRIBUTED BY HASH(k1) BUCKETS 10
PROPERTIES ("replication_num" = "1");
Duplicate Key 模型

适用于需要保留所有记录的场景。

CREATE TABLE dup_table (
    k1 INT,
    v1 VARCHAR(255)
) ENGINE=OLAP DUPLICATE KEY(k1)
DISTRIBUTED BY HASH(k1) BUCKETS 10
PROPERTIES ("replication_num" = "1");

2. 数据清洗与预处理

在数据导入 Doris 之前，进行必要的数据清洗和预处理可以提高数据质量和查询性能。

实践示例

假设我们有一个原始数据文件 raw_data.csv，需要进行数据清洗后再导入 Doris。

# 数据清洗脚本
awk -F ',' '{ if ($3 > 0 && $4 <= 100) print $0 }' raw_data.csv > cleaned_data.csv

LOAD LABEL test.load_label_1
(
    DATA INFILE("file:///path/to/cleaned_data.csv")
    INTO TABLE example_table
    COLUMNS TERMINATED BY ","
    (id, name, age, join_date)
);

3. 数据生命周期管理

合理管理数据的生命周期，定期删除不再需要的历史数据，可以节省存储空间并提高查询性能。

实践示例

假设我们需要定期删除一年前的数据。

DELETE FROM user_behavior
WHERE ts < DATE_SUB(CURDATE(), INTERVAL 1 YEAR);

常见问题及解决方案

1. 数据导入失败

问题描述：数据导入过程中遇到错误，提示“Load failed”。

解决方案：

  • 检查数据格式是否符合表结构定义。
  • 查看 Doris 日志，定位具体的错误原因。
  • 使用 SHOW LOAD 命令查看导入任务的状态和错误信息。
SHOW LOAD WHERE Label = 'load_label_1';

2. 查询性能低下

问题描述：查询响应时间过长。

解决方案：

  • 分析查询计划，找出性能瓶颈。
  • 优化索引和分区策略。
  • 调整 Doris 的配置参数，如 max_memory_limit 和 num_nodes_per_scan。
EXPLAIN SELECT * FROM large_table WHERE k1 > 1000;

3. 集群扩容

问题描述：随着数据量的增长，现有集群无法满足需求。

解决方案：

  • 添加新的 BE 节点。
  • 调整 Bucket 数和分区策略，重新平衡数据分布。
# 添加新节点
./bin/add_backend.sh <new_be_host>:<be_port>

4. 数据一致性问题

问题描述：数据更新后，查询结果不一致。

解决方案：

  • 使用分布式事务确保数据的一致性。
  • 调整事务隔离级别，确保事务的正确性。
BEGIN;
INSERT INTO example_table VALUES (4, 'David', 30, '2023-04-01');
UPDATE example_table SET age = 31 WHERE id = 4;
COMMIT;

5. 内存不足

问题描述：系统运行过程中出现内存不足的问题。

解决方案：

  • 增加节点的内存配置。
  • 优化查询语句，减少内存占用。
  • 调整 Doris 的内存相关配置参数，如 max_memory_limit。
# 修改配置文件 be.conf
max_memory_limit = 32GB

结论

本文深入探讨了 Apache Doris 的性能优化技巧、高级查询优化、数据建模最佳实践以及常见问题的解决方案。通过本文，读者将能够更好地理解和应用 Doris 的高级功能，从而提升系统的整体性能和稳定性。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2240614.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

＜项目代码＞YOLOv8 番茄识别＜目标检测＞

＜项目代码＞YOLOv8 番茄识别＜目标检测＞

YOLOv8是一种单阶段&#xff08;one-stage&#xff09;检测算法&#xff0c;它将目标检测问题转化为一个回归问题&#xff0c;能够在一次前向传播过程中同时完成目标的分类和定位任务。相较于两阶段检测算法&#xff08;如Faster R-CNN&#xff09;&#xff0c;YOLOv8具有更高的…
阅读更多...
MySQL技巧之跨服务器数据查询：基础篇-动态参数

MySQL技巧之跨服务器数据查询：基础篇-动态参数

MySQL技巧之跨服务器数据查询&#xff1a;基础篇-动态参数 上一篇已经描述&#xff1a;借用微软的SQL Server ODBC 即可实现MySQL跨服务器间的数据查询。 而且还介绍了如何获得一个在MS SQL Server 可以连接指定实例的MySQL数据库的连接名: MY_ODBC_MYSQL 以及用同样的方法&a…
阅读更多...
三天精通一种算法之螺旋矩阵（设计思路），长度最小子数组（滑动窗口）

三天精通一种算法之螺旋矩阵（设计思路），长度最小子数组（滑动窗口）

这题主要考察思维 我来一一解释这串代码 var generateMatrix function(n) { const matrix Array.from({ length: n }, () > Array(n).fill(0)); let top 0, bottom n - 1; let left 0, right n - 1; var num 1; while (num < n * n) { …
阅读更多...
2024-11-13 Unity Addressables1——概述与导入

2024-11-13 Unity Addressables1——概述与导入

文章目录 1 概述1.1 介绍1.2 主要作用1.3 Addressables 与 AssetBundle 的区别 2 导入3 配置3.1 方法一3.2 方法二 1 概述 1.1 介绍 ​ Addressables 是可寻址资源管理系统。 ​ Unity 从 2018.2 版本开始&#xff0c;建议用于替代 AssetBundle 的高阶资源管理系统。在 Unit…
阅读更多...
python爬虫实战案例——爬取A站视频，m3u8格式视频抓取（内含完整代码！）

python爬虫实战案例——爬取A站视频，m3u8格式视频抓取（内含完整代码！）

1、任务目标 目标网站&#xff1a;A站视频&#xff08;https://www.acfun.cn/v/ac40795151&#xff09; 要求&#xff1a;抓取该网址下的视频&#xff0c;将其存入本地&#xff0c;视频如下&#xff1a; 2、网页分析 进入目标网站&#xff0c;打开开发者模式&#xff0c;我们发…
阅读更多...
web实验3：虚拟主机基于不同端口、目录、IP、域名访问不同页面

web实验3：虚拟主机基于不同端口、目录、IP、域名访问不同页面

创建配置文件&#xff1a; 创建那几个目录及文件&#xff0c;并且写内容&#xff1a; 为网卡ens160添加一个 IPv4 地址192.168.234.199/24: 再重新激活一下网卡ens160&#xff1a; 重启服务&#xff1a; 关闭防火墙、改宽松模式&#xff1a; 查看nginx端口监听情况&#xff1a;…
阅读更多...
在tiktok开店，商家可以享受到多少显著的优势？

在tiktok开店，商家可以享受到多少显著的优势？

短视频带货正在蓬勃发展&#xff0c;因此&#xff0c;许多人开始利用自媒体平台进行商品销售。越来越多的商家选择在TikTok上开设店铺。那么&#xff0c;在TikTok上开店&#xff0c;商家可以享受到哪些显著的优势呢&#xff1f; 1. 庞大的用户基础 TikTok拥有海量的用户群体&…
阅读更多...
【系统设计】理解带宽延迟积（BDP）、吞吐量、延时（RTT）与TCP发送窗口的关系：优化网络性能的关键

【系统设计】理解带宽延迟积（BDP）、吞吐量、延时（RTT）与TCP发送窗口的关系：优化网络性能的关键

在设计和优化网络性能时&#xff0c;理解 带宽延迟积&#xff08;BDP&#xff09;、吞吐量、延时&#xff08;RTT&#xff09; 和 TCP发送窗口 之间的关系至关重要。这些概念相互影响&#xff0c;决定了网络连接的性能上限&#xff0c;尤其是在高带宽、高延迟的环境中&#xff…
阅读更多...
Flutter：使用Future发送网络请求

Flutter：使用Future发送网络请求

pubspec.yaml配置http的SDK cupertino_icons: ^1.0.8 http: ^1.2.2请求数据的格式转换 // Map 转 json final chat {name: 张三,message: 吃饭了吗, }; final chatJson json.encode(chat); print(chatJson);// json转Map final newChat json.decode(chatJson); print(newCha…
阅读更多...
IOT物联网低代码可视化大屏解决方案汇总

IOT物联网低代码可视化大屏解决方案汇总

目录 参考来源云服务商阿里云物联网平台产品主页产品文档 开源项目DGIOT | 轻量级工业物联网开源平台项目特点项目地址开源许可 IoTGateway | 基于.NET6的跨平台工业物联网网关项目特点项目地址开源许可 IoTSharp | 基于.Net Core开源的物联网基础平台项目特点项目地址开源许可…
阅读更多...
redis 原理篇 26 网络模型 Redis是单线程的吗？为什么使用单线程

redis 原理篇 26 网络模型 Redis是单线程的吗？为什么使用单线程

都是学cs的&#xff0c;有人月薪几万&#xff0c;有人月薪几千&#xff0c;哎&#xff0c; 相信 边际效用&#xff0c; 也就是说&#xff0c; 随着技术提升的越来越多&#xff0c;薪资的提升比例会更大 一个月几万&#xff0c;那肯定是高级开发了&#xff0c; 一个月几千&…
阅读更多...
前端中的 File 和 Blob两个对象到底有什么不同

前端中的 File 和 Blob两个对象到底有什么不同

JavaScript 在处理文件、二进制数据和数据转换时&#xff0c;提供了一系列的 API 和对象&#xff0c;比如 File、Blob、FileReader、ArrayBuffer、Base64、Object URL 和 DataURL。每个概念在不同场景中都有重要作用。下面的内容我们将会详细学习每个概念及其在实际应用中的用法…
阅读更多...
【QT常用技术讲解】优化网络链接不上导致qt、qml界面卡顿的问题

【QT常用技术讲解】优化网络链接不上导致qt、qml界面卡顿的问题

前言 qt、qml项目经常会涉及访问MySQL数据库、网络服务器&#xff0c;并且界面打开时的初始化过程就会涉及到链接Mysql、网络服务器获取数据&#xff0c;如果网络不通&#xff0c;卡个几十秒&#xff0c;会让用户觉得非常的不爽&#xff0c;本文从技术调研的角度讲解解决此类问…
阅读更多...
JS的学习与使用

JS的学习与使用

JS的学习与使用 一 什么是Javascript&#xff1f; Javascript是一门跨平台&#xff0c;面向对象的脚本语言&#xff0c;是用来控制网页行为的&#xff0c;它能使网页可以交互 java与Javascript是完全不同的语言&#xff0c;不论是概念还是设计&#xff0c;但是基础语法类似 E…
阅读更多...
WebRTC视频 03 - 视频采集类 VideoCaptureDS 上篇

WebRTC视频 03 - 视频采集类 VideoCaptureDS 上篇

WebRTC视频 01 - 视频采集整体架构 WebRTC视频 02 - 视频采集类 VideoCaptureModule [WebRTC视频 03 - 视频采集类 VideoCaptureDS 上篇]&#xff08;本文&#xff09; WebRTC视频 04 - 视频采集类 VideoCaptureDS 中篇 WebRTC视频 05 - 视频采集类 VideoCaptureDS 下篇 一、前…
阅读更多...
发布rust crate

发布rust crate

文章目录 一、cargo构建的配置类型&#xff1a;dev与release两种1.编译级别2.将 crate 发布到 Crates.io对整个库的注释pub use再导出功能发布crates.io 参考 一、cargo构建的配置类型&#xff1a;dev与release两种 $ cargo buildFinished dev [unoptimized debuginfo] targe…
阅读更多...
Bugku CTF_Web——文件上传

Bugku CTF_Web——文件上传

Bugku CTF_Web——文件上传 进入靶场 My name is margin,give me a image file not a php抓个包上传试试 改成png也上传失败 应该校验了文件头 增加了文件头也不行 试了一下 把文件类型改成gif可以上传 但是还是不能连接 将Content-Type改大小写 再把文件后缀名改成php4 成…
阅读更多...
三菱FX5UPLC以太网Socket通信功能

三菱FX5UPLC以太网Socket通信功能

通过专用指令与通过以太网连接的对象设备以TCP及UDP协议收发任意数据的功能。 *1、是用于存储从开放的对象设备中接收到的数据的区域。 CPU模块:连接No.1~8以太网模块:连接No.1~32 以TCP协议进行通信时 TCP是在对象设备的端口号间建立连接&#xff0c;从而进行可靠的数据通信…
阅读更多...
jmeter介绍、使用方法、性能测试、现参数化和数据驱动、分布式测试、压力测试、接口测试

jmeter介绍、使用方法、性能测试、现参数化和数据驱动、分布式测试、压力测试、接口测试

目录 1.JMeter的组件介绍 2.JMeter介绍和使用方法 3.使用JMeter进行性能测试 4.JMeter如何实现参数化和数据驱动 5.使用JMeter进行分布式测试 6.使用JMeter完成压力测试 7.使用JMeter完成接口测试 下载并安装JMeter&#xff1a;从官方网站&#xff08;https://jmeter.ap…
阅读更多...
【Android】组件化开发入门

【Android】组件化开发入门

文章目录 引入组件是什么?为什么使用组件化开发?什么是模块化&#xff0c;组件化&#xff0c;插件化&#xff1f;常见实现 组件分层创建module 组件单独调试配置组件工程类型配置组件ApplicationId和AndroidManifest文件 引入 组件是什么? 组件&#xff08;Component&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023