DORIS - DORIS简介

前言

本博文基于DORIS的2.1.5版本。apache-doris-2.1.5-bin-x64.tar.gz

是什么？

DORIS官网
Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库，以高效、简单、统一的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。

发展历程

Apache Doris 最早是诞生于百度广告报表业务的 Palo 项目，2017 年正式对外开源；
2018 年 7 月，由百度捐赠给Apache 基金会进行孵化；
2022 年 6 月，Apache Doris 成功从 Apache 孵化器毕业，正式成为 Apache顶级项目（Top-Level Project，TLP）。

使用场景

Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、湖仓一体等使用场景。
用户可以在此之上构建大屏看板、用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。
在这里插入图片描述

整体架构

Apache Doris 的整体架构非常简单，如下图所示，只有两类进程：

Frontend（FE）：主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。
Backend（BE）：主要负责数据存储、查询计划的执行。

这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量，这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。
在这里插入图片描述

技术特点

1. 接口协议

Apache Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类支持MySQL的客户端工具来访问 Apache Doris，并支持与 BI 工具的无缝对接。

2. 存储引擎

Apache Doris 采用列式存储，按列进行数据的编码压缩和读取，能够实现极高的压缩比，同时减少大量非相关数据的扫描，从而更加有效利用 IO 和 CPU 资源。

3. 存储模型

A. 聚合模型（Aggregate Key Model）：相同 KEY 的 Value 列会合并，通过提前聚合大幅提升性能；
B. 主键模型（Unique Key Model）：KEY 唯一，相同 KEY 的数据会覆盖，实现行级别数据更新；
C. 明细模型（Duplicate Key Model）：明细数据模型，满足事实表的明细存储。

4. 索引模型

A. Sorted Compound Key Index，可以最多指定三个列组成复合排序键，通过该索引，能够有效进行数据裁剪，从而能够更好支持高并发的报表场景；
B. Min/Max Index：有效过滤数值类型的等值和范围查询；
C. BloomFilter Index：对高基数列的等值过滤裁剪非常有效；
D. Inverted Index：能够对任意字段实现快速检索。

5. 查询模型

Apache Doris 采用 MPP 的模型，节点间和节点内都并行执行，支持多个大表的分布式 Shuffle Join，从而能够更好应对复杂查询。采用向量化的查询引擎，所有的内存结构能够按照列式布局，能够达到大幅减少虚函数调用、提升 Cache 命中率，高效利用 SIMD 指令的效果，在宽表聚合场景下性能是非向量化引擎的 5-10 倍。
Apache Doris 采用了自适应查询执行（Adaptive Query Execution）技术，可以根据 Runtime Statistics 来动态调整执行计划，比如通过 Runtime Filter 技术能够在运行时生成 Filter 推到 Probe 侧，并且能够将 Filter 自动穿透到 Probe 侧最底层的 Scan 节点，从而大幅减少 Probe 的数据量，加速 Join 性能。Apache Doris 的 Runtime Filter 支持 In/Min/Max/Bloom Filter。
在优化器方面，Apache Doris 使用 CBO 和 RBO 结合的优化策略，RBO 支持常量折叠、子查询改写、谓词下推等，CBO 支持 Join Reorder。

版本选择

版本发布列表
版本下载地址
apache-doris-2.1.5-bin-x64.tar.gz

安装部署

官方手册
严格按照官方手册执行即可，以下为重要事宜。

1. 检查机器是否支持 AVX2 指令集，有输出则说明支持：
cat /proc/cpuinfo | grep avx2


2. 确定JDK版本：
在 2.1（含）版本之前，请使用 Java 8，推荐版本：openjdk-8u352-b08-linux-x64。
从 3.0（含）版本之后，请使用 Java 17，推荐版本：jdk-17.0.10_linux-x64_bin.tar.gz。


3. 关闭 swap 分区：
A. 临时关闭
swapoff -a 
B. 永久关闭
先： vi /etc/fstab
然后：如下注释掉最后一行：
UUID=e9ce9a98-3038-4f0d-b295-090406d3a24b /                       xfs     defaults        0 0
UUID=876e07af-677b-49a2-8658-6f64ff5809f9 /boot                   xfs     defaults        0 0
#UUID=2beabaa6-3a45-45ea-98ac-7498368abf20 swap                    swap    defaults        0 0


4. 关闭系统防火墙：
sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service


5. 配置 NTP 服务
6. 设置文件句柄数：
先：vi /etc/security/limits.conf
然后：将如下指令复制到文件底部
* soft nofile 1000000
* hard nofile 1000000


7. 修改虚拟内存区域：
sysctl -w vm.max_map_count=2000000


8. 关闭透明大页：
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag


9. 先配置再启动FE-MASTER，如果是多个FE，新的FE配置好以后启动以前，需要将新的FE注册到FE-MASTER中
10. 配置BE，需要将BE注册到FE-MASTER中，然后再启动BE
11. 查看WEB-UI：http://192.168.174.88:8030/home , root/密码为空
12. 修改 Root 用户和 Admin 用户的密码：
mysql> SET PASSWORD FOR 'root' = PASSWORD('123456');                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               
mysql> SET PASSWORD FOR 'admin' = PASSWORD('123456');                                                                                                                                                                                 
13. 再登录WEB-UI时就需要使用: root/123456 或者 admin/123456

查看状态

1. FE的状态:
+-----------------------------------------+---------------+-------------+----------+-----------+---------+--------------------+----------+----------+-----------+------+-------+-------------------+---------------------+---------------------+----------+--------+-----------------------------+------------------+
| Name                                    | Host          | EditLogPort | HttpPort | QueryPort | RpcPort | ArrowFlightSqlPort | Role     | IsMaster | ClusterId | Join | Alive | ReplayedJournalId | LastStartTime       | LastHeartbeat       | IsHelper | ErrMsg | Version                     | CurrentConnected |
+-----------------------------------------+---------------+-------------+----------+-----------+---------+--------------------+----------+----------+-----------+------+-------+-------------------+---------------------+---------------------+----------+--------+-----------------------------+------------------+
| fe_ae692d73_7c0d_447b_aa84_1f1333a7daa1 | 192.168.122.1 | 9010        | 8030     | 9030      | 9020    | -1                 | FOLLOWER | true     | 305254781 | true | true  | 1891              | 2024-08-30 07:28:58 | 2024-08-31 17:47:16 | true     |        | doris-2.1.5-rc02-d5a02e095d | Yes              |
+-----------------------------------------+---------------+-------------+----------+-----------+---------+--------------------+----------+----------+-----------+------+-------+-------------------+---------------------+---------------------+----------+--------+-----------------------------+------------------+

2. BE的状态：
+-----------+----------------+---------------+--------+----------+----------+--------------------+---------------------+---------------------+-------+----------------------+-----------+------------------+-------------------+---------------+---------------+---------+----------------+--------------------+--------------------------+--------+-----------------------------+-------------------------------------------------------------------------------------------------------------------------------+-------------------------+----------+
| BackendId | Host           | HeartbeatPort | BePort | HttpPort | BrpcPort | ArrowFlightSqlPort | LastStartTime       | LastHeartbeat       | Alive | SystemDecommissioned | TabletNum | DataUsedCapacity | TrashUsedCapacity | AvailCapacity | TotalCapacity | UsedPct | MaxDiskUsedPct | RemoteUsedCapacity | Tag                      | ErrMsg | Version                     | Status                                                                                                                        | HeartbeatFailureCounter | NodeRole |
+-----------+----------------+---------------+--------+----------+----------+--------------------+---------------------+---------------------+-------+----------------------+-----------+------------------+-------------------+---------------+---------------+---------+----------------+--------------------+--------------------------+--------+-----------------------------+-------------------------------------------------------------------------------------------------------------------------------+-------------------------+----------+
| 11775     | 192.168.174.88 | 9050          | 9060   | 8040     | 8060     | -1                 | 2024-08-30 18:29:12 | 2024-08-31 17:42:16 | true  | false                | 25        | 32.433 KB        | 0.000             | 18.969 GB     | 35.813 GB     | 47.03 % | 47.03 %        | 0.000              | {"location" : "default"} |        | doris-2.1.5-rc02-d5a02e095d | {"lastSuccessReportTabletsTime":"2024-08-31 17:42:02","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false} | 0                       | mix      |
+-----------+----------------+---------------+--------+----------+----------+--------------------+---------------------+---------------------+-------+----------------------+-----------+------------------+-------------------+---------------+---------------+---------+----------------+--------------------+--------------------------+--------+-----------------------------+-------------------------------------------------------------------------------------------------------------------------------+-------------------------+----------+

常见问题

1. fe的日志报错： System has no available disk capacity or no available BE nodes，由于be为启动导致，可以先忽略。
2. 查看fe的状态： curl http://127.0.0.1:8030/api/bootstrap，为了使得返回结果可读性更好，可以使用下面的格式化命令：
                 curl http://127.0.0.1:8030/api/bootstrap | python -m json.tool
3. DORIS的可视化： http://FE所在机器的IP:8030/home，默认安装后 root账户密码为空
4. 查看fe的状态： 先 mysql -uroot -P9030 -h 127.0.0.1  然后执行：show frontends; 
5. 查看be的状态： 先 mysql -uroot -P9030 -h 127.0.0.1  然后执行：show backends;
6. 密码修改：通过WEB-UI无法修改root和admin的密码，需要通过MySQL的客户端来修改

什么是 priority_networks?

Doris 进程监听 IP 的 CIDR 格式表示的网段。如果部署的机器只有一个网段，可以不用配置。如果有两个或多个网段，务必做配置。
这个参数主要用于帮助系统选择正确的网卡 IP 作为自己的监听 IP。比如需要监听的 IP 为 192.168.0.1，则可以设置 priority_networks=192.168.0.0/24，系统会自动扫描机器上的所有 IP，只有匹配上 192.168.0.0/24 这个网段的才会去作为服务监听地址，这个参数也可以配置多个CIDR 网段，比如 priority_networks = 10.10.0.0/16; 192.168.0.0/24。