Doris简介
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。
FE ,主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。(leader, Follower, Observer)
BE 主要负责数据存储、查询计划的执行。
官网: Apache Doris: Open-Source Real-Time Data Warehouse - Apache Doris
下载二进制文件: Download - Apache Doris
查看Linux系统的CPU架构: uname -m
x86_64 对应 avx2
我用的是Ubuntu22.04 安装过程如下:
// 先安装java 和 mysql
apt-get install openjdk-8-jdk
java -version
apt install mysql-server
mysql -V
// 解压
tar xf apache-doris-x.x.x.tar.xz
# 配置 FE
cd apache-doris-x.x.x/fe
vim conf/fe.conf
priority_networks=192.168.16.0/24 // 假如你的ip是 192.168.16.230
./bin/start_fe.sh --daemon // 测试可以先不用加 --daemon
curl http://127.0.0.1:8030/api/bootstrap // 或者直接 ip:8030
mysql -uroot -P9030 -h127.0.0.1
show frontends\G; // 如果 IsMaster、Join 和 Alive 三列均为true,则表示节点正常。
# ./bin/stop_fe.sh // 停止命令
# 配置 BE
cd apache-doris-x.x.x/be
priority_networks=192.168.16.0/24
JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
// Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'
// Please set the maximum number of open file descriptors to be 65536 using 'ulimit -n 65536'
./bin/start_be.sh --daemon // 启动BE
// 先启动FE, 在连接mysql
mysql -uroot -P9030 -h127.0.0.1
ALTER SYSTEM ADD BACKEND "192.168.16.230:9050"; // 同上面服务器ip
SHOW BACKENDS\G // Alive : true表示节点运行正常
// ./bin/stop_be.sh // 停止命令
// 查看日志
fe/log文件夹下 和 be/log文件夹下