Apache Doris 之 Docker 部署篇

news2024/10/6 6:46:07

前言

在现代数据驱动的商业环境中，实时数据分析和高并发查询能力是企业成功的关键因素之一。传统的数据仓库和分析工具在面对大规模数据处理和实时分析需求时，往往力不从心。Apache Doris 作为一个现代的 MPP 数据库管理系统，凭借其强大的查询性能、灵活的扩展能力以及对实时数据处理的支持，迅速成为大数据分析领域的重要工具。

一、Apache doris 是什么？

Apache Doris 是一个现代的MPP (Massively Parallel Processing) 数据库管理系统，专为实时分析和高并发数据查询设计。它起源于百度的 Palo 项目，后在 Apache 基金会下成为开源项目。Doris 的设计目标是提供高性能、易用和可扩展的数据分析服务，尤其适用于大数据环境中的实时数据分析需求。

二、本地环境搭建环境

据说，光是搞环境，难倒一大票人，我不信…

本机环境：macos 14.2.1 (23C71), Docker desktop

1. 下载安装包

# 查看当前系统是否支持 AVX2 指令集
➜  doris sysctl -a | grep machdep.cpu
machdep.cpu.features: FPU VME DE PSE TSC MSR PAE MCE CX8 APIC SEP MTRR PGE MCA CMOV PAT PSE36 CLFSH DS ACPI MMX FXSR SSE SSE2 SS HTT TM PBE SSE3 PCLMULQDQ DTES64 MON DSCPL VMX EST TM2 SSSE3 FMA CX16 TPR PDCM SSE4.1 SSE4.2 x2APIC MOVBE POPCNT AES PCID XSAVE OSXSAVE SEGLIM64 TSCTMR AVX1.0 RDRAND F16C
machdep.cpu.leaf7_features: RDWRFSGS TSC_THREAD_OFFSET SGX BMI1 AVX2 SMEP BMI2 ERMS INVPCID FPU_CSDS MPX RDSEED ADX SMAP CLFSOPT IPT SGXLC MDCLEAR TSXFA IBRS STIBP L1DF ACAPMSR SSBD

从上面可知，我当前的操作系统是支持 AVX2 指令集的，于是我下载如下版本 doris.

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.1.3-bin-x64.tar.gz

2. macbook 本地单机部署

按照官网介绍，参考：https://doris.apache.org/zh-CN/docs/get-starting/quick-start/


➜  log cat be.out
start time: 2024年 6月17日 星期一 13时54分11秒 CST
INFO: java_cmd /Library/Java/JavaVirtualMachines/jdk-1.8.jdk/Contents/Home/bin/java
INFO: jdk_version 8
/Users/mac/doris/doris/be/lib/doris_be: /Users/mac/doris/doris/be/lib/doris_be: cannot execute binary file

➜  log file /Users/mac/doris/doris/be/lib/doris_be
/Users/mac/doris/doris/be/lib/doris_be: ELF 64-bit LSB pie executable, x86-64, version 1 (SYSV), dynamically linked, interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 3.2.0, BuildID[xxHash]=49a6487bfb283a3a, with debug_info, not stripped

最终发现，可以启动DorisFE ，但是无法启动DorisBE ，原因就是/Users/mac/doris/doris/be/lib/doris_be 是一个为 GNU/Linux 编译的 64 位 ELF 可执行文件。由于 macOS 使用的是 Mach-O 格式的二进制文件，而不是 ELF 格式，因此这个文件无法在 macOS 上直接执行。

所以，不能直接使用，因此 mac的用户需要自己编译。

好吧，我信了… 本来想省点时间直接安装的，但是事与愿违，还是老老实实编译吧！
你也可以直接搞一个虚拟环境比如 centos7,unbantu操作系统，直接下载官网编译好的试试。

3. macbook 通过 docker 镜像编译Doris

参考：https://doris.apache.org/zh-CN/docs/install/source-install/compilation-with-docker/
这个也是官方推荐的做法，按照推荐的试试看。

主要步骤如下：

  1. 提前在 host 主机构建 maven 的 .m2 目录，以便将下载的 Java 库可以多次在 Docker 复用
    mkdir ~/.m2

  2. 运行构建镜像

# 注意修改自己的本地文件和 docker中的文件路径映射
docker run -it --network=host --name mydocker -v ~/.m2:/root/.m2 -v ~/docker-build/doris:/root/doris/ apache/doris:build-env-for-2.0
  1. 执行成功后，自动进入到 Docker 里
[root@docker-desktop ~]# ll
total 4
-rw-------  1 root root 3416 Nov 13  2020 anaconda-ks.cfg
drwxr-xr-x 52 root root 1664 Jun 17 02:26 doris

在这里插入图片描述

  1. 编译构建
[root@docker-desktop doris]# sh build.sh
Python 2.7.5
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: /usr/share/maven
Java version: 1.8.0_402, vendor: Red Hat, Inc., runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64/jre
Default locale: en_US, platform encoding: ANSI_X3.4-1968
OS name: "linux", version: "6.6.12-linuxkit", arch: "amd64", family: "unix"
cmake version 3.22.1
CMake suite maintained and supported by Kitware (kitware.com/cmake).
ninja 1.8.2
ccache version 4.8
Update apache-orc submodule ...
....

如果没有问题的话，那就可能出现了问题，如下所示：
在这里插入图片描述
这个问题，貌似是aggregate_function_max_by.cpp.o 的编译失败了，超出我的能力范围，无解。删除镜像重试看看。

[0/2] Re-checking globbed directories...
[98/369] Building CXX object src/vec/CMakeFiles/Vec.dir/exec/format/parquet/vparquet_column_re[144/369] Building CXX object src/vec/CM[285/369] Building CXX object src/vec/CMakeFiles/Vec.dir/functions/plus.cpp.oERRO[3170] error waiting for container: unexpected EOF

编译了半个多小时，终于把 docker 搞崩了，自动退出了，我。。。😭

4. 尝试通过 centos镜像安装

报错：
docker container run -it -v /Users/mac/doris:/data/doris bloque/centos7-java8 bash

[root@bb744ed8b03b be]# sh bin/start_be.sh --daemon
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
[root@bb744ed8b03b be]# sysctl -w vm.max_map_count=2000000
sysctl: setting key "vm.max_map_count": Read-only file system

[root@e6e06a0dbfa5 /]# sysctl  vm/max_map_count
vm.max_map_count = 262144

尝试赋予更大权限：

# 进入容器
docker run -it  --privileged   -v /Users/mac/doris:/data/doris bloque/centos7-java8 bash

# 启动 be ,要求先关掉交换区
[root@709dd7db0193 be]# bin/start_be.sh --daemon
Please disable swap memory before installation.

如何关闭交换区？

如下方式，现查看交换区的文件位置

[root@3ea12eabe60e bin]# swapon -s
Filename				Type		Size	Used	Priority
/var/lib/swap                          	file	1048572	0	-2

[root@3ea12eabe60e bin]# swapoff /var/lib/swap
swapoff: /var/lib/swap: swapoff failed: No such file or directory

在我的本地，我发现关闭不了。无奈之下，我只能采用终极解决办法了–注释掉 be 启动脚本的这一段内容：

if [[ "$(uname -s)" != 'Darwin' ]]; then
    MAX_MAP_COUNT="$(cat /proc/sys/vm/max_map_count)"
    if [[ "${MAX_MAP_COUNT}" -lt 2000000 ]]; then
        echo "Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'."
        exit 1
    fi

   # if [[ "$(swapon -s | wc -l)" -gt 1 ]]; then
   #    echo "Please disable swap memory before installation."
   #   exit 1
   # fi
fi

启动bin/start_be.sh --daemon 之后查看进程：

[root@3ea12eabe60e doris]# jps -ml
673 DorisBE
3160 org.apache.doris.DorisFE
3421 sun.tools.jps.Jps -ml

至此，fe,be终于启动完成。

为了使用，还需要安装 MySQL 客户端（因为它兼容 MySQL 协议）

[root@3ea12eabe60e doris]# yum install mysql
Loaded plugins: fastestmirror, ovl
base                                                                                                                                                                                                  | 3.6 kB  00:00:00
extras                                                                                                                                                                                                | 2.9 kB  00:00:00
updates                                                                                                                                                                                               | 2.9 kB  00:00:00
(1/4): extras/7/x86_64/primary_db                                                                                                                                                                     | 253 kB  00:00:00
(2/4): base/7/x86_64/group_gz                                                                                                                                                                         | 153 kB  00:00:02
(3/4): updates/7/x86_64/primary_db                                                                                                                                                                    |  27 MB  00:00:03
(4/4): base/7/x86_64/primary_db

启动 fe,be之后无法创建表的，需要将 be添加进去才行。

MySQL [(none)]>  ALTER SYSTEM ADD BACKEND "127.0.0.1:9050";
Query OK, 0 rows affected (0.03 sec)

MySQL [(none)]>  show backends;
+-----------+-----------+---------------+--------+----------+----------+--------------------+---------------+---------------+-------+----------------------+-----------+------------------+--------------------+---------------+---------------+---------+----------------+--------------------+--------------------------+--------+---------+---------------------------------------------------------------------------------------------------------------+-------------------------+----------+
| BackendId | Host      | HeartbeatPort | BePort | HttpPort | BrpcPort | ArrowFlightSqlPort | LastStartTime | LastHeartbeat | Alive | SystemDecommissioned | TabletNum | DataUsedCapacity | TrashUsedCapcacity | AvailCapacity | TotalCapacity | UsedPct | MaxDiskUsedPct | RemoteUsedCapacity | Tag                      | ErrMsg | Version | Status                                                                                                        | HeartbeatFailureCounter | NodeRole |
+-----------+-----------+---------------+--------+----------+----------+--------------------+---------------+---------------+-------+----------------------+-----------+------------------+--------------------+---------------+---------------+---------+----------------+--------------------+--------------------------+--------+---------+---------------------------------------------------------------------------------------------------------------+-------------------------+----------+
| 10088     | 127.0.0.1 | 9050          | -1     | -1       | -1       | -1                 | NULL          | NULL          | false | false                | 0         | 0.000            | 0.000              | 1.000 B       | 0.000         | 0.00 %  | 0.00 %         | 0.000              | {"location" : "default"} |        |         | {"lastSuccessReportTabletsTime":"N/A","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false} | 0                       |          |
+-----------+-----------+---------------+--------+----------+----------+--------------------+---------------+---------------+-------+----------------------+-----------+------------------+--------------------+---------------+---------------+---------+----------------+--------------------+--------------------------+--------+---------+---------------------------------------------------------------------------------------------------------------+-------------------------+----------+
1 row in set (0.01 sec)

三、Apache Doris 使用初探

以上部分已完成 Docker 中启动 Doris的服务，现在我们可以按照官网的示例来一遍测试。

  1. 连接 doris
    mysql -uadmin -P9030 -h127.0.0.1

  2. 测试 创建表，查询

MySQL [(none)]> use demo;
Database changed
MySQL [demo]> create table mytable
    -> (
    ->     k1 TINYINT,
    ->     k2 DECIMAL(10, 2) DEFAULT "10.05",
    ->     k3 CHAR(10) COMMENT "string column",
    ->     k4 INT NOT NULL DEFAULT "1" COMMENT "int column"
    -> )
    -> COMMENT "my first table"
    -> DISTRIBUTED BY HASH(k1) BUCKETS 1
    -> PROPERTIES ('replication_num' = '1');
Query OK, 0 rows affected (0.01 sec)

MySQL [demo]> show tables;
+----------------+
| Tables_in_demo |
+----------------+
| mytable        |
+----------------+
1 row in set (0.00 sec)

MySQL [demo]> show create table mytable;
  1. 导入文件

参照官网将data.csv文件导入新建的表中。

[root@3ea12eabe60e doris]# curl  --location-trusted -u admin: -T data.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/mytable/_stream_load
{
    "TxnId": 3,
    "Label": "bbbb9e58-1b52-475b-86d3-140eb7b4e754",
    "Comment": "",
    "TwoPhaseCommit": "false",
    "Status": "Success",
    "Message": "OK",
    "NumberTotalRows": 4,
    "NumberLoadedRows": 4,
    "NumberFilteredRows": 0,
    "NumberUnselectedRows": 0,
    "LoadBytes": 52,
    "LoadTimeMs": 336,
    "BeginTxnTimeMs": 22,
    "StreamLoadPutTimeMs": 205,
    "ReadDataTimeMs": 0,
    "WriteDataTimeMs": 66,
    "CommitAndPublishTimeMs": 40
}

查询结果：

[root@3ea12eabe60e doris]# mysql -uadmin -P9030 -h127.0.0.1 -Ddemo
MySQL [demo]> select * from mytable;
+------+------+------+------+
| k1   | k2   | k3   | k4   |
+------+------+------+------+
|    1 | 0.14 | a1   |   20 |
|    2 | 1.04 | b2   |   21 |
|    3 | 3.14 | c3   |   22 |
|    4 | 4.35 | d4   |   23 |
+------+------+------+------+
4 rows in set (0.11 sec)

参考

https://doris.apache.org/zh-CN/docs/get-starting/quick-start

总结

本文主要讲了如何构建一个单机版的 Doris 以便于学习使用，最后演示了官网的一个小示例仅供参考。
遇到这些问题无解的时候给人一种深深的无力挫败感，如按照官网说的去做，可能真的就是从入门到放弃了。
我花费了 4 个多小时踩了各种坑才最终将环境问题解决，希望大家可以避过这些坑，保持对学习的热忱，加油。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1834546.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

预埋螺栓抗滑移系数检测 内六角螺栓扭矩系数检测

预埋螺栓抗滑移系数检测 内六角螺栓扭矩系数检测

螺栓检测范围：螺栓，高强螺栓，地脚螺栓，不锈钢螺栓，六角头螺栓，管片螺栓，膨胀螺栓，化学螺栓，镀锌螺栓，植筋螺栓，普通螺栓，钢结构螺栓&a…
阅读更多...
【机器学习】CART决策树算法的核心思想及其大数据时代银行贷款参考案例——机器认知外界的重要算法

【机器学习】CART决策树算法的核心思想及其大数据时代银行贷款参考案例——机器认知外界的重要算法

目录 引言 概述 CART决策树的特点 核心思想 减少不确定性的指标 基尼系数（Gini Index） 分类错误率 熵 银行实例 背景 数据准备 模型构建 模型评估与优化 应用与结果 代码示例 ✈✈✈✈引言✈✈✈✈ CART算法既可以用于分类问题&#xff0…
阅读更多...
C# + easyui 写的一个web项目

C# + easyui 写的一个web项目

用C# easyui 来开发，其实就是为了开发速度，用easyui可以一天写很多页面，比一些低代码平台还快。 登陆页面 主界面 记录数统计 家庭信息采集表 新建家庭 家庭成员 低保、五保人员帮扶情况登记表 低保、五保人员帮扶情况登记表的新增和编辑 治…
阅读更多...
STM32学习笔记（五）--TIM输出比较PWM详解

STM32学习笔记（五）--TIM输出比较PWM详解

（1）配置步骤1.配置RCC外设时钟 开启GPIO以及TIM外设2.配置时基单元的时钟 包含时钟源选择配置初始化时基单元3.配置输出比较单元 包含CCR的值 输出比较模式 极性选择 输出使能等4.配置GPIO口 初始化为复用式推挽输出的配置5.运行控制 启动计数器 输出PWM…
阅读更多...
Java基础-案例练习-全是干货

Java基础-案例练习-全是干货

目录 案例：卖飞机票 案例：找质数： 案例：开发验证码 案例：评委打分 案例：卖飞机票 package anlixunlian;import java.util.Scanner;/*机票价格按照淡季旺季、头等舱和经济舱收费、 输入机票原价、月份和…
阅读更多...
Python进阶二: NumPy基础：数组和矢量计算

Python进阶二: NumPy基础：数组和矢量计算

二、NumPy基础：数组和矢量计算 本文源自微博客(www.microblog.store),且以获得授权 NumPy（Numerical Python的简称）是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。 NumPy的部分功能如下&#xf…
阅读更多...
SuiNS更新命名标准，增强用户体验

SuiNS更新命名标准，增强用户体验

SuiNS将其面向用户的命名标准从 xxx.sui 更新为 xxx，让用户能够以一种适用于Web2和Web3世界的方式来代表自己。通过此更新，用户可以在其选择的名称前使用 ，而不是在名称后添加 .sui。 Sui命名服务于去年推出，旨在使Sui上的地址更…
阅读更多...
docker-compose harbor 2.11

docker-compose harbor 2.11

harbor 前言 “Harbor” 是一个用于管理容器镜像的开源仓库项目。由 VMware 开发和维护，Harbor 提供一个企业级的 Docker 镜像仓库，具有丰富的功能，包括： 镜像管理：提供存储和分发 Docker 镜像的能力。安全性：支持镜像签名和漏洞扫描，确保镜像的安全性。身份认证：集成…
阅读更多...
如何查看自己本地ip

如何查看自己本地ip

1.winR 2.cmd 3.ipconfig
阅读更多...
python-开学?

python-开学?

[题目描述] 小执：终于可以开学啦！好开心啊！ 小理：你没看新闻吗，开学日期又延后了。 小执：𝑁𝑂𝑂𝑂𝑂𝑂𝑂𝑂&am…
阅读更多...
一文梳理ChatTTS的进阶用法，手把手带你实现个性化配音，音色、语速、停顿，口语，全搞定

一文梳理ChatTTS的进阶用法，手把手带你实现个性化配音，音色、语速、停顿，口语，全搞定

前几天和大家分享了如何从0到1搭建一套语音交互系统。 其中，语音合成（TTS）是提升用户体验的关键所在。于是，上一篇接着和大家聊了聊：全网爆火的AI语音合成工具-ChatTTS，有人已经拿它赚到了第一桶金&#x…
阅读更多...
代理配置SQUID

代理配置SQUID

目录 SQUID代理服务器配置 监听浏览器访问记录 拒绝访问配置 SQUID代理服务器配置 实验系统 windows 10 xxxxx Roucky_linux9.4 192.168.226.22 监听浏览器访问记录 1. 安装squid yum install squid -y 2. 编辑squid配置文件 vim /etc/squid…
阅读更多...
等保一体机：多种防护机制，让等保合规简单高效！

等保一体机：多种防护机制，让等保合规简单高效！

自1994年国务院颁布《中华人民共和国计算机信息系统安全保护条例》规定计算机信息系统实行安全等级保护以来，等级保护工作经过了近25年的发展历程，成为了我国网络安全保护的重要举措之一。 2019年12月1日等保2.0正式开始实施，我国网络安全行业…
阅读更多...
【大分享05】动态容差归档，打通不动产登记管理“最后一公里”

【大分享05】动态容差归档，打通不动产登记管理“最后一公里”

关注我们 - 数字罗塞塔计划 - 本篇是参加由电子文件管理推进联盟联合数字罗塞塔计划发起的“大分享”活动投稿文章，来自上海涵妍档案信息技术有限责任公司，作者：陈雪。 一、政策背景 在“互联网政务服务”的浪潮下，各级政府机构…
阅读更多...
在低侧电流检测中使用单端放大器：误差源和布局技巧

在低侧电流检测中使用单端放大器：误差源和布局技巧

低侧检测的主要优点是可以使用相对简单的配置来放大分流电阻器两端的电压。例如，通用运算放大器的同相配置可能是需要能够在消费市场领域竞争的成本敏感型电机控制应用的有效选择。 基于同相配置的电路图如图1所示。 图1。 然而，这种低成本解决方案可能…
阅读更多...
2288. 价格减免

2288. 价格减免

题目 给定一个字符串列表 sentence，表示一个句子，其中每个单词可以包含数字、小写字母和美元符号 $。如果单词的形式为美元符号后跟着一个非负实数，那么这个单词就表示一个价格。我们需要在价格的基础上减免给定的 discount%，并更…
阅读更多...
2023数A题——WLAN网络信道接入机制建模

2023数A题——WLAN网络信道接入机制建模

A题——WLAN网络信道接入机制建模 思路：该题主要考察的WLAN下退避机制建模仿真。 资料获取 问题1： 假设AP发送包的载荷长度为1500Bytes（1Bytes 8bits），PHY头时长为13.6μs，MAC头为30Bytes，MA…
阅读更多...
上海科技博物馆超薄OLED柔性壁纸屏应用方案

上海科技博物馆超薄OLED柔性壁纸屏应用方案

产品：2组55寸OLED柔性屏2x1 特点：嵌入墙体，与空间装饰融入一体 用途：播放文物展示 一、项目背景 上海科技博物馆作为展示科技与文化的交汇点，一直致力于为观众提供沉浸式的参观体验。为了提升文物展示的现代化和科技感…
阅读更多...
不可忽视的9条网页排版设计规则，你了解吗？

不可忽视的9条网页排版设计规则，你了解吗？

网页设计由95%的排版组成。网页排版设计使图形的放置栩栩如生，让用户保持愉悦，容易被用户视觉感知。在这个过程中，网页排版设计需要考虑很多因素:款式、大小、字体颜色等。此外，设计师通过网页排版，让文字增加设计的美…
阅读更多...
Kafka 高性能 7 大秘诀之 Segment 消息存储机制的奥妙

Kafka 高性能 7 大秘诀之 Segment 消息存储机制的奥妙

《Kafka 高性能 7 大秘诀》第 4 篇，解密 kafka Segment 日志存储思想哲学以及如何将磁盘的随机读写变成顺序读写，提高磁盘读写速度。 Kafka 使用日志文件存储消息，每个 Partition 的消息被存储在多个 Segment 文件中，避免了单个文…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023