Docker部署Doris超详细图文教程

news2024/9/25 7:17:44

Doris安装有非常多的方法，这里主要介绍Docker中使用dev容器用来学习和测试的方法，避免在其他教程中踩坑(生产环境不建议使用Docker安装)

这里介绍一个不踩坑的docker本地单机版，笔者安装环境为Windows下的Docker，若为Linux系统安装基本一样，Linux只会更好装

文章目录

      • 1.安装Docker
      • 2.修改内核参数
      • 3.下载Docker 开发环境镜像
      • 4.下载安装包
      • 5.启动镜像环境
      • 6.配置fe
      • 7.配置be
      • 8.建表测试
      • 9.远程连接

1.安装Docker

参考Windows下安装ClickHouse图文教程中步骤1~2安装WSL以及Docker，若已安装则自行忽略

2.修改内核参数

在安装doris时，需要将 Linux 操作系统的内核参数设置为2000000，这里是Doris官方要求的

在这里插入图片描述

我这里是Windows，所以我在WSL虚拟机中设置，cmd进入到wsl

wsl

进入虚拟机

sudo sysctl -w vm.max_map_count=2000000

查看是否设置成功

sysctl vm.max_map_count

如果为Linux系统，则直接在Docker宿主机中设置即可

3.下载Docker 开发环境镜像

根据需求选取版本，使用现成的镜像

我这里选择主干用的最新镜像，3.22GB，根据网速不同，下载时间不同，这个镜像主要是用来集成FE(Doris的前端UI)和BE(Doris的后台进程)的，里面包含一些常用的开发环境，例如JDK等

docker pull apache/doris:build-env-ldb-toolchain-latest

在这里插入图片描述

4.下载安装包

值得一提的是，官网于2023 年 7 月 3 日也就是4天前，发布了，Apache Doris 2.0-beta，因为是测试版，也是最新版，不免会存在这样那样的坑，笔者已经踩过一些了，为了稳定和便于安装，这里还是采用目前官网的稳定最新版 快速下载，这个版本的FE和BE已经整合到一个xz tar中了。Windows用户直接下载到本地即可，Linux用户可以使用wget复制连接下载到宿主机上，例如

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.4.1-bin-x86_64.tar.xz

然后需要下载MySQL，这里提供MySQL的免安装版MySQL 客户端，这里需要引入MySQL是因为了支持 Doris 的元数据存储和管理

wget https://doris-build-hk.oss-cn-hongkong.aliyuncs.com/mysql-client/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz

若下载实在缓慢，这里提供网盘下载

提取码: t4v4

5.启动镜像环境

docker run -d -it --name=doris \
-p 9030:9030 -p 8030:8030 \
apache/doris:build-env-ldb-toolchain-latest \
/bin/bash

复制安装包

docker cp D:/Dev/doris/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz doris:/opt
docker cp D:/Dev/doris/apache-doris-1.2.4.1-bin-x86_64.tar.xz doris:/opt

进入到容器中

docker exec -it doris bash
cd /opt/
tar -xvf apache-doris-1.2.4.1-bin-x86_64.tar.xz
tar -xzvf mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz
hostname -i

记住内网ip

在这里插入图片描述

6.配置fe

cd /opt/apache-doris-1.2.4.1-bin-x86_64/fe
vi conf/fe.conf

打开 priority_networks注释 将刚刚hostname -i打印出来的内网ip替换到

priority_networks = 172.17.0.2/24

在这里插入图片描述

接着启动fe

./bin/start_fe.sh --daemon
jps
curl http://127.0.0.1:8030/api/bootstrap

在这里插入图片描述

如图所示表示启动成功

因为在启动docker容器的时候，我们做了8030端口映射，我们可以直接在本机上访问

Windows，直接浏览器地址访问 http://localhost:8030/login，账号root，密码为空

在这里插入图片描述

登录成功后的Home页

在这里插入图片描述

接着在mysql中连接fe，默认无密码

/opt/mysql-5.7.22-linux-glibc2.12-x86_64/bin/mysql -uroot -P9030 -h127.0.0.1 --skip-ssl
show frontends\G;

注意：

  1. 这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看 权限管理
  2. -P ：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是fe.conf里的 query_port
  3. -h ： 这里是我们连接的 FE IP地址，如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1。

看到像我这样IsMaster、Join 和 Alive 三列均为true，则表示节点正常

在这里插入图片描述

7.配置be

exit;
cd /opt/apache-doris-1.2.4.1-bin-x86_64/be
vi conf/be.conf

和上面一样

替换内网ip到

priority_networks = 172.17.0.2/24

在这里插入图片描述

然后在启动脚本中设置jdk的路径，我们这里下载的镜像的jdk的默认路径为 /usr/lib/jvm/java-1.8.0

可以先ehco确认一下，因为使用的是最新镜像，路径可能随时版本的变更而改变

echo $JAVA_HOME

在这里插入图片描述

vi bin/start_be.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0

在这里插入图片描述

然后启动be，并在mysql中连接be，即在Doris中添加已经后端节点

./bin/start_be.sh --daemon 
/opt/mysql-5.7.22-linux-glibc2.12-x86_64/bin/mysql -uroot -P9030 -h127.0.0.1 --skip-ssl
ALTER SYSTEM ADD BACKEND "172.17.0.2:9050";
SHOW BACKENDS\G

看到像我这样的，Alive : true表示节点运行正常(如果为false，可以尝试等待一会再重新查看，第一次启动会慢一点；或有其他问题在/opt/apache-doris-1.2.4.1-bin-x86_64/be/log/be.out 里面查看日志)

在这里插入图片描述

正常启动的进程是这样的，会有一个空名字的进程，正常，就是be

在这里插入图片描述

8.建表测试

第一次接触doris的同学可能会疑惑，怎么语法与MySQL差不多，其实这里建表语句就提现出来了，下面的DDL，在MySQL是无法运行的

这里使用MySQL仅作为远程连接工具，在实际使用中仅需启动fe与be即可，Doris自动启动和管理内部的 MySQL 实例，用于存储和管理元数据

create database demo;
use demo;
CREATE TABLE IF NOT EXISTS demo.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "user id",
    `date` DATE NOT NULL COMMENT "",
    `city` VARCHAR(20) COMMENT "",
    `age` SMALLINT COMMENT "",
    `sex` TINYINT COMMENT "",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT ""
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);
exit;

新建一个数据文件

cd ~
vi test.csv

test.csv

10000,2017-10-01,beijing,20,0,2017-10-01 06:00:00,20,10,10
10006,2017-10-01,beijing,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,beijing,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,shanghai,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,guangzhou,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,shenzhen,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,shenzhen,35,0,2017-10-03 10:20:22,11,6,6

导入数据

curl  --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load

在这里插入图片描述

查询数据

/opt/mysql-5.7.22-linux-glibc2.12-x86_64/bin/mysql -uroot -P9030 -h127.0.0.1 --skip-ssl

mysql> use demo;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from example_tbl;
+---------+------------+-----------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city      | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+-----------+------+------+---------------------+------+----------------+----------------+
| 10000   | 2017-10-01 | beijing   |   20 |    0 | 2017-10-01 06:00:00 |   20 |             10 |             10 |
| 10001   | 2017-10-01 | beijing   |   30 |    1 | 2017-10-01 17:05:45 |    2 |             22 |             22 |
| 10002   | 2017-10-02 | shanghai  |   20 |    1 | 2017-10-02 12:59:12 |  200 |              5 |              5 |
| 10003   | 2017-10-02 | guangzhou |   32 |    0 | 2017-10-02 11:20:00 |   30 |             11 |             11 |
| 10004   | 2017-10-01 | shenzhen  |   35 |    0 | 2017-10-01 10:00:15 |  100 |              3 |              3 |
| 10004   | 2017-10-03 | shenzhen  |   35 |    0 | 2017-10-03 10:20:22 |   11 |              6 |              6 |
| 10006   | 2017-10-01 | beijing   |   20 |    0 | 2017-10-01 07:00:00 |   15 |              2 |              2 |
+---------+------------+-----------+------+------+---------------------+------+----------------+----------------+
7 rows in set (0.05 sec)

mysql> select * from example_tbl where city='beijing';
+---------+------------+---------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city    | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+---------+------+------+---------------------+------+----------------+----------------+
| 10000   | 2017-10-01 | beijing |   20 |    0 | 2017-10-01 06:00:00 |   20 |             10 |             10 |
| 10001   | 2017-10-01 | beijing |   30 |    1 | 2017-10-01 17:05:45 |    2 |             22 |             22 |
| 10006   | 2017-10-01 | beijing |   20 |    0 | 2017-10-01 07:00:00 |   15 |              2 |              2 |
+---------+------------+---------+------+------+---------------------+------+----------------+----------------+
3 rows in set (0.02 sec)

mysql> select city, sum(cost) as total_cost from example_tbl group by city;
+-----------+------------+
| city      | total_cost |
+-----------+------------+
| beijing   |         37 |
| shanghai  |        200 |
| guangzhou |         30 |
| shenzhen  |        111 |
+-----------+------------+
4 rows in set (0.03 sec)

9.远程连接

三方数据库管理工具链接参数，默认root用户无密码

虽然我们要连接到doris，但是这里只需要选择MySQL即可

<jdbc-driver>com.mysql.cj.jdbc.Driver</jdbc-driver>
<jdbc-url>jdbc:mysql://localhost:9030</jdbc-url>
<user-name>root</user-name>

在这里插入图片描述

除了三方工具，还可以访问ui界面 Playground

在这里插入图片描述

至此安装完成，附关闭命令

/opt/apache-doris-1.2.4.1-bin-x86_64/fe/bin/stop_fe.sh
/opt/apache-doris-1.2.4.1-bin-x86_64/be/bin/stop_be.sh

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/731742.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SwiftUI + Swift 设备振动

SwiftUI + Swift 设备振动

如何让设备振动呢 iPhone 6S 3D Touch&#xff0c;可以识别轻&#xff0c;中&#xff0c;重三种按压力度&#xff0c;配合恰到好处的振动有利于提升交互体验&#xff0c;但后面的新设备都不支持 3D Touch 了&#xff0c;改为了检测按压时间&#xff0c;按同一个图标&#xff0…
阅读更多...
如何用canvans实现地图上的运动轨迹

如何用canvans实现地图上的运动轨迹

1.先需要一个地图的图片 2.通过canvas绘制出运动轨迹 // 创建渐变function createGradient(context, p0, p1) {const gradient context.createLinearGradient(p0.x, p0.y, p1.x, p1.y);gradient.addColorStop(0, "rgba(255, 0, 255, 0)");gradient.addColorStop(1,…
阅读更多...
颜色渐变的数据密集适用的堆叠图

颜色渐变的数据密集适用的堆叠图

一般情况会用柱状图去堆叠&#xff0c;但是如果数据量太大了&#xff0c;就可考虑这种方式堆叠。可以呈现时间和数量上不同层次数据的变化。 效果图&#xff1a; 比较详细的注释一下源码&#xff1a; import matplotlib as mpl import matplotlib.pyplot as plt import numpy …
阅读更多...
第七章：L2JMobius学习 – 登录服务LoginServer讲解

第七章：L2JMobius学习 – 登录服务LoginServer讲解

在上一个章节中&#xff0c;我们学习了网络数据传输的封装network。那么&#xff0c;在本章的登录服务LoginServer的讲解中&#xff0c;我们就来使用一下这个封装好的功能。Network的封装需要我们继承很多的接口或类。我们首先查看一下登录服务LoginServer的文件结构&#xff0…
阅读更多...
[Android 13]Binder系列--获取ServiceManager

[Android 13]Binder系列--获取ServiceManager

获取ServiceManager hongxi.zhu 2023-7-1 以SurfaceFlinger为例&#xff0c;分析客户端进程如何获取ServiceManager代理服务对象 主要流程 SurfaceFlinger中获取SM服务 frameworks/native/services/surfaceflinger/main_surfaceflinger.cpp // publish surface flingersp<…
阅读更多...
mysql单表查询，排序，分组查询，运算符

mysql单表查询，排序，分组查询，运算符

CREATE TABLE emp (empno int(4) NOT NULL, --员工编号ename varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,--员工名字job varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,--员工工作mgr int(4) NULL DEFAULT NU…
阅读更多...
随机产生50个100以内的不重复的整数，设计位图排序算法进行排序。

随机产生50个100以内的不重复的整数，设计位图排序算法进行排序。

1.问题 随机产生50个100以内的不重复的整数&#xff0c;设计位图排序算法进行排序。 2.设计思路 阶段1&#xff1a; 初始化一个空集合    for i[0,n)    bit[i]0 阶段2&#xff1a; 读入数据i&#xff0c;并设置bit[i]1    for each i in the input file    bit[i]1…
阅读更多...
Tomcat 应用服务 WEB服务

Tomcat 应用服务 WEB服务

简述&#xff1a; 中间件产品介绍 目前来说IBM的WebSphere&#xff0c;Oracle的Weblogic占据了市场上Java语言Web站点的部分份额&#xff0c;该两种软件由于无与伦比的性能及可靠性等优势被广泛应用于大型互联网公司的Web场景中&#xff0c;但是其高昂的价格也使得中小型互联…
阅读更多...
DL-FWI：数据（第二次培训作业）

DL-FWI：数据（第二次培训作业）

代码&#xff1a; import scipy.io import matplotlib import numpy as np import matplotlib.pylab as plt matplotlib.use(TkAgg) from mpl_toolkits.axes_grid1 import make_axes_locatable import cv2font21 {family: Times New Roman,weight: normal,size: 21,}font18 …
阅读更多...
【通览一百个大模型】LaMDA（Google）

【通览一百个大模型】LaMDA（Google）

【通览一百个大模型】LaMDA&#xff08;Google&#xff09; 作者&#xff1a;王嘉宁&#xff0c;本文章内容为原创&#xff0c;仓库链接&#xff1a;https://github.com/wjn1996/LLMs-NLP-Algo 订阅专栏【大模型&NLP&算法】可获得博主多年积累的全部NLP、大模型和算法干…
阅读更多...
图像金字塔、滑动条、鼠标事件响应

图像金字塔、滑动条、鼠标事件响应

1、拉普拉斯图像金字塔 1.1 原理 1.2 实现 //拉普拉斯图像金字塔 void test1() {//高斯图像金字塔构建Mat img imread("F:/testMap/lena.png");vector<Mat> Guass;int level 3;Guass.push_back(img);for (int i 0; i < level; i){Mat guass;pyrDown(Gua…
阅读更多...
蓝桥杯每日一练专栏导读2

蓝桥杯每日一练专栏导读2

之前一直更新的是C、C相关的题目&#xff0c;但作为一名前端工程师&#xff0c;还是对Js了解的更多一些&#xff0c;所以从此以后停止更新C/C相关内容&#xff0c;改为更新Js相关的练习题。 内容 更新的内容依旧是蓝桥杯大赛官网提供的习题。每一道题都会提供详细的解题思路&a…
阅读更多...
方案编制要求--模版--可以借鉴

方案编制要求--模版--可以借鉴

写方案的标题要求的编写&#xff0c;可以参照这个进行编写&#xff1b; 附录2&#xff1a;方案编制要求及模板 一、封面格式要求 封面内容应包括项目名称、需求单位&#xff08;盖章&#xff09;、建设单位&#xff08;盖章&#xff09;、设计单位&#xff08;盖章&#xff0…
阅读更多...
线段树：一遍通透线段树

线段树：一遍通透线段树

线段树有关的操作&#xff08;先大体上知道什么意思&#xff09;: 1 2 3 4 5 线段树前置知识&#xff1a; 由于线段树是一个完美二叉树&#xff0c;所以我们选择的是一维数组来存储线段树的相关知识&#xff1a; 所以&#xff1a; 1如果一个结点是X&#xff0c;则父节…
阅读更多...
基于MATLAB的简单线性回归详解

基于MATLAB的简单线性回归详解

概要 在机器学习领域中大多数任务通常都与预测&#xff08;prediction&#xff09;有关。当我们想预测一个数值时&#xff0c;就会涉及到回归问题。常见的例子包括&#xff1a;预测价格&#xff08;房屋、股票等&#xff09;、预测住院时间&#xff08;针对住院病人等&#xff…
阅读更多...
如何用python编写3D游戏

如何用python编写3D游戏

Vizard是一款虚拟现实开发平台软件&#xff0c;从开发至今已走过十个年头。它基于C/C&#xff0c;运用新近OpenGL拓展模块开发出的高性能图形引擎。当运用Python语言执行开发时&#xff0c;Vizard同时自动将编写的程式转换为字节码抽象层(LAXMI)&#xff0c;进而运行渲染核心。…
阅读更多...
当型循环和直到型循环（精讲）

当型循环和直到型循环（精讲）

目录 背景概念当型循环直到型循环 二维表对比图示与代码当型循环流程图N-S图&#xff08;盒图&#xff09; 直到型循环流程图N-S图&#xff08;盒图&#xff09; 例子当型图示代码 直到型图示代码 Do–Loop 和For –Next相同点&#xff1a;不同点&#xff1a;代码 总结 背景 两…
阅读更多...
day02 重新学python——判断语句和循坏语句

day02 重新学python——判断语句和循坏语句

文章目录 一、python中的判断语句1.布尔类型和比较运算符2.if语句的基本格式3.if else 语句4.if elif else 语句5.判断语句的嵌套6.实战案例 二、循环语句1.while循环的基础语法2.while循环的基础案例3.while循环的嵌套应用4.while循环的嵌套案例5.for循环的基础语法6.for循环的…
阅读更多...
【计算机网络】第三章 数据链路层（点对点协议 媒体介入控制）

【计算机网络】第三章 数据链路层（点对点协议 媒体介入控制）

文章目录 3.5 点对点协议PPP3.6 媒体接入控制3.6.1 媒体接入控制的基本概念3.6.2 媒体接入控制——静态划分信道3.6.3 随机接入——CSMA/CD协议3.6.4 随机接入——CSMA/CA协议 3.5 点对点协议PPP 点对点协议是目前使用最广泛的点对点数据链路层协议。PPP协议为在点对点链路传输…
阅读更多...
JAVA Email

JAVA Email

Email就是电子邮件。电子邮件的应用已经有几十年的历史了&#xff0c;我们熟悉的邮箱地址比如aaaa22222163.com&#xff0c;邮件软件比如Outlook、网易闪电邮、Foxmail都是用来收发邮件的。当然&#xff0c;使用Java程序也可以收发电子邮件。 传统的邮件就是通过邮局投递&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023