大数据 - Doris系列《二》- Doris安装（亲测成功版）

news2025/4/12 23:55:23

目录

🐶2.1 安装前准备

🥙1.设置系统最大文件打开句柄数 ==>启动一个程序的时候，打开文件的数量就是句柄数

🥙3.时钟同步

🥙4.关闭交换分区（swap）

🐶2.2 安装FE

🐶2.3 安装BE

🐶2.4 BE向FE注册

🐶2.5 扩容和缩容（搭建集群）

🥙2.5.1 doris集群的扩容

🥙2.5.2 缩容

🐶2.1 安装前准备

  • Linux 操作系统版本需求

Linux 系统版本
CentOS7.1 及以上
Ubuntu16.04 及以上

  • 软件需求

软件版本
Java1.8 及以上
GCC4.8.2 及以上

  • 测试环境硬件配置需求

模块CPU内存磁盘网络实例数量
Frontend8核+8GB+SSD 或 SATA，10GB+ *千兆网卡1
Backend8核+16GB+SSD 或 SATA，50GB+ *千兆网卡1-3 *

  • 生产环境硬件配置需求

模块CPU内存磁盘网络实例数量（最低要求）
Frontend16核+64GB+SSD 或 RAID 卡，100GB+ *万兆网卡1-5 *
Backend16核+64GB+SSD 或 SATA，100G+ *万兆网卡10-100 *

  • 操作系统环境要求

🥙1.设置系统最大文件打开句柄数 ==>启动一个程序的时候，打开文件的数量就是句柄数

doris要求在linux上面只要要打开65536的句柄数，doris才能正常运行。而linux默认打开的句柄数为1000.所以需要修改。

1.打开文件
security  /sɪˈkjʊərəti/
vi /etc/security/limits.conf 
2.在文件最后添加下面几行信息(注意* 也要复制进去)

* soft nofile 65536
* hard nofile 65536 
* soft nproc 65536
* hard nproc 65536

ulimit -n 65536 临时生效

修改完文件后需要重新启动虚拟机，重启永久生效
reboot


如果不修改这个句柄数大于等于60000，回头启动doris的be节点的时候就会报如下的错
如果报错：Please set the maximum number of open file descriptors to be 65536 using 'ulimit -n 65536'.
代表句柄数没有生效，需要临时设置或者重启电脑


第一次启动的时候可能会报错
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
解决方案：
命令行输入：sysctl -w vm.max_map_count=2000000

 🥙2.设置文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量

临时生效：
sysctl -w vm.max_map_count=2000000

永久剩下
vi /etc/sysctl.conf
在文件最后一行添加
vm.max_map_count=2000000

让他永久生效
sysctl -p

检查是否生效
sysctl -a|grep vm.max_map_count

🥙3.时钟同步

Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。

如何时间同步？？
首先安装 ntpdate   
# ntpdate是一个向互联网上的时间服务器进行时间同步的软件
[root@doitedu01 doris]# yum install ntpdate -y

然后开始三台机器自己同步时间

[root@node01 ~]# ntpdate ntp.sjtu.edu.cn

美国标准技术院时间服务器：time.nist.gov（192.43.244.18）
上海交通大学网络中心NTP服务器地址：ntp.sjtu.edu.cn（202.120.2.101）
中国国家授时中心服务器地址：cn.pool.ntp.org（210.72.145.44）

# 将当前时间写入bios，这样才能永久生效不变，不然reboot后还会恢复到原来的时间
clock -w

🥙4.关闭交换分区（swap）

交换分区是linux用来当做虚拟内存用的磁盘分区；

linux可以把一块磁盘分区当做内存来使用（虚拟内存、交换分区）；

Linux使用交换分区会给Doris带来很严重的性能问题，建议在安装之前禁用交换分区；

1、查看 Linux 当前 Swap 分区
free -m
2、关闭 Swap 分区
swapoff -a

[root@doitedu01 app]# free -m
              total        used        free      shared  buff/cache   available
Mem:           5840         997        4176           9         666        4604
Swap:          6015           0        6015
[root@doitedu01 app]# swapoff -a

3.验证是否关闭成功
[root@doitedu01 app]# free -m   
              total        used        free      shared  buff/cache   available
Mem:           5840         933        4235           9         671        4667
Swap:             0           0           0

注意事项：

  1. FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个GB 不等。

  2. BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量* 3（3 副本）计算，然后再预留额外 40%的空间用作后台 compaction 以及一些中间数据的存放。

  3. 一台机器上可以部署多个 BE 实例，但是只能部署一个 FE。如果需要 3 副本数 据，那么至少需要 3 台机器各部署一个 BE 实例（而不是 1 台机器部署 3 个 BE 实例）。多 个 FE 所在服务器的时钟必须保持一致（允许最多 5 秒的时钟偏差）

  4. 测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定了整体查询延迟。

  5. 所有部署节点关闭 Swap。

  6. FE 节点数据至少为 1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时,可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。

  7. Follower 的数量必须为奇数，Observer 数量随意。

  8. 根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。

  9. Broker 是用于访问外部数据源（如 HDFS）的进程。通常，在每台机器上部署一个 broker 实例即可。

🐶2.2 安装FE

  1. 去官网下载源码包，官网地址：https://doris.apache.org

 根据自己的配置选择性点击下载

当然你也可以选择历史版本下载

2. 上传到linux

3. 解压

官网下载下来的是xz结尾的，所以解压需要用
tar -xvJf ***.tar.xz

4.修改配置文件

-- 去自己的路径中找到fe.conf文件
vi /opt/app/doris1.2.5/fe/conf/fe.conf 

#配置文件中指定元数据路径： 注意这个文件夹要自己创建
meta_dir = /opt/data/doris/fe/doris-meta

#修改绑定 ip（每台机器修改成自己的 ip） 
priority_networks = 192.168.100.0/24

这个元数据的存放路径是在linux本地的

5. 添加环境变量

#doris_fe
export DORIS_FE_HOME=/opt/app/doris1.2.5/fe
export PATH=$PATH:$DORIS_FE_HOME/bin

6. 分发集群

> scp /et/profile hadoop02:/etc/profile
> scp -r /opt/apps/doris1.2.5/ hadoop02:/opt/apps/doris1.2.5/

> scp /et/profile hadoop03:/etc/profile
> scp -r /opt/apps/doris1.2.5/ hadoop03:/opt/apps/doris1.2.5/

7. 启动

进入到fe的bin目录下执行
[root@doitedu01 bin]# ./start_fe.sh --daemon       //该脚本以守护（daemon)模式运行

8. 查看是否启动成功

jps

结果：

 

9. 安装问题

问题：在这里我一开始只用./start_fe.sh 启动，进程一直结束不了。使用ctrl+C跳出后，进程也随之结束了。

原因这可能是因为在非守护（daemon）模式下，该命令在前台运行，占用了终端并阻塞了你的输入。通过使用 --daemon 参数，你将该命令转为在后台以守护进程的形式运行，不再与当前终端关联，因此可以正常结束终端而不影响该进程的运行。

生产环境强烈建议单独指定目录不要放在 Doris 安装目录下，最好是单独的磁盘（如果有 SSD 最好）。 如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定，才能正确识别。 JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。

🐶2.3 安装BE

1. 修改配置文件

 2. 进入到be的conf目录下修改配置文件

vi be.conf  

#配置文件中指定数据存放路径： 
storage_root_path = /opt/data/doris/be/storage.HDD;/opt/data/doris/be/storage.SSD

#修改绑定 ip（每台机器修改成自己的 ip） 
priority_networks = 192.168.100.0/24 

第一次启动的时候可能会报错
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
解决方案：
命令行输入：sysctl -w vm.max_map_count=2000000

如果报错：Please set the maximum number of open file descriptors to be 65536 using 'ulimit -n 65536'.

硬盘驱动器（HDD）和固态硬盘（SSD）都是计算机存储设备，但它们在工作原理和性能方面有很大的不同。

  1. HDD（Hard Disk Drive）硬盘驱动器：

    1. 工作原理： HDD使用旋转的磁盘（称为盘片）来存储数据。数据存储在盘片的表面，通过一个移动的读写头来读取或写入数据。这个读写头在盘片上移动，类似于唱片机的臂。

    2. 特点： 相对较便宜，容量大，适用于大量数据存储。但由于机械部件的存在，速度相对较慢，对冲击和振动敏感。

  2. SSD（Solid State Drive）固态硬盘：

    1. 工作原理： SSD没有机械部件，而是使用闪存存储技术，类似于USB闪存驱动器。数据通过电子存储在芯片中，读写速度更快。

    2. 特点： 速度更快，对冲击和振动不敏感，能耐受更高的温度。相对较小轻便，省电。但价格相对较高，容量较小。

Doris不会检查到底是否挂载到hdd或者ssd上，它只会根据你创建的文件夹的后缀去判断是ssd还是hdd

一般我们电脑只有一个SSD硬盘，我们可以将storage.HDD和storage.SSD文件夹都挂载到SSD硬盘上。

2. 添加环境变量

#doris_be
export DORIS_BE_HOME=/opt/app/doris1.2.5/be
export PATH=$PATH:$DORIS_BE_HOME/bin

3. 启动BE

启动 BE（每个节点） 
/opt/app/doris/be/bin/start_be.sh --daemon

4. 尝试登录doris看看是否成功

启动后再次查看BE的节点
mysql -h doitedu01 -P 9030 -uroot -p 123456
mysql -uroot -p -P9030 -hhadoop01

结果：

5. 尝试访问Web UI界面看看是否成功

主机名：8030（fe Web UI界面）

主机名：8040（BE WEB UI界面）

6. 注意事项：

1)storage_root_path 默认在 be/storage 下，需要手动创建该目录。多个路径之间使用英文状

态的分号;分隔（最后一个目录后不要加）。

2)可以通过路径区别存储目录的介质，HDD 或 SSD。可以添加容量限制在每个路径的末

尾，通过英文状态逗号，隔开，如：

storage_root_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD,10;/home/disk2/doris

3)说明：

/home/disk1/doris.HDD,50，表示存储限制为 50GB，HDD;

/home/disk2/doris.SSD,10，存储限制为 10GB，SSD；

/home/disk2/doris，存储限制为磁盘最大容量，默认为 HDD

🐶2.4 BE向FE注册

这样就好了嘛？不是哦

因为FE和BE两个都是单独的个体，所以他俩相互间还不认识，就需要我们通过mysql的客户端将他们建立起联系

show proc '/backends' \G; --以文本的形式展示所有的be节点
show proc '/frontends' \G;  --以文本的形式展示所有的fe节点

Alive so为 false 表示该 BE 节点还是死的
Alive 为 true 表示该 BE 节点存活。

be和fe本身都是两个单独的后台服务进程

需要将be向fe进行注册
alter system add backend 'hadoop01:9050';

此时再次show backends,就可以看到信息了。

🐶2.5 扩容和缩容（搭建集群）

🥙2.5.1 doris集群的扩容

1）需要将linux01上面配好的doris文件分发到linux02和03两台机器上
2）--修改配置文件

  • fe ip：192.168.100. ==》因为ip地址前24位是相同的所以，所以这里不需要修改
  • 元数据存储的路径要改吗？==》要创建的是一个空的文件夹
  • be ip ==》因为ip地址前24位是相同的所以，所以这里不需要修改）
  • 数据存储的路径要不要改 ==》 创建空文件夹

3）启动linux02和linux03上的fe和be
第一次启动fe的时候，需要加上一个参数  --helper linux01:9010
be不需要，只有fe需要

4）将02 和 03 上的fe和be启动起来之后
linux01上的fe认识这俩吗？

不认识，所有linux02和linux03的fe及be节点也需要向linux01的fe节点报道，这样才能写进元数据。

alter system add backend 'linux02:9050';
alter system add backend 'linux03:9050';
alter system add follower 'linux03:9010';
alter system add follower 'linux02:9010';

🥙2.5.2 缩容

alter system drop backend "doitedu01:9050"; 直接删除
alter system decommission backend "doitedu01:9050"; 先备份后删除

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1356323.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

seo分享：慎重使用蜘蛛池

seo分享：慎重使用蜘蛛池

其实要提高搜索引擎蜘蛛的来访次数，唯一的方法还是要通过网站本身的内容更新。频繁更新有质量的内容，才能够提高蜘蛛的来访次数。如果本身内容更新不多，外部引流的蜘蛛过多，最终发现没什么内容索引，蜘蛛来访的次数也会…
阅读更多...
express+mongoDB开发入门教程之mongoose使用讲解

express+mongoDB开发入门教程之mongoose使用讲解

系列文章 node.js express框架开发入门教程 expressmongoDB开发入门教程之mongoDB安装expressmongoDB开发入门教程之mongoose使用讲解 文章目录 系列文章前言一、Mongoose是什么？二、Mongoose安装三、Mongoose在express项目中使用步骤一、连接mongoDB数据库步骤二、…
阅读更多...
网络路由跟踪工具

网络路由跟踪工具

随着企业网络需求的增长，组织发现监控和管理其网络基础设施变得越来越困难。网络管理员正在转向其他工具和资源，这些工具和资源可以使他们的工作更轻松一些，尤其是在故障排除方面。 目前，网络管理员主要使用简单、免费提供的实用…
阅读更多...
C#中使用 async await TaskCompletionSource＜T＞实现异步逻辑同步写

C#中使用 async await TaskCompletionSource＜T＞实现异步逻辑同步写

Task、async 和 await 是 C# 中用于处理异步编程的关键概念。它们一起构成了异步编程的基础。 Task Task 是表示异步操作的抽象，它属于 System.Threading.Tasks 命名空间。Task 可以表示已经完成的任务、正在运行的任务或者尚未开始的任务。通过 Task，…
阅读更多...
MySQL自定义时间间隔抽稀

MySQL自定义时间间隔抽稀

MySQL自定义时间间隔抽稀 表设计数据如下按分钟抽稀按小时抽稀按天抽稀 表设计 create table monitor (tid varchar(255) not null,save_date datetime not null,tlevel decimal(10, 2) null,primary key (tid, save_date) );数据如下 按分钟抽稀 SELECT t2…
阅读更多...
FLatten Transformer：聚焦式线性注意力模块

FLatten Transformer：聚焦式线性注意力模块

线性注意力将Softmax解耦为两个独立的函数，从而能够将注意力的计算顺序从(querykey)value调整为query(keyvalue)，使得总体的计算复杂度降低为线性。然而，目前的线性注意力方法要么性能明显不如Softmax注意力，并且可能涉及映射函数…
阅读更多...
webapp下没有蓝点解决

webapp下没有蓝点解决

解决方法： File->Project Structure 现在就是一个JavaWeb项目了。
阅读更多...
华为云CES监控与飞书通知

华为云CES监控与飞书通知

华为云负载均衡连接数监控与飞书通知 在云服务的日常运维中，持续监控资源状态是保障系统稳定性的关键步骤之一。本文通过一个实际案例展示了如何使用华为云的Go SDK获取负载均衡器的连接数，并通过飞书Webhook发送通知到团队群组，以便运维人员…
阅读更多...
2024 Nomachine 最简安装与使用指南

2024 Nomachine 最简安装与使用指南

一、前言 二、Nomachine安装包的下载 1、Windows系统下Nomachine包的下载 2、Linux系统Nomachine的下载 （1）下载Nomachine安装包 （2）解压安装包 （3）添加权限 （4）下载安装包 三、在Wi…
阅读更多...
基于GEC6818的点餐系统

基于GEC6818的点餐系统

本次项目开发环境：gec6818，QT5.14.2，SecureCRT。 所使用的相关技术：c/s架构，STL库，C封装，标准化代码编写 实现的功能：用户登录页面，食品分区在不同页面，用户…
阅读更多...
2023海内外零知识证明学习资料汇总（二）（深入理解零知识证明篇）

2023海内外零知识证明学习资料汇总（二）（深入理解零知识证明篇）

工欲善其事,必先利其器 Web3开发中，各种工具、教程、社区、语言框架.。。。 种类繁多，是否有一个包罗万象的工具专注与Web3开发和相关资讯能毕其功于一役？ 参见另一篇博文👉 2024最全面且有知识深度的web3开发工具、web3学习项目…
阅读更多...
Java中关键词strictfp有什么作用？

Java中关键词strictfp有什么作用？

在Java中，关键词strictfp用于声明一个方法、类或接口是严格遵守浮点数计算规范的。 具体作用包括： 保证浮点数计算的结果在不同平台上是一致的，避免由于浮点数计算的不精确性导致的结果不确定性。 指定了严格的浮点数计算规则，禁…
阅读更多...
【机器学习基础】DBSCAN

【机器学习基础】DBSCAN

🚀个人主页：为梦而生~ 关注我一起学习吧！ 💡专栏：机器学习 欢迎订阅！相对完整的机器学习基础教学！ ⭐特别提醒：针对机器学习，特别开始专栏：机器学习python实战…
阅读更多...
springboot实现用户操作日志记录

springboot实现用户操作日志记录

springboot实现用户操作日志记录 简介：之前写了《aop实现日志持久化记录》一文，主要介绍自定义aop标注方法上，通过切面方法对用户操作插入mysql。思路正确但是实际操作上存在一些小问题，本文将从项目出发，对细节进行补…
阅读更多...
vue3+vant4 移动端软键盘弹出 收起导致项目样式布局错乱解决方案，亲测有效！！

vue3+vant4 移动端软键盘弹出 收起导致项目样式布局错乱解决方案，亲测有效！！

问题描述 最近在做vue3 H5的移动端项目 我用的是vue3vant4，然后在使用过程中发现 小米14手机在点击密码输入框软键盘弹出 时会导致项目布局整体向上移动 导致页面布局错乱。 原因分析： 在移动端软键盘弹出收起时，导致项目样式布局错乱的原因…
阅读更多...
内网DNS隐蔽隧道搭建之iodine工具

内网DNS隐蔽隧道搭建之iodine工具

iodine iodine是基于C语言开发的，分为服务端和客户端。iodine支持转发模式和中继模式。其原理是：通过TAP虚拟网卡，在服务端建立一个局域网；在客户端，通过TAP建立一个虚拟网卡；两者通过DNS隧道连接&#xf…
阅读更多...
前端开发加速器：十个VSCode插件精选

前端开发加速器：十个VSCode插件精选

前端开发是一个不断发展的领域，随着技术的进步，工具也在不断更新。Visual Studio Code（VSCode）是前端开发者广泛使用的编辑器之一，得益于其强大的插件系统，可以帮助开发者提升工作效率。以下是十个对于前端…
阅读更多...
任务需求分析中的流程图、用例图、er图、类图、时序图线段、图形的作用意义

任务需求分析中的流程图、用例图、er图、类图、时序图线段、图形的作用意义

任务需求分析中的流程图、用例图、er图、类图、时序图线段、图形的作用意义 流程图 流程图中各种图形的含义及用法解析 连接线符号 连接各要素，表示流程的顺序或过程的方向。 批注符号 批注或说明，也可以做条件叙述。 子流程 流程中一部分图形的逻辑…
阅读更多...
程序员如何应对裁员-法律知识

程序员如何应对裁员-法律知识

目录 程序员如何应对裁员-法律知识 前言收到辞退消息后被要求主动离职可以赔偿多少呢裁员赔偿工资是指基本工资吗被强制接触劳动合同，也不愿意支付赔偿孕妇，公司让离职谈话之后，老板还是不愿意给补偿，我应该怎么办？离…
阅读更多...
IO作业4.0

IO作业4.0

思维导图 创建出三个进程完成两个文件之间拷贝工作&#xff0c;子进程1拷贝前一半内容&#xff0c;子进程2拷贝后一半内容&#xff0c;父进程回收子进程的资源 #include <stdio.h> #include <string.h> #include <stdlib.h> #include <myhead.h> int …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023