CentOS7安装部署Doris

news2024/11/13 9:25:40

文章目录

  • CentOS7安装部署Doris
  • 一、前言
    • 1.简介
    • 2.环境
  • 二、正文
    • 1.Doris基础
      • 1）架构图
      • 2）通讯端口
    • 2.部署服务器
    • 3.安装基础环境
      • 1）安装JDK 11
      • 2）安装GCC
      • 3）设置文件句柄数
      • 4）关闭交换分区（swap）
      • 5）时钟同步
      • 6）关闭防火墙
    • 4.集群部署
      • 1）安装FE
      • 2）拷贝BE
      • 3）安装BE
      • 4）安装MySQL客户端
      • 5）测试
      • 6）WebUI
    • 5.服务自启动
      • 1）配置FE自启动
      • 2）配置BE自启动
      • 3）启动服务

CentOS7安装部署Doris

一、前言

1.简介

Apache Doris是基于MPP架构的新一代开源实时数据仓库，使用更方便，性能更高，适用于大数据分析。

2.环境

  • Linux 发行版：**CentOS-7-x86_64-DVD-1804.iso **
  • JDK 版本：Java SE Development Kit 11.0.19
  • Doris 版本：1.2.4.1

快速开始

Doris 介绍

标准部署 - Apache Doris

弹性扩缩容 - Apache Doris

Download - Apache Doris

ALTER-SYSTEM-DROP-BACKEND - Apache Doris

弹性扩缩容 - Apache Doris

CentOS基础操作命令

CentOS对换home分区与root分区的存储空间

CentOS7安装部署Java11

CentOS7安装部署MySQL80

二、正文

1.Doris基础

1）架构图

Doris 介绍

在这里插入图片描述

  • FE（Frontend）主要负责元数据的管理、存储，以及查询的解析等

  • BE（Backend）则主要负责数据的存储、以及查询计划的执行。BE 中的每个节点都存储有数据的多副本，从而保证数据的高可用和高可靠

2）通讯端口

标准部署 - Apache Doris

  • Doris 各个实例直接通过网络进行通讯，端口如下：
实例名称端口名称默认端口通讯方向说明
BEbe_port9060FE --> BEBE 上 thrift server 的端口，用于接收来自 FE 的请求
BEwebserver_port8040BE <–> BEBE 上的 http server 的端口
BEheartbeat_service_port9050FE --> BEBE 上心跳服务端口（thrift），用于接收来自 FE 的心跳
BEbrpc_port8060FE <–> BE, BE <–> BEBE 上的 brpc 端口，用于 BE 之间通讯
FEhttp_port8030FE <–> FE，用户 <–> FEFE 上的 http server 端口
FErpc_port9020BE --> FE, FE <–> FEFE 上的 thrift server 端口，每个fe的配置需要保持一致
FEquery_port9030用户 <–> FEFE 上的 mysql server 端口
FEedit_log_port9010FE <–> FEFE 上的 bdbje 之间通信用的端口
Brokerbroker_ipc_port8000FE --> Broker, BE --> BrokerBroker 上的 thrift server，用于接收请求
  • FE 元数据存放位置：meta_dir = ${DORIS_HOME}/doris-meta
  • BE 数据存放目录：storage_root_path = ${DORIS_HOME}/storage

2.部署服务器

集群名IP 地址实例
Doris001192.168.8.111FE
Doris002192.168.8.112BE
Doris003192.168.8.113BE

3.安装基础环境

在3 台服务器上执行基础环境的安装和配置

1）安装JDK 11

  • 参考：CentOS7安装部署Java11
  • 安装目录：/opt/java/jdk-11.0.19

2）安装GCC

yum -y install gcc
gcc --version

3）设置文件句柄数

  • 设置系统最大打开文件句柄数

  • 编辑 limits.conf

vim /etc/security/limits.conf
  • 写入内容
* soft nofile 65536 
* hard nofile 65536
* soft nproc 204800
* hard nproc 204800
  • 显示当前用户进程可以打开的最大文件描述符数目
ulimit -n

4）关闭交换分区（swap）

  • 查询交换分区
swapon --show
  • 关闭交换分区
# 备用：打开交换分区：swapon -a
swapoff -a
  • 编辑 /etc/fstab
vim /etc/fstab
  • 加入注释
# /dev/mapper/centos-swap swap                    swap    defaults        0 0

5）时钟同步

  • 安装 rdate 软件包
#安装rdate
yum -y install rdate

#同步时间
rdate -s time-b.nist.gov

#查看时间是否正确
date
  • 安装定时器软件包
yum -y install crontab
  • 创建 crontab 任务
crontab -e
  • 写入内容：20 秒同步一次
*/20 * * * * /usr/bin/rdate -s time-b.nist.gov > /dev/null 2>&1
  • 重启 crontab 服务
service crond reload
  • 其它时间同步服务器节点
节点位置节点域名
东南大学s1d.time.edu.cn
清华大学s1e.time.edu.cn
清华大学s2a.time.edu.cn
清华大学s2b.time.edu.cn
北京邮电大学s2c.time.edu.cn
上海交通大学ntp.sjtu.edu.cn
北京邮电大学s1a.time.edu.cn
北京大学s1c.time.edu.cn
香港中文大学clock.cuhk.edu.hk

6）关闭防火墙

  • 可禁用防火墙，或配置开放的端口，后者比较安全
#--关闭防火墙
systemctl stop firewalld.service
#--开机禁用防火墙
systemctl disable firewalld.service
#--防火墙状态
systemctl status firewalld.service

4.集群部署

1）安装FE

FE 服务器：192.168.8.111

  • 创建安装目录
mkdir /opt/doris
cd /opt/doris
  • 下载安装包，当前安装版本：1.2.4.1

Download - Apache Doris

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.4.1-bin-x86_64.tar.xz
  • 解压安装包
tar -xvf apache-doris-1.2.4.1-bin-x86_64.tar.xz
  • 移动 FE 文件夹到安装目录：/opt/doris/
mv /opt/doris/apache-doris-1.2.4.1-bin-x86_64/fe/ /opt/doris/
  • 编辑配置文件
vim ./fe/conf/fe.conf
  • 修改内容：
  1. JDK 安装目录
  2. 绑定服务器 IP
# JAVA_OPTS 上面一行
JAVA_HOME=/opt/java/jdk-11.0.19

priority_networks=192.168.8.111/24
  • 启动 FE
cd /opt/doris

./fe/bin/start_fe.sh --daemon

  • 浏览器访问：http://192.168.8.111:8030/api/bootstrap

  • 成功提示

{"msg":"success","code":0,"data":{"replayedJournalId":0,"queryPort":0,"rpcPort":0,"version":""},"count":0}

2）拷贝BE

FE 服务器：192.168.8.111

  • 拷贝BE安装包至BE服务器
scp -r /opt/doris/apache-doris-1.2.4.1-bin-x86_64/be root@192.168.8.112:/opt/doris
scp -r /opt/doris/apache-doris-1.2.4.1-bin-x86_64/be root@192.168.8.113:/opt/doris

3）安装BE

BE 服务器：192.168.8.112、192.168.8.113

  • 创建安装目录
mkdir /opt/doris
cd /opt/doris
  • 修改配置文件
vim ./be/conf/be.conf
  • 修改内容：
  1. JDK 安装目录
  2. 绑定服务器 IP；注意区分不同服务器 IP
# JAVA_OPTS 上面一行
JAVA_HOME=/opt/java/jdk-11.0.19

priority_networks=192.168.8.112/24
  • 限制一个进程可以拥有的VMA(虚拟内存区域)的数量
vim /etc/sysctl.conf
  • 写入内容
vm.max_map_count=2000000
fs.file-max=6553560
  • 加载并应用配置文件
sysctl -p
  • 启动 BE
./be/bin/start_be.sh --daemon

  • 浏览器访问

    http://192.168.8.114:8040/api/health

    http://192.168.8.115:8040/api/health

  • 成功提示

{"status": "OK","msg": "To Be Added"}

4）安装MySQL客户端

可忽略，使用 Navicat 替代

FE 服务器：192.168.8.111

  • 创建安装目录
mkdir /opt/mysql
cd /opt/mysql
  • 下载安装软件包
wget https://cdn.mysql.com/archives/mysql-8.0/mysql-community-common-8.0.25-1.el7.x86_64.rpm 
wget https://cdn.mysql.com/archives/mysql-8.0/mysql-community-client-plugins-8.0.25-1.el7.x86_64.rpm 
wget https://cdn.mysql.com/archives/mysql-8.0/mysql-community-libs-8.0.25-1.el7.x86_64.rpm
wget https://cdn.mysql.com/archives/mysql-8.0/mysql-community-client-8.0.25-1.el7.x86_64.rpm
  • 安装 RPM 软件包
rpm -Uvh *.rpm --nodeps --force
  • MySQL 客户端连接（无密码）
mysql -h 192.168.8.111 -P 9030 -uroot -p
  • 新增两个 BE

弹性扩缩容 - Apache Doris

#--备用（删除BE节点）：ALTER SYSTEM DROPP BACKEND "192.168.8.112:9050";
ALTER SYSTEM ADD BACKEND "192.168.8.112:9050";
ALTER SYSTEM ADD BACKEND "192.168.8.113:9050";
  • 修改密码
SET PASSWORD FOR 'root' = PASSWORD('doris123');

5）测试

  • 创建数据库（MySQL 客户端执行）
create database demo;
  • 创建数据表
CREATE TABLE IF NOT EXISTS example_tb
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
  • 输出表结构
desc example_tb;
  • 插入数据
insert into example_tb values
(10000,"2017-10-01","北京",20,0,"2017-10-01 06:00:00",20,10,10),
(10000,"2017-10-01","北京",20,0,"2017-10-01 07:00:00",15,2,2),
(10001,"2017-10-01","北京",30,1,"2017-10-01 17:05:45",2,22,22),
(10002,"2017-10-02","上海",20,1,"2017-10-02 12:59:12",200,5,5),
(10003,"2017-10-02","广州",32,0,"2017-10-02 11:20:00",30,11,11),
(10004,"2017-10-01","深圳",35,0,"2017-10-01 10:00:15",100,3,3),
(10004,"2017-10-03","深圳",35,0,"2017-10-03 10:20:22",11,6,6);
  • 查询数据
SELECT * FROM example_tb;

6）WebUI

  • 浏览器访问：http://192.168.10.111:8030
  • 账号：root
  • 密码：输入客户端修改的密码（doris123）；默认无密码

5.服务自启动

服务自动拉起

1）配置FE自启动

  • 编辑 doris-fe.service
vim /etc/systemd/system/doris-fe.service
  • 写入内容（根据实际情况修改 ExecStart 和 ExecStop）
[Unit]
Description=Doris FE
After=network-online.target
Wants=network-online.target

[Service]
Type=forking
User=root
Group=root
LimitCORE=infinity
LimitNOFILE=200000
Restart=on-failure
RestartSec=30
StartLimitInterval=120
StartLimitBurst=3
KillMode=none
ExecStart=/opt/doris/fe/bin/start_fe.sh --daemon 
ExecStop=/opt/doris/fe/bin/stop_fe.sh

[Install]
WantedBy=multi-user.target

2）配置BE自启动

  • 编辑 doris-be.service
vim /etc/systemd/system/doris-be.service
  • 写入内容（根据实际情况修改 ExecStart 和 ExecStop）
[Unit]
Description=Doris BE
After=network-online.target
Wants=network-online.target

[Service]
Type=forking
User=root
Group=root
LimitCORE=infinity
LimitNOFILE=200000
Restart=on-failure
RestartSec=30
StartLimitInterval=120
StartLimitBurst=3
KillMode=none
ExecStart=/opt/doris/be/bin/start_be.sh --daemon
ExecStop=/opt/doris/be/bin/stop_be.sh

[Install]
WantedBy=multi-user.target

3）启动服务

  • 重新加载配置
systemctl daemon-reload
  • 启动服务
systemctl start doris-fe
systemctl start doris-be
  • 设置开机自启动
systemctl enable doris-fe
systemctl enable doris-be
  • 查询服务状态
systemctl status doris-fe
systemctl status doris-be

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/909921.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

python 打印一个条形堆积图

python 打印一个条形堆积图

背景 今天介绍一个不使用 matplot&#xff0c;通过 DebugInfo模块打印条形堆积图 的方法。 引入模块 pip install DebugInfo打印销售转化数据 下面的代码构建了两个销售团队&#xff0c;团队A 和团队B&#xff1b;两个团队的销售数据构成了公司总的销售成果。以条形堆积图的…
阅读更多...
不同屏幕的触控技术

不同屏幕的触控技术

不同显示屏的触控技术原理有所不同。触摸屏的基本原理是&#xff0c;用手指或其他物体触摸安装在显示器前端的触摸屏时&#xff0c;所触摸的位置(以坐标形式)由触摸屏控制器检测&#xff0c;并通过接口(如RS-232串行口)送到CPU&#xff0c;从而确定输入的信息。 目前市场上常…
阅读更多...
机器学习之数据清洗

机器学习之数据清洗

一、介绍 数据清洗是机器学习中的一个重要步骤&#xff0c;它涉及对原始数据进行预处理和修复&#xff0c;以使数据适用于机器学习算法的训练和分析。数据清洗的目标是处理数据中的噪声、缺失值、异常值和不一致性等问题&#xff0c;以提高数据的质量和准确性。 二、方法 处理…
阅读更多...
电动汽车智能充电桩及运营管理云解决方案-安科瑞黄安南

电动汽车智能充电桩及运营管理云解决方案-安科瑞黄安南

摘要&#xff1a;电动汽车采用了电力作为发动能源&#xff0c;但是同样存在很大缺陷,即续航能力方面存在较大不足。因此如何利用现代技术进行电动汽车的智 能充电便十分重要。在电动汽车智能充 电的研究过程中需要用到的技术有有电力电子 变流技术、REIP无线射频技术、智能监控…
阅读更多...
Java代码审计13之URLDNS链

Java代码审计13之URLDNS链

文章目录 1、简介urldns链2、hashmap与url类的分析2.1、Hashmap类readObject方法的跟进2.2、URL类hashcode方法的跟进2.3、InetAddress类的getByName方法 3、整个链路的分析3.1、整理上述的思路3.2、一些疑问的测试3.3、hashmap的put方法分析3.4、反射3.5、整个代码 4、补充说明…
阅读更多...
node_modules.cache是什么东西

node_modules.cache是什么东西

一开始没明白这是啥玩意&#xff0c;还以为是npm的属性&#xff0c;网上也没说过具体的来源出处 .cache文件的产生是由webpack4的插件cache-loader生成的&#xff0c;node_modules里下载了cache-loader插件&#xff0c;很多朋友都是vuecli工具生成的项目&#xff0c;内置了这部…
阅读更多...
贝锐蒲公英助力建设工程咨询企业，高效安全远程访问数据档案库

贝锐蒲公英助力建设工程咨询企业，高效安全远程访问数据档案库

随着数字信息化进程的加深&#xff0c;数字化转型已成为企业实现业务流程自动化、提高工作效率、降低成本和提高用户满意度的重要手段。其中&#xff0c;档案工作的标准化、规范化是信息化建设的前提和必要条件&#xff0c;对于建设工程咨询企业而言&#xff0c;一个完善的数字…
阅读更多...
【数据结构与算法】迪杰斯特拉算法

【数据结构与算法】迪杰斯特拉算法

迪杰斯特拉算法 介绍 迪杰斯特拉&#xff08;Dijkstra&#xff09;算法是典型最短路径算法&#xff0c;用于计算一个节点到其他节点的最短路径。它的主要特点是以中心向外层层扩展&#xff08;广度优先搜索思想&#xff09;&#xff0c;直到扩展到终点为止。 算法过程 设置…
阅读更多...
小米AI音箱联网升级折腾记录（解决配网失败+升级失败等问题）

小米AI音箱联网升级折腾记录（解决配网失败+升级失败等问题）

小米AI音箱&#xff08;一代&#xff09;联网升级折腾记录 我折腾了半天终于勉强能进入下载升级包这步&#xff0c;算是成功一半吧… 总结就是&#xff0c;网络信号一定要好&#xff0c;需要不停换网找到兼容的网&#xff0c;还需要仔细配置DNS让音响连的上api.mina.mi.com 推荐…
阅读更多...
JavaWeb-特殊文件（propertis与XML）

JavaWeb-特殊文件（propertis与XML）

目录 Properties文件 一.properties介绍 二.properties使用 三.解决中文乱码问题 XML文件 一.XML介绍 二.XML文件的语法规则 三.XML的使用 Properties文件 一.properties介绍 1.什么是properties文件 Properties文件是一种常用的配置文件格式&#xff0c;用于存储键值…
阅读更多...
linux定时备份MySQL数据库循环删除前30天的备份文件

linux定时备份MySQL数据库循环删除前30天的备份文件

linux定时备份MySQL数据库循环删除前30天的备份文件 一、 检查有没安装crond,如果没有&#xff0c;先安装 1、先检查一下有没有cron rpm -qa|grep cron如果输入上面命令有如下显示&#xff0c;则不需要安装 2、没有安装的话&#xff0c;就使用一下命令安装 yum -y install …
阅读更多...
【第三阶段】kotlin语言的内置函数let

【第三阶段】kotlin语言的内置函数let

1.使用普通方法对集合的第一个元素相加 fun main() {//使用普通方法对集合的第一个元素相加var list listOf(1,2,3,4,5)var value1list.first()var resultvalue1value1println(result) }执行结果 2.使用let内置函数对集合的第一个元素相加 package Stage3fun main() {//使用…
阅读更多...
python 打印一个条形图

python 打印一个条形图

背景 在python 中&#xff0c;使用 matplot 生成图表是一个很常用的方法&#xff0c;但在一些轻量级需求场合&#xff0c;例如仅做一个打印预览&#xff0c;或者快速查看&#xff0c;这些场景下调用 matplot 生成图表&#xff0c;略显繁琐。 今天介绍一个通过 DebugInfo 模块…
阅读更多...
NC65 树表型参照 搜索全部 按钮点击事件后获取sql的方法

NC65 树表型参照 搜索全部 按钮点击事件后获取sql的方法

NC65 树表型参照 搜索全部 按钮点击事件后获取sql的方法。 /*** 返回 UIbtnLocQuery 特性值。* * return nc.ui.pub.beans.UIButton*/ /* 警告&#xff1a;此方法将重新生成。 */ private nc.ui.pub.beans.UIButton getUIbtnLocQuery() {// 搜索全部 按钮return getButtonPan…
阅读更多...
Shell语法揭秘：深入探讨常见Linux Shell之间的语法转换

Shell语法揭秘：深入探讨常见Linux Shell之间的语法转换

深入探讨常见Linux Shell之间的语法转换 一、引言二、Linux常用Shell&#xff1a;Bash、Zsh、Ksh、Csh、Tcsh和Fish的简介2.1、Bash、Zsh、Ksh、Csh、Tcsh和Fish的特点和用途2.2、语法差异是常见Shell之间的主要区别 三、变量和环境设置的语法差异3.1、变量定义和使用的不同语法…
阅读更多...
【雷达】接收和去噪L波段雷达接收到的信号研究（Matlab代码实现）

【雷达】接收和去噪L波段雷达接收到的信号研究（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…
阅读更多...
mongodb集群

mongodb集群

端口192.168.115.3 192.168.115.4 1192.168.115.5 下载MongoDB软件包版本为4.2.14并安装 rpm -ih --force --nodeps *.rpm 2创建文件夹mkdir -p /opt/local/mongo-cluster/conf 3.在目录里创建配置文件cd /opt/local/mongo-cluster/conf …
阅读更多...
kubernetes--技术文档-真--集群搭建-三台服务器一主二从（非高可用）-三服务器位于同交换机中

kubernetes--技术文档-真--集群搭建-三台服务器一主二从（非高可用）-三服务器位于同交换机中

在使用k8s之前如果不太熟悉k8s的可以先看这个文章&#xff1a; kubernetes--技术文档--基本概念--《10分钟快速了解》_一单成的博客-CSDN博客 三节点相同安装操作&#xff1a; 1、设置hosts解析 根据角色在三个服务器中运行&#xff0c;设置自己的hostname。 标识&#xf…
阅读更多...
CG MAGIC分享如何3d Max新版本如何能在旧版本中打开呢？

CG MAGIC分享如何3d Max新版本如何能在旧版本中打开呢？

三维行业来说&#xff0c;无论是三维软件还是插件&#xff0c;都是在持续更新功能的。 3d Max这款软件&#xff0c;自然也不例外&#xff0c;不断推出新版本以提供更多强大的功能和工具。 随着新版本的发布&#xff0c;旧版本用户可能面临一个问题&#xff1a; 3d Max新版本…
阅读更多...
高速道路监控：工业路由器助力高速监控远程管理与维护

高速道路监控：工业路由器助力高速监控远程管理与维护

工业路由器在物联网应用中扮演着重要的角色。物联网的发展使得大量设备和传感器能够互联互通&#xff0c;而工业路由器作为连接这些设备和网络的中间桥梁&#xff0c;承担着数据传输和安全管理的重要责任。 工业路由器能够为高速监控提供网络功能&#xff0c;实现户外无线网络部…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023