Doris安装部署文档

news2024/9/25 5:23:27

简介

网址：Apache Doris: Open-Source Real-Time Data Warehouse - Apache Doris

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。

Apache Doris 最早是诞生于百度广告报表业务的 Palo 项目，2017 年正式对外开源，2018 年 7 月由百度捐赠给 Apache 基金会进行孵化，之后在 Apache 导师的指导下由孵化器项目管理委员会成员进行孵化和运营。目前 Apache Doris 社区已经聚集了来自不同行业数百家企业的 400 余位贡献者，并且每月活跃贡献者人数也超过 100 位。 2022 年 6 月，Apache Doris 成功从 Apache 孵化器毕业，正式成为 Apache 顶级项目（Top-Level Project，TLP）

Apache Doris 如今在中国乃至全球范围内都拥有着广泛的用户群体，截止目前， Apache Doris 已经在全球超过 2000 家企业的生产环境中得到应用，在中国市值或估值排行前 50 的互联网公司中，有超过 80% 长期使用 Apache Doris，包括百度、美团、小米、京东、字节跳动、腾讯、网易、快手、微博、贝壳等。同时在一些传统行业如金融、能源、制造、电信等领域也有着丰富的应用。

使用场景

如下图所示，数据源经过各种数据集成和加工处理后，通常会入库到实时数仓 Doris 和离线湖仓（Hive, Iceberg, Hudi 中），Apache Doris 被广泛应用在以下场景中。

报表分析

    • 实时看板 （Dashboards）
    • 面向企业内部分析师和管理者的报表
    • 面向用户或者客户的高并发报表分析（Customer Facing Analytics）。比如面向网站主的站点分析、面向广告主的广告报表，并发通常要求成千上万的 QPS ，查询延时要求毫秒级响应。著名的电商公司京东在广告报表中使用 Apache Doris ，每天写入 100 亿行数据，查询并发 QPS 上万，99 分位的查询延时 150ms。

即席查询（Ad-hoc Query）：面向分析师的自助分析，查询模式不固定，要求较高的吞吐。小米公司基于 Doris 构建了增长分析平台（Growing Analytics，GA），利用用户行为数据对业务进行增长分析，平均查询延时 10s，95 分位的查询延时 30s 以内，每天的 SQL 查询量为数万条。

统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。海底捞基于 Doris 构建的统一数仓，替换了原来由 Spark、Hive、Kudu、Hbase、Phoenix 组成的旧架构，架构大大简化。

数据湖联邦查询：通过外表的方式联邦分析位于 Hive、Iceberg、Hudi 中的数据，在避免数据拷贝的前提下，查询性能大幅提升。

技术概述

Doris整体架构如下图所示，Doris 架构非常简单，只有两类进程

Frontend（FE），主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。

Backend（BE），主要负责数据存储、查询计划的执行。

这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。

在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris，并支持与 BI 工具的无缝对接。

在存储引擎方面，Doris 采用列式存储，按列进行数据的编码压缩和读取，能够实现极高的压缩比，同时减少大量非相关数据的扫描，从而更加有效利用 IO 和 CPU 资源。

下载安装

注1：

  1. FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个 GB 不等。
  2. BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量 * 3（3副本）计算，然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。
  3. 一台机器上可以部署多个 BE 实例，但是只能部署一个 FE。如果需要 3 副本数据，那么至少需要 3 台机器各部署一个 BE 实例（而不是1台机器部署3个BE实例）。多个FE所在服务器的时钟必须保持一致（允许最多5秒的时钟偏差）
  4. 测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定了整体查询延迟。
  5. 所有部署节点关闭 Swap。

注2：FE 节点的数量

  1. FE 角色分为 Follower 和 Observer，（Leader 为 Follower 组中选举出来的一种角色，以下统称 Follower）。
  2. FE 节点数据至少为1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时，可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。
  3. Follower 的数量必须为奇数，Observer 数量随意。
  4. 根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。
  • 通常我们建议 10 ~ 100 台左右的机器，来充分发挥 Doris 的性能（其中 3 台部署 FE（HA），剩余的部署 BE）
  • 当然，Doris的性能与节点数量及配置正相关。在最少4台机器（一台 FE，三台 BE，其中一台 BE 混部一个 Observer FE 提供元数据备份），以及较低配置的情况下，依然可以平稳的运行 Doris。
  • 如果 FE 和 BE 混部，需注意资源竞争问题，并保证元数据目录和数据目录分属不同磁盘。

软硬件配置要求：

下载地址为http://archive.apache.org/dist/doris/

（安装doris需要最少100G磁盘）

根据需要下载指定版本即可，此处以1.2.4为例，下载apache-doris-be-1.2.4-bin-x86_64.tar.xz；apache-doris-dependencies-1.2.4-bin-x86_64.tar.xz；apache-doris-fe-1.2.4-bin-x86_64.tar.xz。

将指定安装包上传到服务器（以192.168.0.30为例）并解压：

tar -xvf apache-doris-fe-1.2.4-bin-x86_64.tar.xz

tar -xvf apache-doris-be-1.2.4-bin-x86_64.tar.xz

修改FE配置

首先进入到fe部分的conf中，修改fe.conf

http_port默认为8030，如果机器上有大数据相关进程，该端口会被占用，自行修改，此处修改为18030。

priority_networks配置ip。

注意：这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为FE指定唯一的IP地址。这里假设你的节点IP是192.168.0.30，那么我们可以通过掩码的方式配置为192.168.0.0/24。

启动FE

./bin/start-fe.sh --daemon

通过监控log/fe.log查看启动日志。

通过WebUI查看是否启动成功，192.168.0.30:18030,出现登陆界面，默认用户为admin和root，没有密码。

修改BE配置

进入到be中的conf修改be.conf

主要是配置storage_root_path:数据存放目录。默认在be/storage下，如果需要自定义，需要手动创建该目录。

通过mysql-client链接：

mysql -h 192.168.0.30 -P 9030 -uroot

alter system add backend '192.168.0.30:9050';

如果有多个be节点 将指定的IP：port依次全部加入即可。

启动BE

./bin/start-be.sh --daemon

启动报错如下：

在be节点执行 sysctl -w vm.max_map_count=2000000

重新启动后报如下错误：

原因∶安装Java UDF函数因为从1.2版本开始支持Java UDF函数，需要从官网下载Java UDF函数的JAR包放到BE的lib目录下.否则可能会启动失败。在官网下载依赖的jar包。下载完成后拷贝到BE的lib目录下即可。

前面下载的apache-doris-dependencies-1.2.4-bin-x86_64.tar.xz压缩包解压后里面有java-udf-jar-with-dependencies.jar文件，将该jar文件复制到be模块中的lib中，重新启动。

注意:如果be部署在hadoop集群中，注意调整be.conf中的webserver_port = 8040 (hadoop集群中，nodemanager进程默认使用的是8040端口号),以免造成端口冲突。否则会报如下错误︰

此处修改为18040后启动正常。

查看be状态

1：通过mysql-client 执行如下命令：

show proc '/backends';

2:通过WebUI查看

192.168.0.30:18040

192.168.0.30:18040/api/health

查看fe状态

  1. WebUI

通过http://192.168.0.30:18030/api/bootstrap

通过mysql连接工具能够正常操作doris，如Navicat、DataGrip等。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1415162.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

mac配置L2TP连接公司内网

mac配置L2TP连接公司内网

1. 打开系统设置 2. 打开网络 3. 点击网络页面其他服务右下角三个点，添加VPN配置中的L2TP 4. 配置VPN，服务器填写公司的服务器ip，共享密钥没有可以随便填写 5. 打开终端编辑文件 sudo vim /etc/ppp/opt…
阅读更多...
Java笔记 --- 三、方法引用

Java笔记 --- 三、方法引用

三、方法引用 概述 分类 引用静态方法 引用成员方法 本类中注意，静态方法中没有this，需要创建本类的对象 引用构造方法 其他的调用方式 使用类名引用成员方法 引用数组的构造方法
阅读更多...
spring整合mybatis的底层原理

spring整合mybatis的底层原理

spring整合mybatis的底层原理 原理： FactoryBean的自定义对象jdk动态代理Mapper接口对象 一、手写一个spring集成mybatis 目录结构： 1.1 入口类 public class Test {public static void main(String[] args) {AnnotationConfigApplicationContext co…
阅读更多...
Java基于 SpringBoot+Vue 的高校心理教育辅导系统的研究与实现

Java基于 SpringBoot+Vue 的高校心理教育辅导系统的研究与实现

博主介绍：✌程序员徐师兄、7年大厂程序员经历。全网粉丝30W、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…
阅读更多...
智能工厂4G无线设备预测维护云端联动的DI、AI、DO混合信号处理单元

智能工厂4G无线设备预测维护云端联动的DI、AI、DO混合信号处理单元

在现代工业智能化进程中，一款集成了丰富I/O接口并能与各大云平台无缝对接的智能设备显得尤为重要。比如最近推出的这款创新产品，它集合了8路数字输入通道，涵盖了干湿节点的识别功能，适用于多种开关量信号的读取；同时&a…
阅读更多...
B端系统优化：用好卡片式设计，效果立竿见影翻倍。

B端系统优化：用好卡片式设计，效果立竿见影翻倍。

B端系统中，卡片式设计是一种常见的界面设计风格，它将信息和功能组织成一系列独立的卡片，每个卡片通常包含一个特定的信息块或功能模块。 一、卡片式设计的特点包括： 模块化和可重用性：卡片可以被独立设计和开发&#…
阅读更多...
svg 属性详解：填充与边框

svg 属性详解：填充与边框

svg 属性详解：填充与边框 1 颜色和透明度2 填充规则 fill-rule3 边框样式3.1 stroke-width3.2 stroke-linecap3.3 stroke-linejoin3.4 stroke-dasharray 1 颜色和透明度 图像都有颜色，svg 中可以使用属性 fill 和 stroke 来修改图形的颜色。fill 属性设置…
阅读更多...
第十六讲_HarmonyOS应用程序包介绍

第十六讲_HarmonyOS应用程序包介绍

HarmonyOS应用程序包介绍 1. 应用程序包概述1.1 多 Module 设计的好处1.2 Module 的类型 2. 应用程序包结构2.1 应用的配置文件2.2 资源目录 3. 应用程序编译后包结构 1. 应用程序包概述 官方推荐基于Stage模型开发HarmonyOS应用程序，一个应用可以包含一个或多个Mo…
阅读更多...
计算机基础之微处理器简介

计算机基础之微处理器简介

微处理器 微处理器定义 微型计算机的CPU也被称为微处理器，是将运算器、控制器和高速缓存集成在一起的超大规模集成电路芯片，是计算机的核心部件。能完成取指令、执行指令，以及与外界存储器和逻辑部件交换信息等操作。 微处理器发展 CPU从…
阅读更多...
研发日记，Matlab/Simulink避坑指南(七)——数据溢出钳位Bug

研发日记，Matlab/Simulink避坑指南(七)——数据溢出钳位Bug

文章目录 前言 背景介绍 问题描述 分析排查 解决方案 总结归纳 前言 见《研发日记，Matlab/Simulink避坑指南(二)——非对称数据溢出Bug》 见《研发日记，Matlab/Simulink避坑指南(三)——向上取整Bug》 见《研发日记，Matlab/Simulink避坑…
阅读更多...
【CSS】实现鼠标悬停图片放大的几种方法

【CSS】实现鼠标悬停图片放大的几种方法

1.背景图片放大 使用css设置背景图片大小100%&#xff0c;同时设置位置和过渡效果&#xff0c;然后使用&#xff1a;hover设置当鼠标悬停时修改图片大小&#xff0c;实现悬停放大效果。 <!DOCTYPE html> <html lang"en"> <head><meta charset…
阅读更多...
C++大学教程（第九版）7.19 将7.10节vector对象的例子转换成array对象

C++大学教程（第九版）7.19 将7.10节vector对象的例子转换成array对象

文章目录 题目代码运行截图 题目 (将7.10节vector 对象的例子转换成array 对象)将图7.26中 vector 对象的例子转换成使用array 对象。请消除任何 vector 对象仅有的特性。 分析&#xff1a; vector对象独有的特性&#xff1a; 1.vector对象长度可变 2.长度不同的vector对象可…
阅读更多...
基于springboot校友社交系统源码和论文

基于springboot校友社交系统源码和论文

校友社交系统提供给用户一个校友社交信息管理的网站&#xff0c;最新的校友社交信息让用户及时了解校友社交动向,完成校友社交的同时,还能通过论坛中心进行互动更方便。本系统采用了B/S体系的结构&#xff0c;使用了java技术以及MYSQL作为后台数据库进行开发。系统主要分为系统…
阅读更多...
为什么选择快速应用开发：提高业务响应速度与竞争力的关键

为什么选择快速应用开发：提高业务响应速度与竞争力的关键

如今&#xff0c;企业想要持续蓬勃发展&#xff0c;就需要具备快速满足客户期望的能力。无论是十几年历史的重要市场占有者推出新的APP&#xff0c;还是在疫情期间从线下转向线上电商营销&#xff0c;企业都需要主动适应市场。随着为客户提供新的服务方式&#xff0c;员工也需要…
阅读更多...
以前年度资产价值导入以及汇率自动计算解决方案

以前年度资产价值导入以及汇率自动计算解决方案

文章目录 1 Introduction2 Code3 Summary 1 Introduction In the example we will finish ABLDT function and modify asset value . 2 Code DATA: key TYPE bapi1022_key,generaldata TYPE bapi1022_feglg001,generaldatax TYPE bapi1…
阅读更多...
品牌突围｜内容营销「共创公式」全面讲解

品牌突围｜内容营销「共创公式」全面讲解

为什么品牌要扎根小红书&#xff1f;除了种草投放&#xff0c;品牌还能做些什么&#xff1f; 在小红书&#xff0c;迎接消费者共创的时代&#xff0c;激活品牌营销的无限潜能。 拥抱多元 在新机遇中预见未来 2023年&#xff0c;各大社交媒体平台涌现出了许多热点&#xff0c…
阅读更多...
keil使用教程

keil使用教程

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、pandas是什么&#xff1f;二、使用步骤 1.引入库2.读入数据 总结 前言 例如&#xff1a;随着人工智能的不断发展&#xff0c;机器学习这门技术也越来越重…
阅读更多...
jupyter python笔记杂乱

jupyter python笔记杂乱

问题产生的原因: 无法执行sess.run()的原因是tensorflow版本不同导致的&#xff0c;tensorflow版本2.0无法兼容版本1.0 解决办法: tf.compat.v1.disable_eager_execution() 确保tf’2能运行tf1的代码 notebok打开指定文件夹 直接解决
阅读更多...
代码随想录刷题笔记-Day12

代码随想录刷题笔记-Day12

1. 二叉树的递归遍历 144. 二叉树的前序遍历https://leetcode.cn/problems/binary-tree-preorder-traversal/94. 二叉树的中序遍历https://leetcode.cn/problems/binary-tree-inorder-traversal/145. 二叉树的后续遍历https://leetcode.cn/problems/binary-tree-postorder-tra…
阅读更多...
鸿蒙：@Link装饰器-父子双向同步

鸿蒙：@Link装饰器-父子双向同步

子组件中被Link装饰的变量与其父组件中对应的数据源建立双向数据绑定。从API version 9开始&#xff0c;该装饰器支持在ArkTS卡片中使用。 需要注意&#xff1a;Link装饰的变量与其父组件中的数据源共享相同的值。Link装饰器不能在Entry装饰的自定义组件中使用。 一、装饰器使…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023