大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细！

news2024/9/29 11:48:49

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（正在更新…）

章节内容

上节我们完成了如下的内容：

  • Apache Druid 系统架构 核心组件介绍
  • Druid 单机模式配置启动

在这里插入图片描述

整体介绍

Apache Druid 是一种高性能、分布式的列式存储数据库，专门用于实时分析和查询大规模数据集。它适用于 OLAP（在线分析处理）场景，尤其在处理大数据实时流时表现优异。Druid 的架构由多个组件组成，主要包括数据摄取、存储、查询和管理。

在集群配置方面，Druid 通常由以下节点构成：

  • 数据摄取层：使用 MiddleManager 节点来处理数据的实时摄取，负责从不同数据源（如 Kafka、HDFS 等）读取数据并进行实时处理。
  • 存储层：数据存储在 Historical 节点上，这些节点负责存储和管理较老的数据，支持高效的查询。数据被以列式格式存储，优化了查询性能。
  • 查询层：Broker 节点充当查询路由器，接受用户的查询请求并将其分发到相应的 Historical 或 Real-time 节点，然后将结果汇总返回给用户。
  • 协调层：Coordinator 节点负责集群的状态管理和数据分配，确保数据均匀分布并自动处理节点故障。

Druid 的配置文件允许用户自定义参数，如 JVM 设置、内存分配和数据分片策略，以便根据不同的工作负载和性能需求进行优化。此外，Druid 还支持多种查询语言，包括 SQL，便于用户进行灵活的数据分析。整体上，Druid 提供了一种高效、可扩展的解决方案，适合需要快速实时分析的大数据应用场景。

修改配置【续接上篇】

historical

参数大小根据实际情况调整

vim $DRUID_HOME/conf/druid/cluster/data/historical/jvm.config

原配置内容如下所示：

-server
-Xms8g
-Xmx8g
-XX:MaxDirectMemorySize=13g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改内容如下：

-server
-Xms512m
-Xmx512m
-XX:MaxDirectMemorySize=1g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改结果如下图：
在这里插入图片描述
此外还有一个参数：

vim $DRUID_HOME/conf/druid/cluster/data/historical/runtime.properties

原配置内容如下：

druid.processing.buffer.sizeBytes=500MiB

修改为如下内容：

# 相当于 50MiB
druid.processing.buffer.sizeBytes=50000000

修改的截图如下：
在这里插入图片描述
备注：

  • druid.processing.buffer.sizeBytes 每个查询用于聚合的对外哈希表的大小
  • maxDirectMemory = druid.processing.buffer.sizeBytes * (durid.processing.numMergeBuffers + druid.processing.numThreads + 1)
  • 如果 druid.processing.buffer.sizeBytes太大的话，需要加大 maxDirectMemory，否则 historical服务无法启动

broker

vim $DRUID_HOME/conf/druid/cluster/query/broker/jvm.config

原配置如下：

-server
-Xms12g
-Xmx12g
-XX:MaxDirectMemorySize=6g
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改配置如下：

-server
-Xms512m
-Xmx512m
-XX:MaxDirectMemorySize=512m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改截图如下图：
在这里插入图片描述

此外还需要修改额外的参数：

vim $DRUID_HOME/conf/druid/cluster/query/broker/runtime.properties

原参数为：

druid.processing.buffer.sizeBytes=500MiB

修改为：

# 与刚才修改的一样 大约是50MiB
druid.processing.buffer.sizeBytes=50000000

修改截图如下所示：
在这里插入图片描述
备注：

  • druid.processing.buffer.sizeBytes 每个查询用于聚合的堆外哈希表的大小
  • maxDirectMemory = druid.processing.buffer.sizeBytes*(druid.processing.numMergeBuffers + druid.processing.numThreads + 1)
  • 如果 druid.processing.buffer.sizeBytes 太大，那么需要加大maxDirectMemory，否则 broker 服务无法启动

router

vim $DRUID_HOME/conf/druid/cluster/query/router/jvm.config

原配置如下：

-server
-Xms1g
-Xmx1g
-XX:+UseG1GC
-XX:MaxDirectMemorySize=128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改配置如下：

-server
-Xms128m
-Xmx128m
-XX:+UseG1GC
-XX:MaxDirectMemorySize=128m
-XX:+ExitOnOutOfMemoryError
-Duser.timezone=UTC+8
-Dfile.encoding=UTF-8
-Djava.io.tmpdir=var/tmp
-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager

修改截图如下：
在这里插入图片描述

配置汇总

  • coordinator-overlord：512M
  • historical：512M，堆外1G
  • middleManger：128M
  • broker：512M、堆外512M
  • router：128M，堆外128M

分发软件

你可以用的方式完成，我这里用之前写好的 rsync-script 工具进行分发，刚才我们配置都是在 h121 节点上完成的，所以接下来，我们从 h121 节点分发到 h122、h123

rsync-script apache-druid-30.0.0

运行结果如下图所示：

在这里插入图片描述
分发之后，要注意你需要修改的东西：

  • common.runtime.properties中的 druid.host 为所在节点的IP
  • h121 h122 h123 上都配置好环境、环境变量等内容

启动服务

ZK启动

在三台节点上都需要启动ZK，并且需要组成ZK集群。
这部分内容之前已经有 ZooKeeper集群环境搭建，且在多个环节中，如Kafka集群环节中已经测试过。

zkServer.sh start

启动 Hadoop

start-all.sh
# 或者只启动 dfs也行
start-dfs.sh

执行结果如下图所示：
在这里插入图片描述

Druid启动

h121 查询节点

这里是查询节点

cd /opt/servers/apache-druid-30.0.0
nohup start-cluster-query-server &

运行结果如下图所示：
在这里插入图片描述

h122 数据节点

这里是数据节点

cd /opt/servers/apache-druid-30.0.0
nohup start-cluster-data-server &

运行结果如下图所示：
在这里插入图片描述

h123 主节点

这里是主节点

cd /opt/servers/apache-druid-30.0.0
nohup start-cluster-master-no-zk-server &

运行结果如下所示：
在这里插入图片描述

日志查看

可以在log下查看，我这里是查看了 nohup 的内容

h121

在这里插入图片描述

h122

在这里插入图片描述

h123

在这里插入图片描述

停止服务

需要在每个节点都执行：

# 在各个节点运行
/opt/servers/apache-druid-30.0.0/bin/service --down

查看界面

http://h121.wzk.icu:8888

页面结果如下：
在这里插入图片描述
在这里插入图片描述
到此！顺利完成！一路艰难险阻！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2176609.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【H2O2|全栈】关于CSS（9）CSS3扩充了哪些新鲜的东西？（二）

【H2O2|全栈】关于CSS（9）CSS3扩充了哪些新鲜的东西？（二）

目录 CSS3入门 前言 准备工作 伪元素补充 :before :after 文本溢出属性 转换效果 预告和回顾 后话 CSS3入门 前言 本系列博客主要介绍CSS相关的知识点。 这一期主要介绍以下几个CSS3的知识点： 伪元素补充文本溢出属性转换 没有基础的朋友&#xff…
阅读更多...
大堆对象是如何影响程序的性能的

大堆对象是如何影响程序的性能的

在本文中，我们将详细了解 JVM 如何存储对象及其在内存中的表示形式。此外，我们将深入探讨性能影响以及如何利用它们来获得优势。 *此外，我们将了解如何使用-XX:UseCompressedOops以及它如何影响应用程序的性能。此外，我们将了解U…
阅读更多...
[大语言模型-论文精读] 阿里巴巴-通过多阶段对比学习实现通用文本嵌入

[大语言模型-论文精读] 阿里巴巴-通过多阶段对比学习实现通用文本嵌入

[大语言模型-论文精读] 阿里巴巴达摩院-GTE-通过多阶段对比学习实现通用文本嵌入 1. 论文信息 这篇论文《Towards General Text Embeddings with Multi-stage Contrastive Learning》介绍了一种新的文本嵌入模型，名为GTE（General-purpose Text Embeddin…
阅读更多...
低空经济时代：无人机飞行安全要点详解

低空经济时代：无人机飞行安全要点详解

随着低空经济的蓬勃发展，无人机（UAV）在农业、航拍、物流、应急救援等多个领域的应用日益广泛。然而，无人机的安全飞行不仅关乎任务的成功与否，更直接关系到地面人员、财产及空中交通的安全。本文将从飞行前检查、环境评…
阅读更多...
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析

大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析

点一下关注吧！！！非常感谢！！持续更新！！！ 目前已经更新到了： Hadoop（已更完）HDFS（已更完）MapReduce（已更完&am…
阅读更多...
【Linux学习】【Ubuntu入门】1-2 新建虚拟机ubuntu环境

【Linux学习】【Ubuntu入门】1-2 新建虚拟机ubuntu环境

1.双击打开VMware软件，点击“创建新的虚拟机”，在弹出的中选择“自定义（高级）” 2.点击下一步，自动识别ubuntu光盘映像文件，也可以点击“浏览”手动选择，点击下一步 3.设置名称及密码后&#xf…
阅读更多...
1Panel安装部署证书(httpsok.com)

1Panel安装部署证书(httpsok.com)

1Panel安装部署证书(httpsok.com) 购买服务器 推荐购买香港服务器，这样通过域名访问就不需要备案。 创建静态站点 申请SSL证书 进入 httpsok.com，点击申请证书 输入站点域名 根据提示，添加DNS解析记录 添加成功后，提示域名验证…
阅读更多...
如何在AI绘画SD中调节光照？这2个超好用的方法别错过！轻松生成AI人像光感大片！

如何在AI绘画SD中调节光照？这2个超好用的方法别错过！轻松生成AI人像光感大片！

大家好，我是画画的小强 在AI绘画Stable Diffusion 摄影艺术中，灯光的运用对于照片的质量和情感表达至关重要。它不仅能够彰显主题，还能为画面增添深度与立体感，帮助传递感情，以及凸显细节之美。 下面，我将…
阅读更多...
YD-D3无线遥控声光报警器，微波探测预警安全设备

YD-D3无线遥控声光报警器，微波探测预警安全设备

YD-D3无线遥控声光报警器‌是一种广泛应用于工厂车间、水泥厂、起重机、叉车、仓库、门吊、港口、车站等场所的安全报警设备。它通过大分贝喇叭播报语音提示以及高亮灯光示警，为现场人员安全保驾护航。该报警器采用集成电路设计，音质优美，抗干…
阅读更多...
航顺芯片HK32MCU受邀出席汽车芯片国产化与技术创新闭门研讨会

航顺芯片HK32MCU受邀出席汽车芯片国产化与技术创新闭门研讨会

[中国，北京，2024年9月21日]近日，深圳市航顺芯片技术研发有限公司（以下简称“航顺芯片”）产品总监郑增忠受邀出席由中国设备管理协会新能源汽车产业发展促进中心主办的“汽车芯片国产化与技术创新闭门研讨会”。 会上航…
阅读更多...
基于单片机电容测量仪仿真设计

基于单片机电容测量仪仿真设计

文章目录 前言资料获取设计介绍设计程序具体实现截图设计获取 前言 💗博主介绍：✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师，一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们…
阅读更多...
Elasticsearch 8.16 和 JDK 23 中的语言环境变化

Elasticsearch 8.16 和 JDK 23 中的语言环境变化

作者：来自 Elastic Simon Cooper 随着 JDK 23 即将发布，语言环境信息中有一些重大变化，这将影响 Elasticsearch 以及你提取和格式化日期时间数据的方式。首先，介绍一些背景知识。 什么是语言环境？ 每次 Java 程序需要…
阅读更多...
【Java】static-静态变量、静态方法、工具类、注意事项、args数组的使用

【Java】static-静态变量、静态方法、工具类、注意事项、args数组的使用

文章目录 一、静态变量特点调用方式 二、静态方法特点调用方式 三、类的类型1.Javabean类2.测试类3.工具类 四、注意事项从代码方面解释1. 上下文清晰2. 静态变量的访问例子注意 3. 静态方法中没有this关键字原因 4. 静态方法只能访问静态变量和静态方法错误原因解决方法 4.非静…
阅读更多...
如何获取钉钉webhook

如何获取钉钉webhook

第一步打开钉钉并登录 第二步创建团队 并且 添加自定义 机器人 即可获取webhook
阅读更多...
【流计算】流计算概论

【流计算】流计算概论

前言 作者在之前写过一个大数据的专栏，包含GFS、BigTable、MapReduce、HDFS、Hadoop、LSM树、HBase、Spark，专栏地址： https://blog.csdn.net/joker_zjn/category_12631789.html?fromshareblogcolumn&sharetypeblogcolumn&sharerI…
阅读更多...
待办事项应用SideQuests

待办事项应用SideQuests

赶在国庆长假前，自驾🚗出去玩了几天。 国庆前的错峰出游简直是太香了！一路上🛣️畅通无阻，停车🅿️不用抢，吃饭🍔不用等，景点🏞️不用排队，拍照&…
阅读更多...
Flume实战--Flume中的拦截器详解与操作

Flume实战--Flume中的拦截器详解与操作

在处理大规模数据流时，Apache Flume 是一款功能强大的数据聚合工具，它可以通过拦截器在运行时对Event进行修改或丢弃。本文将详细讲解Flume中的拦截器，包括时间戳拦截器、Host添加拦截器、静态拦截器以及如何自定义拦截器。 拦截器 拦截器的…
阅读更多...
《HelloGitHub》第 102 期

《HelloGitHub》第 102 期

兴趣是最好的老师，HelloGitHub 让你对编程感兴趣！ 简介 HelloGitHub 分享 GitHub 上有趣、入门级的开源项目。 github.com/521xueweihan/HelloGitHub 这里有实战项目、入门教程、黑科技、开源书籍、大厂开源项目等，涵盖多种编程语言 Python、…
阅读更多...
LeetCode - #124 二叉树中的最大路径和（Top 100）

LeetCode - #124 二叉树中的最大路径和（Top 100）

文章目录 前言1. 描述2. 示例3. 答案关于我们前言 本题为 LeetCode 前 100 高频题 我们社区陆续会将顾毅（Netflix 增长黑客，《iOS 面试之道》作者，ACE 职业健身教练。）的 Swift 算法题题解整理为文字版以方便大家学习与阅读。 LeetCode 算法到目前我们已经更新到 123 期…
阅读更多...
Electron 隐藏顶部菜单

Electron 隐藏顶部菜单

隐藏前： 隐藏后： 具体设置代码： 在 main.js 中加入这行即可： // 导入模块 const { app, BrowserWindow ,Menu } require(electron) const path require(path)// 创建主窗口 const createWindow () > {const mainWindow ne…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023