【大数据监控】Grafana、Spark、HDFS、YARN、Hbase指标性能监控安装部署详细文档

news2025/1/17 21:55:23

目录

  • Grafana
    • 简介
    • 下载软件包
    • 安装部署
    • 修改配置文件
    • 创建用户
    • 创建Systemd服务
    • 启动 Grafana
  • Spark应用监控 Graphite_exporter
  • HDFS 监控
  • YARN 监控
  • HBase 监控

Grafana

在这里插入图片描述

简介

Grafana 是一款开源的数据可视化工具，使用 Grafana 可以非常轻松的将数据转成图表(如下图)的展现形式来做到数据监控以及数据统计。

下载软件包

wget https://github.com/prometheus/prometheus/releases/download/v2.19.2/prometheus-2.19.2.linux-amd64.tar.gz

安装部署

解压

tar -xvzf grafana-enterprise-9.1.6.linux-arm64.tar.gz

mv grafana-9.1.6 /data/apps/
cd /data/apps/grafana-9.1.6/conf
cp sample.ini grafana.ini

修改配置文件

vim grafana.ini

[paths]
# Path to where grafana can store temp files, sessions, and the sqlite3 db (if that is used)
;data = /var/lib/grafana
data = /data/apps/grafana-9.1.6/data
logs = /data/apps/grafana-9.1.6/logs
plugins = /data/apps/grafana-9.1.6/plugins

[log]

mode = file
level = warn

创建用户

groupadd -g 9100 monitor
useradd -g 9100 -u 9100 -s /sbin/nologin -M monitor
mkdir data && mkdir logs && mkdir plugins

chown -R monitor:monitor grafana-9.1.6

创建Systemd服务

vim /usr/lib/systemd/system/grafana.service

[Unit]
Description=grafana service
After=network.target

[Service]
User=monitor
Group=monitor
KillMode=control-group
Restart=on-failure
RestartSec=60
ExecStart=/data/apps/grafana-9.1.6/bin/grafana-server -config /data/apps/grafana-9.1.6/conf/grafana.ini -pidfile /data/apps/grafana-9.1.6/grafana.pid -homepath /data/apps/grafana-9.1.6

[Install]
WantedBy=multi-user.target

启动 Grafana

systemctl daemon-reload
systemctl restart grafana.service
systemctl enable grafana.service
systemctl status grafana

Spark应用监控 Graphite_exporter

配置 mapping 文件

cd /usr/local/graphite_exporter
vim graphite_exporter_mapping

graphite_exportergraphite_exportengs:
- match: '*.*.executor.filesystem.*.*'
  name: spark_app_filesystem_usage
  labels:
    application: $1
    executor_id: $2
    fs_type: $3
    qty: $4
- match: '*.*.jvm.*.*'
  name: spark_app_jvm_memory_usage
  labels:
    application: $1
    executor_id: $2
    mem_type: $3
    qty: $4
- match: '*.*.executor.jvmGCTime.count'
  name: spark_app_jvm_gcTime_count
  labels:
    application: $1
    executor_id: $2
- match: '*.*.jvm.pools.*.*'
  name: spark_app_jvm_memory_pools
  labels:
    application: $1
    executor_id: $2
    mem_type: $3
    qty: $4
- match: '*.*.executor.threadpool.*'
  name: spark_app_executor_tasks
  labels:
    application: $1
    executor_id: $2
    qty: $3
- match: '*.*.BlockManager.*.*'
  name: spark_app_block_manager
  labels:
    application: $1
    executor_id: $2
    type: $3
    qty: $4
- match: '*.*.DAGScheduler.*.*'
  name: spark_app_dag_scheduler
  labels:
    application: $1
    executor_id: $2
    type: $3
    qty: $4
- match: '*.*.CodeGenerator.*.*'
  name: spark_app_code_generator
  labels:
    application: $1
    executor_id: $2
    type: $3
    qty: $4
- match: '*.*.HiveExternalCatalog.*.*'
  name: spark_app_hive_external_catalog
  labels:
    application: $1
    executor_id: $2
    type: $3
    qty: $4
- match: '*.*.*.StreamingMetrics.*.*'
  name: spark_app_streaming_metrics
  labels:
    application: $1
    executor_id: $2
    app_name: $3
    type: $4
    qty: $5

HDFS 监控

namenode.yaml

---
startDelaySeconds: 0
hostPort: localhost:1234 #master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

datanode.yaml

---
startDelaySeconds: 0
hostPort: localhost:1244 #master为本机IP（一般可设置为localhost）；1244为想设置的jmx端口（可设置为未被占用的端口）
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

配置 hadoop-env.sh

export HADOOP_NAMENODE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=1234 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9211:/namenode.yaml"

export HADOOP_DATANODE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=1244 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9212:/datanode.yaml"

YARN 监控

yarn.yaml

---
startDelaySeconds: 0
hostPort: localhost:2111 #master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

配置 yarn-env.sh

export YARN_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=2111 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9323:/yarn.yaml"

HBase 监控

master.yaml

---
startDelaySeconds: 0
hostPort: IP:1254 #master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口（可设
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

regionserver.yaml

---
startDelaySeconds: 0
hostPort: IP:1255 #master为本机IP（一般可设置为localhost）；1234为想设置的jmx端口
#jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:1234/jmxrmi
ssl: false
lowercaseOutputName: false
lowercaseOutputLabelNames: false

配置 hbase-env.sh

HBASE_M_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmx    remote.port=1254 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9523:/hbasem.yaml"
#======================================= prometheus jmx export start===================================
HBASE_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxre    mote.port=1255 -javaagent:/jmx_prometheus_javaagent-0.8.jar=9522:/hbase.yaml"
#======================================= prometheus jmx export end ===================================

希望对正在查看文章的您有所帮助，记得关注、评论、收藏，谢谢您

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/387230.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Java实现单向链表

Java实现单向链表

✅作者简介：热爱Java后端开发的一名学习者，大家可以跟我一起讨论各种问题喔。 🍎个人主页：Hhzzy99 🍊个人信条：坚持就是胜利！ 💞当前专栏：Java数据结构与算法 &#x1f9…
阅读更多...
DevOps in China：15年来，DevOps在中国经历了什么？

DevOps in China：15年来，DevOps在中国经历了什么？

纵观21世纪软件工程的发展，2009年一定是具有里程碑意义的一年。 自21世纪初，为了使软件快速适应复杂多变的市场环境、满足频繁变化的业务需求，软件开发开始不断应用以Scrum、精益开发、看板、极限编程为代表的敏捷开发方法，但此类…
阅读更多...
STC单片机使用FatFs文件系统读取SD卡指定文件内容

STC单片机使用FatFs文件系统读取SD卡指定文件内容

STC单片机使用FatFs文件系统读取SD卡指定文件内容 🎞通过串口打印SD卡指定文件内容效果演示： 🌿所使用的单片机型号：STC15F2K60S2🌴晶振频率：11.059MHz🔗串口波特率： 9600🌼所使用的是迷你SD模块进行测试：⛳注意事项 🌿项目工程使用的内部ram比较大，需在工程…
阅读更多...
SpringBoot项目监控-Prometheus+Grafana

SpringBoot项目监控-Prometheus+Grafana

目录 介绍 Prometheus Grafana 使用场景 特性 简单使用 SpringBoot配置 引入依赖 配置文件application.properties 启动 应用添加到Prometheus 下载 配置 启动 使用 Grafana Dashboard 展示应用数据 配置Prometheus数据源 配置监控面板 效果 其他 介绍 Pro…
阅读更多...
RFID高频读写器在STM32中的应用

RFID高频读写器在STM32中的应用

文章目录一、RFID简述二、产品参数及硬件连接三、模块测试四、RFID读写操作五、项目源码一、RFID简述 RFID是Radio Frequency Identification的缩写，是一种无接触自动识别技术，利用射频信号及其空间耦合传输特性，实现对静止的或移动中的待识别…
阅读更多...
不懂命令, 如何将代码托管到Gitee上

不懂命令, 如何将代码托管到Gitee上

1.注册码云注册地址 : https://gitee.com2. 新建仓库第一步 : 创建仓库第二步 : 给仓库起名字创建好仓库后, 我们就有了一个网络上的仓库 : 3. 将网络上的仓库克隆到本地在克隆仓库之前, 我们需要先在电脑上安装以下两个工具 >>这两个软件一定要按顺序安装, 先安装第一个…
阅读更多...
Mybatis动态sql语句foreach中拼接正则表达式字符串注意事项

Mybatis动态sql语句foreach中拼接正则表达式字符串注意事项

今天要说到的查询情况，平时项目里边其实用到的并不是很多，使用正则表达式无非是为了匹配结果比较灵活，最常见的，我们的查询条件一般一个参数仅仅只是一种情况的筛选，对于如何选择查询方式，主要还是要看前端…
阅读更多...
博通仍然是美股市场最好的芯片半导体股

博通仍然是美股市场最好的芯片半导体股

来源：猛兽财经 作者：猛兽财经 博通(AVGO)是一家快速增长的半导体公司，并且有很高的股息分红，目前其股息收益率已经高出了平均水平3.2%，而且估值非常合理，仅为预期净利润的14倍。 虽然博通也受到了经济衰退影…
阅读更多...
One UI 5.1 更新来了

One UI 5.1 更新来了

之前一直在关注One UI 5.0里提到的视频通话背景功能模块，结果5.0版本推送的时候没有引入，有先行者计划博主说是5.1里肯定会有的；前一两天One UI 5.1更新来了，然而该功能还是没有引入，表示很遗憾；本次更新新…
阅读更多...
[媒体分流直播]媒体直播和传统直播的区别，以及媒体直播的特点

[媒体分流直播]媒体直播和传统直播的区别，以及媒体直播的特点

传媒如春雨，润物细无声，大家好，我是51媒体网胡老师。 直播毋庸置疑已经融入到了我们生活的方方面面，小到才艺，游戏，大到政策的发布，许多企业和机构也越来越重视直播，那么一场活动怎…
阅读更多...
「ABAP」OPEN SQL中FROM语句超详细解析（附案例源码解读）

「ABAP」OPEN SQL中FROM语句超详细解析（附案例源码解读）

💂作者简介： THUNDER王，一名热爱财税和SAP ABAP编程以及热爱分享的博主。目前于江西师范大学会计学专业大二本科在读，同时任汉硕云（广东）科技有限公司ABAP开发顾问。在学习工作中，我通常使用偏后…
阅读更多...
剑指offer：在排序数组中查找数字I的个数

剑指offer：在排序数组中查找数字I的个数

剑指offer：在排序数组中查找数字I的个数 LeetCode 2698题，剑指offer 53题。 击败100%的用户 题目描述 统计一个数字在排序数组中出现的次数。 示例 1: 输入: nums [5,7,7,8,8,10], target 8 输出: 2示例 2: 输入: nums [5,7,7,8,8,10], target…
阅读更多...
模电基础（1） 半导体基础知识

模电基础（1） 半导体基础知识

基本内容： 1.本征半导体的基本介绍结构； 2.杂质半导体； 3.PN结的形成； 4.PN结的性质。 1.本征半导体 半导体：导电性能介于绝缘体和导体之间的物质。 本征半导体是纯净的晶体结构的半导体。 纯净→无杂质晶体结构→稳…
阅读更多...
代码随想录中：回溯算法的基础

代码随想录中：回溯算法的基础

回溯算法是一种暴力的搜索方式；回溯法一般与递归同时存在。 回溯法，一般可以解决如下几种问题： 组合问题：N个数里面按一定规则找出k个数的集合切割问题：一个字符串按一定规则有几种切割方式子集问题：一个…
阅读更多...
SpringBoot 集成 RabbitMQ

SpringBoot 集成 RabbitMQ

SpringBoot 集成 RabbitMQ 1.应用实例 需求说明/图解 -P : 消息的发送者/生产者 -C : 消息的接受者/消费者 -中间表示队列 完成步骤 添加依赖 <!--rabbitmq-需要的 AMQP 依赖--> <dependency><groupId>org.springframework.boot</groupId><art…
阅读更多...
python判断控制语句和输出练习

python判断控制语句和输出练习

作业2&#xff1a;判断一个数&#xff0c;是否是2的指数 2的指数 0000 0010 0000 0001 0000 0100 0000 0011 0000 1000 0000 0111 0001 0000 0000 1111 提示&#xff1a;所有2的指数&#xff1a;n&(n - 1) 0 作业3&#xff…
阅读更多...
【spring】spring5特性

【spring】spring5特性

1、整个 Spring5 框架的代码基于 Java8&#xff0c;运行时兼容 JDK9&#xff0c;许多不建议使用的类和方 法在代码库中删除 日志框架 2、Spring 5.0 框架自带了通用的日志封装 &#xff08;1&#xff09;Spring5 已经移除 Log4jConfigListener&#xff0c;官方建议使用 Log4j…
阅读更多...
Linux23 --- 三次握手四次挥手、客户端编程流程代码、命令netstat、 tcp协议是个面向链接的可靠的流式服务

Linux23 --- 三次握手四次挥手、客户端编程流程代码、命令netstat、 tcp协议是个面向链接的可靠的流式服务

tcp协议特点&#xff1a; 面向连接的&#xff0c;可靠的&#xff0c;流式服务。 一、三次握手 、四次挥手 链接的建立通过三次握手&#xff0c;链接的断开通过四次挥手 1、TCP固定头部结构 2、三次握手 3、四次挥手 二、命令 - netstat -natp n - 用数字来表示ip地址、端口…
阅读更多...
【8】【用户操作日志】操作日志SpringBootStarter

【8】【用户操作日志】操作日志SpringBootStarter

操作日志 此版本操作日志主要就是通过AOP拦截器实现的&#xff0c;整体主要分为AOP拦截器、自定义函数、日志上下文、扩展接口&#xff1b;组件提供了6个扩展点&#xff0c;自定义函数、日志上下文、用户信息获取&#xff0c;日志保存&#xff0c;自定义异常获取&#xff0c;入…
阅读更多...
2023王道考研数据结构笔记第四章串

2023王道考研数据结构笔记第四章串

第四章 串 4.1 串的定义 4.1.1 串的相关概念 串&#xff1a;即字符串&#xff08;String&#xff09;是由零个或多个字符组成的有限序列。一般记为S‘a1a2…an’ (n>0) 其中S是串名&#xff0c;单引号&#xff08;注&#xff1a;有的地方用双引号&#xff0c;如Java、C&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023