初识Telegraf、InfluxDB和Grafana铁三角形成的监控可视化解决方案

news2024/9/27 9:18:52

文章目录

  • 前言
  • 原始的监控靠人盯
  • 进化的监控靠批处理脚本
  • 高端的监控靠完整的可视化解决方案
  • Telegraf、InfluxDB和Grafana铁三角
    • Telegraf
    • InfluxDB
    • Grafana
  • Grafana仪表板展示
    • 服务器资源总览
    • 负载和内存使用
    • 网络带宽
    • 磁盘IO
    • IO延迟
    • 其他指标
    • 进程信息
  • 总结

前言

数据监控目前用于各行各业,服务器开发也不例外,进程什么时候被杀死了?内存占用已经达到98%了怎么早点没发现,网络带宽已经占满了怪不得玩家反馈说登录不上去了,这些都是服务器开发人员常常听到的“抱怨”,他们都涉及到服务器资源的使用情况,如果有一种方便的途径可以高效的监控各个服务器的情况就好了,单靠人去各个服务器查看是不现实的,今天就来简单介绍一种我刚刚学到的方案。

原始的监控靠人盯

如果服务器只有一台或者很少,可以每隔一段时间去服务器上看看,top 看一下整体运行情况,free 查一下内存详情,df 看一下硬盘还够不够,iftop 看一下网络带宽情况,不要觉得不可能,有次测试我真的就是开了好几个远程窗口来盯着各个指标,不过人的精力有限,这样做毕竟不是长久之计。

进化的监控靠批处理脚本

随着服务器的增多,靠人盯的方式的已经达不到要求了,看看上面的这些命令都是已知的,并且只需要定期得到这些值就可以了,完全可以使用脚本定期执行来做呀,把上面提到的命令封装成脚本然后定期执行得到结果列表,然后发送到指定的地址,我们就可以只分析这些结果,没必要登录到各个服务器上去查询了。

高端的监控靠完整的可视化解决方案

懒惰是科学发展的推动力,使用脚本收集数据就不用登录服务器去实时查询了,那能不能帮我自动分析结果,或者在异常时直接给出提醒,因为我连分析的操作都不想做,肯定有人这样想当然也有人这样做了,并且形成了成熟的解决方案,我们只需要简单搭建和配置就可以早点下班了,半夜收到服务器报警电话时起来解决就可以了。

Telegraf、InfluxDB和Grafana铁三角

Telegraf是一个用于收集、处理和发送指标数据的代理,它可以与各种数据源和监控系统集成,定期收集数据并将其发送到目标位置。

InfluxDB是一个开源的时间序列数据库,用于存储和查询大量时间序列数据。它被广泛用于存储来自Telegraf等数据收集器的指标数据。

Grafana用于创建交互式仪表板,从各种数据源中提取数据,并将数据以图表、图形和表格等形式展示出来。

通过将Telegraf用作数据收集代理,将数据发送到InfluxDB中存储,然后使用Grafana从InfluxDB中提取数据进行可视化,这个铁三角组合提供了一个强大的监控和数据可视化解决方案。

Telegraf

Telegraf是一个开源的代理程序,用于收集、处理和发送指标数据。它设计用于高效地收集各种类型的数据,并将其发送到不同的目标位置,如时序数据库、消息队列等,具有以下是关键特点和功能:

  • 插件架构:Telegraf采用模块化的插件架构,具有丰富的输入和输出插件。它支持多种输入插件,如系统性能指标、日志文件、数据库查询、API调用等,以便从不同的数据源中收集数据。同样,Telegraf还支持多种输出插件,如InfluxDB、Elasticsearch、Kafka等,用于将收集到的数据发送到不同的目标位置。

  • 多平台支持:Telegraf可在多个操作系统上运行,包括Linux、Windows和macOS,以适应不同的部署环境和需求。

  • 轻量级和高性能:Telegraf被设计为轻量级和高性能的代理程序,可以在资源受限的环境中高效运行。它使用Golang编写,具有低的内存和CPU占用,并能够处理高并发的数据收集和处理任务。

  • 数据转换和处理:Telegraf提供了灵活的数据转换和处理功能,可以对收集到的数据进行过滤、转换、聚合等操作。它支持各种数据处理任务,如标签添加、数据格式转换、聚合计算等,以便对数据进行预处理和清洗,使其适应目标存储或分析平台的要求。

  • 插件生态系统:Telegraf拥有一个活跃的插件生态系统,用户可以根据自己的需求选择和配置适当的插件。社区提供了大量的插件,覆盖了各种数据源和目标位置,使得Telegraf具备广泛的适用性和灵活性。

InfluxDB

InfluxDB是一个开源的高性能时序数据库,专门用于存储和处理时间序列数据。它被设计为能够高效地处理大规模的时间相关数据,并提供快速的数据插入、查询和聚合能力,具有关键特点和功能:

  • 时序数据存储:InfluxDB专注于存储和管理时间序列数据,如传感器数据、监控指标、日志事件等。它使用特定的数据结构和索引机制,以优化对时间序列数据的写入和查询操作。

  • 高性能和可扩展性:InfluxDB被设计为具有高吞吐量和低延迟的数据库系统。它采用了一系列的优化策略,包括压缩算法、分片存储、数据分区等,以实现高效的数据处理和查询性能。此外,InfluxDB还支持水平扩展,可以通过添加更多节点来提高性能和容量。

  • 查询语言:InfluxDB提供了InfluxQL和Flux两种查询语言。InfluxQL是类似于SQL的查询语言,专门用于时间序列数据的查询和聚合操作。Flux是一种功能更强大和灵活的查询语言,它支持更复杂的数据处理和转换操作,并具有扩展性更好的能力。

  • 数据保留策略:InfluxDB允许定义数据保留策略,以指定数据在数据库中的保存期限和存储策略。这样可以根据数据的时效性需求和存储资源限制来管理数据的保留和清理。

  • 数据一致性和持久性:InfluxDB采用了写时复制(Write Ahead Log)的机制,确保数据的一致性和持久性。它使用持久化引擎来保证数据在故障情况下的可靠性,同时提供数据备份和恢复的功能。

  • 整合生态系统:InfluxDB具有丰富的整合生态系统,可以与各种数据源和工具集成。它支持与Telegraf等数据收集代理的无缝集成,以及与Grafana等数据可视化工具的联合使用,提供完整的监控和数据处理解决方案。

Grafana

Grafana是一个开源的数据可视化和监控平台,用于创建、展示和分析实时指标和数据的交互式仪表板。它提供了丰富的可视化选项和灵活的配置,使用户能够轻松地创建各种类型的仪表板,并实时监控和分析数据,具有以下关键特点和功能:

  • 数据源支持:Grafana支持广泛的数据源,包括各种数据库(如MySQL、PostgreSQL、InfluxDB)、时序数据库(如Prometheus、Graphite)、日志文件、API等。它提供了内置的数据源插件和API接口,以便与不同的数据源进行集成和数据获取。

  • 丰富的可视化选项:Grafana提供多种可视化选项,如折线图、柱状图、仪表盘、热力图等,可以根据数据的特点选择适合的图表类型。它还支持动态图表、图表注释、数据标记等功能,以增强数据的可视化效果和交互性。

  • 交互式仪表板:Grafana的仪表板具有交互式的功能,用户可以自由地缩放、选择时间范围、过滤数据等。它还支持实时数据更新和自动刷新,以确保仪表板上的数据保持最新。

  • 告警和通知:Grafana提供了强大的告警功能,用户可以根据自定义的条件设置告警规则,并通过电子邮件、Slack等渠道接收告警通知。这样可以及时发现数据异常或重要指标的变化。

  • 用户管理和权限控制:Grafana支持多用户和团队管理,可以设置不同的用户角色和权限,以控制对仪表板和数据的访问和操作。它还提供了LDAP、OAuth等身份验证和单点登录功能,与企业的用户管理系统集成更加便捷。

  • 社区支持和插件生态系统:Grafana拥有庞大的开源社区支持和活跃的插件生态系统。用户可以从社区中获取各种主题、模板和插件,以扩展和定制Grafana的功能和外观。

Grafana仪表板展示

说实话第一次看到Grafana仪表板还是挺震撼的,展示的信息很多,可以帮助服务器维护人员分析很多问题,下面来展示一些主要的面板。

服务器资源总览

服务器总览

负载和内存使用

负载和内存

网络带宽

网络带宽

磁盘IO

磁盘IO

IO延迟

IO延迟

其他指标

其他指标

进程信息

进程信息

总结

  • Telegraf、Grafana和InfluxDB通常被称为"铁三角",因为它们经常一起使用,形成一个完整的监控和数据可视化解决方案
  • Telegraf是一个用于收集、处理和发送指标数据的代理,它可以与各种数据源和监控系统集成,定期收集数据并将其发送到目标位置
  • InfluxDB是一个开源的时间序列数据库,用于存储和查询大量时间序列数据。它被广泛用于存储来自Telegraf等数据收集器的指标数据
  • Grafana用于创建交互式仪表板,从各种数据源中提取数据,并将数据以图表、图形和表格等形式展示出来
  • Grafana的仪表板真的挺漂亮的
==>> 反爬链接,请勿点击,原地爆炸,概不负责!<<==

把烦恼痛了吞了认了算了
不对别人讲
谁还没有辜负几段 昂贵的时光

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/657127.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Cracking C++(13): 读取不超过n个字符

文章目录 1. 目的2. 正确用法实例3. 纠正错误用法3.1 错误用法3.2 让 AddressSanitizer 告诉你错误3.3 解释 4. 总结 1. 目的 在读取 pgm 格式图像的 meta 信息时&#xff0c; 使用了 %2s 这个格式串&#xff0c; 之前不是很了解&#xff0c; 尝试后发现&#xff0c; 如果不小…

花上半小时帮你快速熟悉微服务架构

本文将介绍微服务架构和相关的组件&#xff0c;介绍他们是什么以及为什么要使用微服务架构和这些组件。本文侧重于简明地表达微服务架构的全局图景&#xff0c;因此不会涉及具体如何使用组件等细节。 要理解微服务&#xff0c;首先要先理解不是微服务的那些。通常跟微服务相对…

读发布!设计与部署稳定的分布式系统(第2版)笔记02_停飞的代码异常

1. 以前“计划内的停机”很正常&#xff0c;现在则不被接受 2. 高可用性架构 2.1. CF系统不会遇到任何常见的单点失效问题 2.1.1. 硬件的每一部分都有冗余 2.1.1.1. CPU 2.1.1.2. 驱动器 2.1.1.3. 网卡 2.1.1.4. 电源 2.1.1.5. 网络交换机 2.1.1.6. 风扇 2.1.2. 为了…

Redis哨兵模式的配置

1.环境准备 master节点1个slave节点2个sentinel【哨兵】节点3个redis版本5.0.3操作系统&#xff1a;Centos7 2.主从节点配置 创建redis-conf目录&#xff0c;此目录用于存放主从节点的配置文件 复制redis.conf&#xff0c;然后创建三个配置文件&#xff1a;redis-6379.conf&…

循环缓冲题目

题目&#xff1a;一环形缓冲区由 6 个缓冲区 0~5 组成&#xff0c;其中 Full 表示装满数据的缓冲区&#xff0c;Empty 表示空缓冲区。按照顺时针方向&#xff0c;指针 Pf 指向第一个 “满” 缓冲区&#xff0c;指针 Pe 指向第一个 “空” 缓冲区。进程 In 在 Pe 指示下不断向 E…

XSS数据接收网站——XSS在线平台

文章目录 前言使用步骤1、进入到xss在线平台主页2、创建项目3、生成攻击poc4、查看返回结果 前言 平台的网址是&#xff1a; 链接: XSS在线平台 使用步骤 1、进入到xss在线平台主页 2、创建项目 我的项目&#xff0c;点击创建&#xff0c;项目名称和描述随便填&#xff0c;…

Docker安装和使用,Docker拉取Mysql.

Docker Unbuntu安装dockerdocker的相关操作开启docker服务查看镜像搜索镜像拉取镜像删除镜像运行容器查看容器停止运行容器重新运行容器删除容器构建一个Docker镜像登陆Dockerhub提交镜像到dockerhub退出dockerhub进入正在运行的容器的交互式终端其他docker操作 docker拉取mysq…

qemu arm Linux 环境测试交叉编译的 glib 库 测试用例 tests

环境搭建 ubuntu 20.04 arm 平台交叉编译 glib 库 交叉编译 glib 库 glib 库 本身带有大量的测试用例 tests&#xff0c;分别在 glib 各个模块目录下的 tests 目录&#xff0c;如果是 ARM Linux 平台的交叉编译&#xff0c;可以开启 installed_tests 选项 开启 glib tests 测…

2.pixi.js编写的塔防游戏(类似保卫萝卜)-场景编辑器

游戏说明 一个用pixi.js编写的h5塔防游戏&#xff0c;可以用electron打包为exe&#xff0c;支持移动端&#xff0c;也可以用webview控件打包为app在移动端使用 环境说明 cnpm6.2.0 npm6.14.13 node12.22.7 npminstall3.28.0 yarn1.22.10 npm config list electron_mirr…

一种正弦信号叠加高频噪声的信号基频率准确测量方法

1.问题 当信号叠加有高频噪声时&#xff0c;特别是类似有变频器这类强干扰源存在的情况下&#xff0c;如何测得信号的准确频率&#xff0c;是个问题。FFT要求长时间采样&#xff0c;对于嵌入式应用&#xff0c;采样点数和时间消耗都是个问题。而即使用示波器的波形叠加功能&…

Debian12 U盘安装

今天买了一个蓝牙适配器&#xff0c;想着在我的Centos7上把这个蓝牙使用起来&#xff0c;但遗憾的是即使经过淘宝客服的远程操作也无法正常使用起来&#xff0c;原因是我的Centos版本太低&#xff0c;有些头文件缺失内容导致编译不过&#xff0c;然后蓝牙驱动无法正常安装。在客…

【八】spring boot集成数据库连接池druid

spring boot集成数据库连接池druid 最近在进行程序优化的过程中发现程序瓶颈在数据库连接这块&#xff0c;于是开始研究怎么对数据库连接池参数进行调优&#xff0c;在这个过程中发现很多人使用druid很不规范&#xff0c;经常会出现导入的包和配置参数不对应的情况&#xff0c;…

Mybatis-Plus《学习笔记(22版尚硅谷)》

一、MyBatis-Plus 1.简介 MyBatis-Plus (opens new window)&#xff08;简称 MP&#xff09;是一个 MyBatis (opens new window)的增强工具&#xff0c;在 MyBatis 的基础上只做增强不做改变&#xff0c;为简化开发、提高效率而生。 我们的愿景是成为 MyBatis 最好的搭档&…

【SpringCloud入门】-- Ribbon入门

1.什么是Ribbon&#xff1f; Ribbon就是netflix公司的一个开源项目&#xff0c;主要功能是提供客户端负载均衡算法和服务调用。Ribbon客户端组件提供了完善的配置项&#xff0c;如连接超时&#xff0c;重试等等。Ribbon作为服务消费者的负载均衡器&#xff0c;有两种使用方式&…

LeetCode 2481. Minimum Cuts to Divide a Circle【数学,几何】简单

本文属于「征服LeetCode」系列文章之一&#xff0c;这一系列正式开始于2021/08/12。由于LeetCode上部分题目有锁&#xff0c;本系列将至少持续到刷完所有无锁题之日为止&#xff1b;由于LeetCode还在不断地创建新题&#xff0c;本系列的终止日期可能是永远。在这一系列刷题文章…

AMD——CPU微架构分析

一、SoC架构 1.1 整体架构 Zeppelin 参考链接&#xff1a;wikichip: Zeppelin 通过infinity fabric总线将单die分成多die的SoC架构&#xff0c;每个Die包含两个CPU核&#xff08;CCX&#xff09;、2各DDR通道、USB、低功耗IO以及多个IFOP和IFIS serdes接口。 如下所述中&…

【Python 随练】三数字排序

题目&#xff1a; 输入三个整数 x, y, z&#xff0c;请按照从小到大的顺序输出这三个数。 简介&#xff1a; 在本篇博客中&#xff0c;我们将使用Python代码解决一个简单的排序问题&#xff1a;如何将输入的三个整数按照从小到大的顺序进行排序并输出。我们将提供问题的解析…

力扣动态规划专题(三)完全背包 518.零钱兑换II 377. 组合总和 Ⅳ 70. 爬楼梯 322. 零钱兑换 279.完全平方数 139.单词拆分 步骤及C++实现

文章目录 完全背包一维dp数组 滚动数组 518.零钱兑换II377. 组合总和 Ⅳ70. 爬楼梯322. 零钱兑换279.完全平方数139.单词拆分 完全背包 完全背包的物品数量是无限的&#xff0c;01背包的物品数量只有一个 完全背包和01背包分许步骤一样&#xff0c;唯一不同就是体现在遍历顺序上…

JVM内存分析:Aviator低版本内存泄漏问题分析

目录 1.频繁FullGC告警 2.堆转储操作生成dump文件 3.利用MAT工具分析dump文件 3.1 大对象视图分析内存泄漏原因 3.2 Aviator框架中什么地方用到ThreadLocal&#xff1f; 3.3 fnLocal为什么存在内存泄漏&#xff1f; 3.4 LambdaFunctionBootstrap为什么没有释放&#xff…

002mavenSettings配置

Maven –Settings 官网说明https://maven.apache.org/guides/mini/guide-mirror-settings.html 官网说明 模板 <?xml version"1.0" encoding"UTF-8"?> <settings xmlns"http://maven.apache.org/SETTINGS/1.0.0"xmlns:xsi"htt…