Prometheus通过consul实现自动服务发现

news2024/11/22 8:45:49

环境,软件准备

本次演示环境，我是在虚拟机上安装 Linux 系统来执行操作，以下是安装的软件及版本：

  • System: CentOS Linux release 7.6
  • Docker: 24.0.5
  • Prometheus: v2.37.6
  • Consul: 1.6.1

注意：这里为了方便启动 Prometheus、Consul服务，我使用 Docker 方式启动，所以本机需要安装好 Docker 环境，这里忽略 Docker 的安装过程。其中 Prometheus 安装配置，可以参照之前文章 Prometheus 监控报警系统 AlertManager 之邮件告警，这里着重介绍一下如何启动并配置 Consul 并配置 Prometheus 基于 Consul 实现自动服务发现。

Consul 安装配置

Docker 安装

使用 Docker 启动 Consul 单节点服务，直接获取最新版官方镜像 consul:latest 命令如下：

$ docker run --name consul -d -p 8500:8500 consul

启动完毕后，同上方法验证是否启动成功，这里为了方便演示，我采用 Docker 方式启动 Consul，这里的访问地址为:http://192.168.75.42:8500

API 注册服务到 Consul

接下来，我们要注册服务到 Consul 中，可以通过其提供的 API 标准接口来添加。那么先注册一个测试服务，该测试数据为本机 node-exporter 服务信息，服务地址及端口为 node-exporter 默认提供指标数据的地址，执行如下命令：

$curl -X PUT -d '{"id": "node-exporter","name": "node-exporter-192.168.75.42","address": "192.168.75.42","port": 9100,"tags": ["test"],"checks": [{"http": "http://192.168.75.42:9100/metrics", "interval": "5s"}]}'  http://192.168.75.41:8500/v1/agent/service/register

提一下，如果要注销掉某个服务，可以通过如下 API 命令操作，例如注销上边添加的 node-exporter 服务.这里的node-exporter事这个注册服务的ID

$curl -X PUT http://192.168.75.41:8500/v1/agent/service/deregister/node-exporter

配置 Prometheus 实现自动服务发现

现在 Consul 服务已经启动完毕，并成功注册了一个服务，接下来，我们需要配置 Prometheus 来使用 Consul 自动服务发现，目的就是能够将上边添加的服务自动发现到 Prometheus 的 Targets 中，增加 prometheus.yml 配置如下：

  - job_name: 'consul_exporter'
    consul_sd_configs:
      - server: '192.168.75.41:8500'
        services: []


#重新加载prometheus服务
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus]$curl -X POST http://localhost:9090/-/reload

说明一下：这里需要使用 consul_sd_configs 来配置使用 Consul 服务发现类型，server 为 Consul 的服务地址，这里跟上边要对应上。 配置完毕后，重启 Prometheus 服务，此时可以通过 Prometheus UI 页面的 Targets 下查看是否配置成功。

这里说明下,在进行服务注册的时候ID是不可以重复出现的,如果重复出现的话那么这个ID要么会被替换成新的,要么会注册不成功.

可以看到，在 Targets 中能够成功的自动发现 Consul 中的 Services 信息，后期需要添加新的 Targets 时，只需要通过 API 往 Consul 中注册服务即可，Prometheus 就能自动发现该服务，是不是很方便。

不过，我们会发现有如下几个问题：

  1. 会发现 Prometheus 同时加载出来了默认服务 consul，这个是不需要的。
  2. 默认只显示 job 及 instance 两个标签，其他标签都默认属于 before relabeling 下，有些必要的服务信息，也想要在标签中展示，该如何操作呢？
  3. 如果需要自定义一些标签，例如 team、group、project 等关键分组信息，方便后边 alertmanager 进行告警规则匹配，该如何处理呢？
  4. 所有 Consul 中注册的 Service 都会默认加载到 Prometheus 下配置的 consul_prometheus 组，如果有多种类型的 exporter，如何在 Prometheus 中配置分配给指定类型的组，方便直观的区别它们？

以上问题，我们可以通过 Prometheus 配置中的 relabel_configs 参数来解决。

配置 relabel_configs 实现自定义标签及分类

我们先来普及一下 relabel_configs 的功能， Prometheus 允许用户在采集任务设置中，通过 relabel_configs 来添加自定义的 Relabeling 的额过程，来对标签进行指定规则的重写。 Prometheus 加载 Targets 后，这些 Targets 会自动包含一些默认的标签，Target 以 __ 作为前置的标签是在系统内部使用的，这些标签不会被写入到样本数据中。眼尖的会发现，每次增加 Target 时会自动增加一个 instance 标签，而 instance 标签的内容刚好对应 Target 实例的 __address__ 值，这是因为实际上 Prometheus 内部做了一次标签重写处理，默认 __address__ 标签设置为 <host>:<port> 地址，经过标签重写后，默认会自动将该值设置为 instance 标签，所以我们能够在页面看到该标签。

详细 relabel_configs 配置及说明可以参考 relabel_config 官网说明，这里我简单列举一下里面每个 relabel_action 的作用，方便下边演示。

  • replace: 根据 regex 的配置匹配 source_labels 标签的值（注意：多个 source_label 的值会按照 separator 进行拼接），并且将匹配到的值写入到 target_label 当中，如果有多个匹配组，则可以使用 1,1,{2} 确定写入的内容。如果没匹配到任何内容则不对 target_label 进行重新， 默认为 replace。
  • keep: 丢弃 source_labels 的值中没有匹配到 regex 正则表达式内容的 Target 实例
  • drop: 丢弃 source_labels 的值中匹配到 regex 正则表达式内容的 Target 实例
  • hashmod: 将 target_label 设置为关联的 source_label 的哈希模块
  • labelmap: 根据 regex 去匹配 Target 实例所有标签的名称（注意是名称），并且将捕获到的内容作为为新的标签名称，regex 匹配到标签的的值作为新标签的值
  • labeldrop: 对 Target 标签进行过滤，会移除匹配过滤条件的所有标签
  • labelkeep: 对 Target 标签进行过滤，会移除不匹配过滤条件的所有标签

接下来，我们来挨个处理上述问题。

问题一，我们可以配置 relabel_configs 来实现标签过滤，只加载符合规则的服务。

以上边为例，可以通过过滤 __meta_consul_tags 标签为 test 的服务，relabel_config 向 Consul 注册服务的时候，只加载匹配 regex 表达式的标签的服务到自己的配置文件。修改 prometheus.yml 配置如下：

  - job_name: 'consul_exporter'
    consul_sd_configs:
      - server: '192.168.75.41:8500'
        services: []
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*test.*
        action: keep

解释下，这里的 relabel_configs 配置作用为丢弃源标签中 __meta_consul_tags 不包含 test 标签的服务，__meta_consul_tags 对应到 Consul 服务中的值为 "tags": ["test"]，默认 consul 服务是不带该标签的，从而实现过滤。重启 Prometheus 可以看到现在只获取了 node-exporter-75.42 这个服务了,

问题二和问题三

可以归为一类，就是将系统默认标签或者用户自定义标签转换成可视化标签，

方便查看及后续 Alertmanager 进行告警规则匹配分组。不过要实现给服务添加自定义标签，我们还得做一下修改，就是在注册服务时，将自定义标签信息添加到 Meta Data 数据中，具体可以参考 [这里](Consul Service - Agent HTTP API) 官网说明，下边来演示一下如何操作。

新建 consul-0.json 如下：

[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$cat consul-0.json
{
  "ID": "node-exporter",
  "Name": "node-exporter-192.168.75.41",
  "Tags": [
    "test"
  ],
  "Address": "192.168.75.41",
  "Port": 9100,
  "Meta": {
    "app": "spring-boot",
    "team": "appgroup",
    "project": "bigdata"
  },
  "EnableTagOverride": false,
  "Check": {
    "HTTP": "http://192.168.75.41:9100/metrics",
    "Interval": "10s"
  },
  "Weights": {
    "Passing": 10,
    "Warning": 1
  }
}
说明一下：该 Json 文件为要注册的服务信息，同时往 Meta 信息中添加了 app=spring-boot，team=appgroup，project=bigdata 三组标签，目的就是为了方便告警分组使用。执行如下命令进行注册：
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$curl --request PUT --data @consul-0.json http://192.168.75.41:8500/v1/agent/service/register?replace-existing-checks=1

注册完毕，通过 Consul Web 管理页面可以查看到已注册成功，并且包含了 Meta 信息。

 然后修改 prometheus.yml 配置如下：

  - job_name: 'consul_exporter'
    consul_sd_configs:
      - server: '192.168.75.41:8500'
        services: []
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*test.*
        action: keep
      - regex: __meta_consul_service_metadata_(.+)
        action: labelmap

#重新加载prometheus配置
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus]$curl -X POST http://localhost:9090/-/reload

解释一下，增加的配置作用为匹配 __meta_consul_service_metadata_ 开头的标签，将捕获到的内容作为新的标签名称，匹配到标签的的值作为新标签的值，而我们刚添加的三个自定义标签，系统会自动添加 __meta_consul_service_metadata_app=spring-boot、__meta_consul_service_metadata_team=appgroup、__meta_consul_service_metadata_project=bigdata 三个标签，经过 relabel 后，Prometheus 将会新增 app=spring-boot、team=appgroup、project=bigdata 三个标签。重启 Prometheus 服务，可以看到新增了对应了三个自定义标签。

问题四，将自动发现的服务进行分类，

本质上跟上边的处理方式一致，可以添加自定义的标签方式，通过标签来区分，二可以通过服务 Tag 来进行匹配来创建不同的类型 exporter 分组。这里我以第二种为例，通过给每个服务标记不同的 Tag，然后通过 relabel_configs 来进行匹配区分。我们来更新一下原 node-exporter-192.168.75.42 服务标签，同时注册一个其他类型 exporter 的服务如下：

[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$cat consul-0.json
{
  "ID": "node-exporter",
  "Name": "node-exporter-192.168.75.41",
  "Tags": [
    "node-exporter"
  ],
  "Address": "192.168.75.41",
  "Port": 9100,
  "Meta": {
    "app": "spring-boot",
    "team": "appgroup",
    "project": "bigdata"
  },
  "EnableTagOverride": false,
  "Check": {
    "HTTP": "http://192.168.75.41:9100/metrics",
    "Interval": "10s"
  },
  "Weights": {
    "Passing": 10,
    "Warning": 1
  }
}
#更新注册服务
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$curl --request PUT --data @consul-0.json http://192.168.75.41:8500/v1/agent/service/register?replace-existing-checks=1
这里说明下,最后的checks参数表示如果重复那么就覆盖更新
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$cat consul2.json
{
  "ID": "cadvisor-exporter-test",
  "Name": "cadvisor-exporter-192.168.75.42",
  "Tags": [
    "cadvisor-exporter"
  ],
  "Address": "192.168.75.42",
  "Port": 8080,
  "Meta": {
    "app": "docker",
    "team": "cloudgroup",
    "project": "docker-service"
  },
  "EnableTagOverride": false,
  "Check": {
    "HTTP": "http://192.168.75.42:8080/metrics",
    "Interval": "10s"
  },
  "Weights": {
    "Passing": 10,
    "Warning": 1
  }
}

[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$curl --request PUT --data @consul2.json http://192.168.75.41:8500/v1/agent/service/register?replace-existing-checks=1

 查看注册情况

最后，我们修改 prometheus.yml 配置如下：

  - job_name: 'consul_exporter'
    consul_sd_configs:
      - server: '192.168.75.41:8500'
        services: []
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*node-exporter.*
        action: keep
      - regex: __meta_consul_service_metadata_(.+)
        action: labelmap

  - job_name: 'cadvisor-exporter-test'
    consul_sd_configs:
      - server: '192.168.75.41:8500'
        services: []
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*cadvisor-exporter.*
        action: keep
      - regex: __meta_consul_service_metadata_(.+)
        action: labelmap
#重新加载prometheus配置
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus]$curl -X POST http://localhost:9090/-/reload

这里需要根据每种类型的 exporter 新增一个关联 job，同时 relabel_configs 中配置以 Tag 来做匹配区分。重启 Prometheus 服务，可以看到服务已经按照类型分类了，方便查看。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1343945.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

电容器50ZLH56MEFC6.3X11

电容器50ZLH56MEFC6.3X11

电容器 常用电子元器件类型 50ZLH56MEFC6.3X11 文章目录 电容器前言一、电容器二、50ZLH56MEFC6.3X11总结前言 电容器在电子电路中有许多重要的应用，如滤波、耦合、储能、定时等。不同类型的电容器具有不同的性能特点，例如电容量、工作电压、频率响应等。在选择和使用电容…
阅读更多...
const变量真的不能修改吗？

const变量真的不能修改吗？

文章目录 1 在Linux系统下1.1 系统参数1.2 通过指针修改&#xff08;编译器有警告&#xff09; 2 在Windows下2.1 系统参数2.2 直接修改2.3 指针间接修改2.4 指针间间接修改 3 总结&#xff1a; 1 在Linux系统下 1.1 系统参数 内核&#xff1a;Linux version 3.2.0-24-generi…
阅读更多...
Glary Utilities Pro - 电脑系统优化全面指南：详尽使用教程

Glary Utilities Pro - 电脑系统优化全面指南：详尽使用教程

软件简介&#xff1a; Glary Utilities Pro 是一款全面的电脑优化工具&#xff0c;它旨在帮助用户提升计算机的性能和稳定性。这款软件提供了多种功能&#xff0c;包括系统清理、优化、修复以及保护。通过一键扫描&#xff0c;它可以识别并清除无用文件、临时数据、注册表错误等…
阅读更多...
关于“Python”的核心知识点整理大全50

关于“Python”的核心知识点整理大全50

目录 python_repos.py 17.1.6 概述最受欢迎的仓库 python_repos.py 17.1.7 监视 API 的速率限制 注意 17.2 使用 Pygal 可视化仓库 python_repos.py 17.2.1 改进 Pygal 图表 python_repos.py 往期快速传送门&#x1f446;&#xff08;在文章最后&#xff09;&#xf…
阅读更多...
SAP问题 OPEN SQL 取不到值

SAP问题 OPEN SQL 取不到值

关键&#xff1a;数据库中有数据&#xff0c;但是open sql取不到数据 背景&#xff1a; 标准程序在测试环境正常执行&#xff0c;在生产环境报错。 解决过程&#xff1a; 第一步&#xff1a;分析执行结果不一致可能的原因&#xff1a; 1.测试数据问题&#xff0c;可能性小&…
阅读更多...
openGauss学习笔记-178 openGauss 数据库运维-逻辑复制-逻辑解码-使用SQL函数接口进行逻辑解码

openGauss学习笔记-178 openGauss 数据库运维-逻辑复制-逻辑解码-使用SQL函数接口进行逻辑解码

文章目录 openGauss学习笔记-178 openGauss 数据库运维-逻辑复制-逻辑解码-使用SQL函数接口进行逻辑解码178.1 前提条件178.2 操作步骤 openGauss学习笔记-178 openGauss 数据库运维-逻辑复制-逻辑解码-使用SQL函数接口进行逻辑解码 openGauss可以通过调用SQL函数&#xff0c;…
阅读更多...
传奇私服教程，新手小白速速下载！

传奇私服教程，新手小白速速下载！

传奇私服教程&#xff0c;新手小白速速下载&#xff01; 第二十课-封玩家账号登陆-封玩家机器码登陆.zip 第十九课-快速搭建FTP服务器教程配套工具.zip 第十八课-绿盟GOM1108引擎登陆器配置防劫持列表教... 第十七课-最新访问网站自动弹出加群教程.zip 修复沙城捐献不了或者捐献…
阅读更多...
Mybatis行为配置之Ⅳ—日志

Mybatis行为配置之Ⅳ—日志

专栏精选 引入Mybatis Mybatis的快速入门 Mybatis的增删改查扩展功能说明 mapper映射的参数和结果 Mybatis复杂类型的结果映射 Mybatis基于注解的结果映射 Mybatis枚举类型处理和类型处理器 再谈动态SQL Mybatis配置入门 Mybatis行为配置之Ⅰ—缓存 Mybatis行为配置…
阅读更多...
Python FastApi连接oracle进行查询

Python FastApi连接oracle进行查询

这边技术选型是cx_oracle进行连接查询&#xff0c;cx_oracle的使用首先要有官方的客户端才能连接到数据库&#xff0c;python并不自带客户端。我用是Python3.9 安装客户端 可以到官网在选择最新版进行下载。 Instant Client for Microsoft Windows (x64) 64-bit 或者直接从我…
阅读更多...
uniapp多级动态表单规则

uniapp多级动态表单规则

最近有个新的业务、主要涉及多层级的动态表单提交&#xff0c;其中又涉及很多类型&#xff0c;踩了很多坑之后&#xff0c;终于研发完毕。 传来的数据格式处理 传来的数据格式涉及比较多的内容&#xff0c;以下举例一个&#xff0c;涉及到规则的填写 规则写法有两种&#xff…
阅读更多...
【Maven】下载及配置

【Maven】下载及配置

文章目录 1. 下载2. 解压3. 配置环境变量4. 验证 Maven 是一个跨平台的项目管理工具。作为 Apache 组织的一个颇为成功的开源项目&#xff0c;其主要服务于基于 Java 平台的项目创建&#xff0c;依赖管理和项目信息管理&#xff0c;是一个自动化构建工具&#xff0c;本文将介绍…
阅读更多...
Activemq存储KahaDb详解

Activemq存储KahaDb详解

引言 ActiveMQ在不提供持久化的情况下&#xff0c;数据保存在内存中&#xff0c;一旦应用崩溃或者重启之后&#xff0c;数据都将会丢失&#xff0c;这显然在大部分情况下是我们所不希望的。对此ActiveMQ提供了两种持久化方式以供选择。 kahaDB kahaDB是一个基于文件&#xf…
阅读更多...
为什么ChatGPT采用SSE协议而不是Websocket？

为什么ChatGPT采用SSE协议而不是Websocket？

在探索ChatGPT的使用过程中&#xff0c;我们发现GPT采用了流式数据返回的方式。理论上&#xff0c;这种情况可以通过全双工通信协议实现持久化连接&#xff0c;或者依赖于基于EventStream的事件流。然而&#xff0c;ChatGPT选择了后者&#xff0c;也就是本文即将深入探讨的SSE&…
阅读更多...
聚簇索引和非聚簇索引的区别

聚簇索引和非聚簇索引的区别

在 MySQL 中&#xff0c;B 树的实现主要是通过 InnoDB 存储引擎来实现的。InnoDB 存储引擎中的索引主要有聚簇索引和非聚簇索引两种类型&#xff0c;聚簇索引是根据主键创建的索引&#xff0c;⽽非聚簇索引是根据⾮主键列创建的索引。 对于非聚簇索引&#xff0c;MySQL 中会同时…
阅读更多...
神经网络 —— 模拟人脑的计算方式

神经网络 —— 模拟人脑的计算方式

神经网络能够反映人类大脑的行为&#xff0c;允许计算机程序识别模式&#xff0c;以及解决人工智能、机器学习和深度学习领域的常见问题。 人类发明的灵感来源有很多都是来自大自然&#xff0c;神经网络同样如此。人工神经网络是一种类似于人类神经网络的信息处理技术。但事实上…
阅读更多...
【Linux系统化学习】进程终止的奥秘

【Linux系统化学习】进程终止的奥秘

个人主页点击直达&#xff1a;小白不是程序媛 Linux专栏&#xff1a;Liunx系统化学习 代码仓库&#xff1a;Gitee 目录 获取函数返回值 退出码 进程退出的场景 错误码 信号终止异常代码 进程的终止 main函数直接return exit函数 _exit函数 获取函数返回值 在C语言学…
阅读更多...
如何像高级软件工程师一样使用vscode做开发

如何像高级软件工程师一样使用vscode做开发

以一个真实的代码库为例&#xff0c;带您了解高级软件工程的关键原则是什么&#xff0c;以及如何充分利用vscode提供的各种特性来提高开发效率。您可以将学到的技巧和思想应用于任何项目。 视频地址&#xff1a; 如何像高级软件工程师一样使用vscode做开发 欢迎关注公众号&a…
阅读更多...
ViT的极简pytorch实现及其即插即用

ViT的极简pytorch实现及其即插即用

先放一张ViT的网络图 可以看到是把图像分割成小块&#xff0c;像NLP的句子那样按顺序进入transformer&#xff0c;经过MLP后&#xff0c;输出类别。每个小块是16x16&#xff0c;进入Linear Projection of Flattened Patches, 在每个的开头加上cls token和位置信息&#xff0c;…
阅读更多...
云原生|对象存储|minio分布式集群的搭建和初步使用（可用于生产）

云原生|对象存储|minio分布式集群的搭建和初步使用（可用于生产）

前言&#xff1a; minio作为轻量级的对象存储服务安装还是比较简单的&#xff0c;但分布式集群可以大大提高存储的安全性&#xff0c;可靠性。分布式集群是在单实例的基础上扩展而来的 minio的分布式集群有如下要求&#xff1a; 所有运行分布式 MinIO 的节点需要具有相同的访…
阅读更多...
【Java 进阶篇】Redis 缓存优化：提升应用性能的不二选择

【Java 进阶篇】Redis 缓存优化：提升应用性能的不二选择

在现代的软件开发中&#xff0c;性能一直是开发者们追求的目标之一。对于数据库访问频繁、数据读取较慢的场景&#xff0c;使用缓存是提升性能的有效手段之一。而 Redis 作为一款高性能的内存数据库&#xff0c;被广泛用作缓存工具。本文将围绕 Redis 缓存优化进行详解&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023