【GO】LGTM_Grafana_Tempo(2)_官方用例改后实操

news2024/11/24 16:51:43

最近在尝试用 LGTM 来实现 Go 微服务的可观测性，就顺便整理一下文档。

Tempo 会分为 4 篇文章：

  1. Tempo 的架构
  2. 官网测试实操跑通
  3. gin 框架发送 trace 数据到 tempo
  4. go-zero 微服务框架使用发送数据到 tempo

根据官方文档实操跑起来 tempo，中间根据自己需要改了一些，按照纯官网会有些跑不起来。

本文档用 docker-compose 启动，单独启动组件的，会在其他的文档描述。本文档主要目的在于用起来，怎么用得好，我现在也没研究太深。

所有本文档用到的配置文件，均在：zxmfke/lgtm: LGTM可观测性实战 (github.com)

git clone https://github.com/zxmfke/lgtm.git

让架构告诉我们需要什么组件来完成

【GO】LGTM_Grafana_Tempo(1)—架构

第一篇讲了 tempo 的架构，分为 Distributor，Ingester，Quier，Quier Fontend，Stroage，Compator，Matrics Generator/Backend。Distributor 意味着输入，所以得有个东西来发送 traces 数据。我们通过 github，可以找到 grafana 用来测试的 k6-tracing(初次看到，感觉就很吊)。

可能这个地方，有些人会想，好麻烦呀还要造数据，又要写代码。但是这个步骤却又是很重要的一步，相当于自测。开发前，也应该要想要的我要怎么自测，怎么测试我提供给别人的服务。

Ingester，Storage，Comptor 组成(泛) 我们的 tmepo，所以 tempo 肯定是必不可少的了。既然我们把数据发到tempo了，那我们就得做存储，为了测试所以就用 fs 来作为存储。数据存完，tempo 提供 quier，就表示我们可以查。Grafana 必然就是首选，毕竟是其旗下，因此 Grafana 也是需要的。最后一个，Matrics 要记在哪里呢？嗯，还是得要 prometheus 用来监控。不过，不开 matrics 的话，也可以不用 prometheus。

这样，本文档需要用到的所有组件就是，grafana，tempo，prometheus，k6-tracing。

文档使用镜像

  • grafana：grafana/grafana:10.1.0

  • tempo：grafana/tempo:2.2.1

    去 docker hub 上看 tempo 的 tag 都是仓库名+commitid，其实直接拉取 github 上面最新 release 版本就行

  • prometheus：prom/prometheus:v2.46.0

  • k6-tracing：ghcr.io/grafana/xk6-client-tracing:v0.0.2

文档使用配置文件地址

都是在一个仓库，可以直接 clone 下来，等下直接 docker-compose 起就好

git clone https://github.com/zxmfke/lgtm.git

组件配置文件说明及重点修改说明

针对我跑的过程中碰到的几个点，简单说明下

grafana

grafana 的是 datasource 文件，这个文件可以减少使用者手动配置 tempo，prometheus 的步骤，这个值得自己在开发的时候借鉴。主要就是配置 tempo 和 prometheus，页面的配置也会在之后文档补上。

用 datasource 文件，创建的 source，在 grafana UI 上是不能编辑的，只能通过文件改了。

tempo
server:
  http_listen_port: 3200 # tempo 监听端口

distributor:  # 配置的是允许接入哪些类型的 trace 数据
  xxxxx

ingester:
  xxxxx

compactor:
  xxxxx
  
metrics_generator: # 配置的是 metrics 的数据往哪里发，主要就是写 promethus 的 URL
  registry:
    external_labels:
      source: tempo
      cluster: docker-compose
  storage:
    path: /tmp/tempo/generator/wal
    remote_write:
      - url: http://promethus.ip:9090/api/v1/write
        send_exemplars: true

storage:
  trace:
    backend: local                     # backend configuration to use
    wal:
      path: /tmp/tempo/wal             # where to store the the wal locally
    local:
      path: /tmp/tempo/blocks

overrides:
  metrics_generator_processors: [service-graphs, span-metrics]

有看过第一篇架构的朋友，应该对配置文件里面的几个标题都很熟悉了。

解释(看的时候，查的资料)

wal

“wal” 是指 Write-Ahead Log（预写日志）。Write-Ahead Log 是一种持久化数据的技术，在系统发生崩溃或故障时，可以确保数据的可靠性和一致性。对于 Tempo 来说，“wal” 是一个配置项，用于指定预写日志文件的位置和设置。

通过使用 Write-Ahead Log，Tempo 可以将跟踪数据持久化到磁盘，以便在系统故障后能够恢复数据并保持数据的完整性。该日志文件记录了写入 Tempo 的跟踪数据的操作，以及相关的元数据。这种方式可以确保即使在系统崩溃时，跟踪数据也不会丢失，并且可以在系统恢复后重新加载。

overrides

“overrides” 是用于覆盖默认配置的配置项。它允许您对 Tempo 的行为进行细粒度的定制，以满足特定的需求和场景。

通过使用 “overrides” 配置项，您可以在 Tempo 中针对某些特定的组件、服务或操作进行个性化配置。这些覆盖配置可以覆盖全局配置中的默认设置，以便对特定组件或场景进行定制化设置。

Docker Compose YAML

# 如果有 git clone 的话，直接 cd tempo/docker-compose/local 即可
wget https://github.com/zxmfke/lgtm/blob/main/tempo/docker-compose/local/docker-compose.yaml -O docker-compose.yaml

version: "3"
services:

  tempo:
    image: grafana/tempo:2.2.1
    command: [ "-config.file=/etc/tempo.yaml" ]
    volumes:
      - ./tempo.yaml:/etc/tempo.yaml
      - ./tempo-data:/tmp/tempo
    ports:
      - "14268:14268"  # jaeger ingest
      - "3200:3200"    # tempo
      - "9095:9095"    # tempo grpc
      - "4317:4317"    # otlp grpc
      - "4318:4318"    # otlp http
      - "9411:9411"    # zipkin

  k6-tracing:
    image: ghcr.io/grafana/xk6-client-tracing:v0.0.2
    environment:
      - ENDPOINT=tempo:4317
    restart: always
    depends_on:
      - tempo

  prometheus:
    image: prom/prometheus:v2.46.0
    command:
      - --config.file=/etc/prometheus.yaml
      - --web.enable-remote-write-receiver
      - --enable-feature=exemplar-storage
    volumes:
      - ./prometheus.yaml:/etc/prometheus.yaml
    ports:
      - "9090:9090"

  grafana:
    image: grafana/grafana:10.1.0
    volumes:
      - ./grafana-datasources.yaml:/etc/grafana/provisioning/datasources/datasources.yaml
    environment:
      - GF_FEATURE_TOGGLES_ENABLE=traceqlEditor
    ports:
      - "3000:3000"

注意事项

  1. tempo 的 ports 是根据配置文件中 distributor 来的，开放哪些 receiver 就开哪些端口。

    单点部署 tempo 的有一个很容易出错的地方，docker run 的时候只知道开放 3200 端口，以为 tempo 就起好了，但是往里面发 traces 数据的时候又写不进去。

  2. k6-tracing 是往 tempo 发数据，所以必须得等 tempo 启动好

配置文件改动位置

grafana-dataresources.yaml
# 如果有 git clone 的话，直接 cd tempo/docker-compose/local 即可
wget https://github.com/zxmfke/lgtm/blob/main/tempo/docker-compose/local/grafana-dataresources.yaml -O grafana-dataresources.yaml

L9：prometheus.ip，改成部署的服务器IP

L20：tempo.ip，改成部署的服务器IP

prometheus.yaml
# 如果有 git clone 的话，直接 cd tempo/docker-compose/local 即可
wget https://github.com/zxmfke/lgtm/blob/main/tempo/docker-compose/local/prometheus.yaml -O prometheus.yaml

L11：tempo.ip，改成部署的服务器IP

tempo.yaml
# 如果有 git clone 的话，直接 cd tempo/docker-compose/local 即可
wget https://github.com/zxmfke/lgtm/blob/main/tempo/docker-compose/local/tempo.yaml -O tempo.yaml

L34：promethus.ip，改成部署的服务器IP

我是本地 docker-compose 起，所以改的都是部署的服务器IP地址。后面部署在别的地方 ，或者用创建docker network，都是可以的。

启动

docker-compose 的安装就不在这边描述了，Install Docker Desktop on Debian | Docker Docs，有完整的教程。

docker-compose up -d

启动过程可能会出现如下画面：

在这里插入图片描述

容器名称可能会不一样，这个没关系。启动完成后，执行 docker ps，就可以看到我们想要启动的 4 个容器。

在这里插入图片描述

停止

docker-compose down

页面访问

在通过之前描述，k6-tracing 是定时往 tempo 里面发数据，我们就来看一下 grafana 上面怎么看。

登入 grafana

浏览器请求 IP:3000，访问 grafana 的主页。第一次登入的话，账号密码是 admin/admin。

在这里插入图片描述

进入 explore 页面

在这里插入图片描述

选择一个 trace 查看

在这里插入图片描述

查看 service Graph

详细可看，Service graph view | Grafana Tempo documentation

在这里插入图片描述

Metrics

我们在 tempo 的配置项里面开启了 metrics_generator，所以可以通过 explore 里面选择 prometheus 来当做数据源，查看。在筛选器里面的 Metric 里面有非常多可选项。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/949859.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

数据分析师职业发展道路,工作内容是什么？

数据分析师职业发展道路,工作内容是什么？

很多同学问，参加数据分析就业班后之的就业发展道路是怎样的，工作又能做什么呢？ 市面上的常见的工作类型有有运营类、技术类及分析类等，可以根据自己的意愿去做适合自己的工作，但是任何工作其实都是需要一技之长。…
阅读更多...
对 K8s Pod 安全有多少认识？

对 K8s Pod 安全有多少认识？

写在前面 简单整理，博文内容涉及： PSP 的由来PSA 的发展PSA 使用认知 不涉及使用，用于了解 Pod 安全 API 资源理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全…
阅读更多...
朋友圈跟发怎么操作？

朋友圈跟发怎么操作？

阅读更多...
File类/IO流介绍

File类/IO流介绍

一. File 概要：实现将数据从内存中存储到计算机硬盘中，存储方式以File的形式进行存储 File是Java.io包下的类，File类对象既可表示文件，又可表示文件夹 File类只能对文件本身进行操作，不能读写文件里存储的数据&#x…
阅读更多...
Spring-SpringBoot-SpringMVC-MyBatis常见面试题

Spring-SpringBoot-SpringMVC-MyBatis常见面试题

文章目录 Spring篇springbean是安全的的?什么是AOP你们工作中有用过AOP吗spring中的事务是如何实现的spring中事务失效场景Spring的生命周期spring中的循坏依赖springMVC的执行流程springboot的启动原理常用注解MyBatis执行流程Mybatis是否支持延迟加载？Mybatis的一…
阅读更多...
Android studio实现圆形进度条

Android studio实现圆形进度条

参考博客 效果图 MainActivity import androidx.appcompat.app.AppCompatActivity; import android.graphics.Color; import android.os.Bundle; import android.widget.TextView;import java.util.Timer; import java.util.TimerTask;public class MainActivity extends App…
阅读更多...
【记录】Truenas scale｜NFSv4数据集的子目录或文件的ACL完全访问权限继承老是继承不了怎么回事

【记录】Truenas scale｜NFSv4数据集的子目录或文件的ACL完全访问权限继承老是继承不了怎么回事

我遇到了数据集下新建文件夹或文件，新建的文件夹或文件没有和数据集的ACL设置相符合的情况。其根本原因是NFSv4的完全访问权限要想继承的话，它的访问设置权限要设置“用户”和“组”的，就是，一定要选择中文的那个设置。纯owner和g…
阅读更多...
计算机竞赛 基于机器视觉的行人口罩佩戴检测

计算机竞赛 基于机器视觉的行人口罩佩戴检测

简介 2020新冠爆发以来，疫情牵动着全国人民的心，一线医护工作者在最前线抗击疫情的同时，我们也可以看到很多科技行业和人工智能领域的从业者，也在贡献着他们的力量。近些天来，旷视、商汤、海康、百度都多家科技公司研…
阅读更多...
JavaScript数组简介

JavaScript数组简介

JavaScript中的数组是一种强大的数据结构，它可以用来存储和处理各种类型的数据。熟练掌握数组的使用可以让编写JavaScript代码更加高效和优雅； ● 例如，现在我十个朋友要存到变量中，传统的话 const friend1 "张三"; c…
阅读更多...
mysql 间隙锁原理深度详解

mysql 间隙锁原理深度详解

目录 一、前言 二、mysql之mvcc 2.1 什么是mvcc 2.2 mvcc组成 2.2.1 Undo log 多版本链 2.2.2 ReadView 2.2.3 快照读与当前读 三、RR级别下的事务问题 3.1 RR隔离级别解决的问题 3.1.1 幻读问题 3.2 幻读效果演示 3.2.1 准备测试表和数据 3.2.2 修改事务级别 3.…
阅读更多...
2017. 网格游戏；2397. 被列覆盖的最多行数；2202. K 次操作后最大化顶端元素

2017. 网格游戏；2397. 被列覆盖的最多行数；2202. K 次操作后最大化顶端元素

2017. 网格游戏 核心思想：前缀和枚举。读完题后可以发现，第一个机器人走的路线就像一条分割线，第二个机器人只能获得上面白色部分或者下面白色部分的最大值。这个最大值怎么求，我们可以通过前缀和来求，然后通过枚举转…
阅读更多...
【探索C++】输入输出

【探索C++】输入输出

(꒪ꇴ꒪ )，Hello我是祐言QAQ我的博客主页：C/C语言，数据结构，Linux基础，ARM开发板，网络编程等领域UP🌍快上🚘，一起学习，让我们成为一个强大的攻城狮&#xff0…
阅读更多...
【模拟】算法实战

【模拟】算法实战

文章目录 一、算法原理二、算法实战1. leetcode1576 替换所有的问号2. leetcode495 提莫攻击3. leetcode6 N字形变换4. leetcode38 外观数列5. leetcode1419 数青蛙 三、总结 一、算法原理 模拟就是用计算机来模拟题目中要求的操作，模拟题目通常具有代码量大、操作…
阅读更多...
c++:QT day1 认识与学习

c++:QT day1 认识与学习

阅读更多...
网络编程套接字(4):日志和守护进程

网络编程套接字(4):日志和守护进程

文章目录 网络编程套接字(4): 日志和守护进程5. 增加日志功能6. 守护进程6.1 进程知识补充(1) 进程组(2) 任务(3) 会话 6.2 守护进程(1) 概念(2) 创建守护进程 网络编程套接字(4): 日志和守护进程 5. 增加日志功能 接着上篇的内容，增加日志功能可以更好地&#xf…
阅读更多...
16.WebSocket聊天室

16.WebSocket聊天室

基于SpringBoot 2.6.11 1.WebSocket WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议，可以在html页面直接使用。 WebSocket 使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在 WebSocket A…
阅读更多...
2021年12月 C/C++（五级）真题解析#中国电子学会#全国青少年软件编程等级考试

2021年12月 C/C++（五级）真题解析#中国电子学会#全国青少年软件编程等级考试

第1题：书架 John最近买了一个书架用来存放奶牛养殖书籍，但书架很快被存满了，只剩最顶层有空余。 John共有N头奶牛(1 ≤ N ≤ 20,000)，每头奶牛有自己的高度Hi(1 ≤ Hi ≤ 10,000)，N头奶牛的总高度为S。书架高度为B(1 ≤…
阅读更多...
亚马逊云科技 云技能孵化营——我的云技能之旅

亚马逊云科技 云技能孵化营——我的云技能之旅

文章目录 每日一句正能量前言活动流程后记 每日一句正能量 不能在已经获得足够多的成功时，还对自己的能力保持怀疑，露出自信的微笑，走出自信的步伐，做一个自信的人！ 前言 亚马逊云科技 (Amazon Web Services) 是全球云…
阅读更多...
Kao框架学习

Kao框架学习

中间件：洋葱模型 这是官网上给出的示例，从logger依次往下执行，执行到最底层的response往回退，结构很像同心圆的洋葱从外层向内层再由内层向外层。 next表示暂停当前层的代码进入下一层， 当最后一层执行完毕开始回溯&a…
阅读更多...
学习完毕JavaSE的感想

学习完毕JavaSE的感想

今天，把Java复习完毕了，之前学习的时候，学校里学的总是有限的 ，自己上手操作之后才发觉差的很多，部署服务器发现要学操作系统，学完了web基础 ，又发现还得学前后端分离vue react这些，…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023