Grafana Loki 快速尝鲜

news2024/9/21 20:53:17

在这里插入图片描述
Grafana Loki 是一个支持水平扩展、高可用的聚合日志系统，跟其他的聚合日志系统不同，Loki只对日志的元数据-标签进行索引，日志数据会被压缩并存储在对象存储中，甚至可以存储在本地文件系统中，能够有效降低成本；多租户，Loki允许多个租户共享一个Loki实例，租户数据完全隔离；通过插件支持第三方agent；通过LogQL查询日志，类似与PromQL；告警，能跟Prometheus、Grafana的告警系统无缝集成；可以与Mimir、Tempo无缝集成，实现日志长期存储和链路跟踪。

如下图所示是基于Loki部署的典型聚合日志系统架构
在这里插入图片描述
有3部分组成：

Agent客户端，比如Promtail、Grafana Agent，系统通过agent抓取日志，添加标签后将日志转换为流，并通过HTTP API 将流推送到Loki
Loki，主服务器，负责接收和存储日志以及查询，支持不同模式的部署
Grafana，用于查询和显示日志数据，也可以使用LogCLI或者Loki API 查询日志

Loki 安装

Loki支持Helm、Docker、Tanka、Local、Istio、通过源码6种安装方式，本地测试最方便快捷就是使用Docker方式了，这里介绍下Docker的方式。

首先创建一个用于存放Loki配置文件的目录，进入该目录执行以下命令：

Mac/Linux

wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/cmd/loki/loki-local-config.yaml -O loki-config.yaml
docker run --name loki -d -v $(pwd):/mnt/config -p 3100:3100 grafana/loki:2.9.1 -config.file=/mnt/config/loki-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/clients/cmd/promtail/promtail-docker-config.yaml -O promtail-config.yaml
docker run --name promtail -d -v $(pwd):/mnt/config -v /var/log:/var/log --link loki grafana/promtail:2.9.1 -config.file=/mnt/config/promtail-config.yaml

1、macOS 14 不支持 wget 命令，你可以直接通过地址下载文件，并改名
2、命令里面/var/log是本地的一个系统日志，这里要换成自己服务的日志路径

Windows

cd "<local-path>"
wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/cmd/loki/loki-local-config.yaml -O loki-config.yaml
docker run --name loki -v <local-path>:/mnt/config -p 3100:3100 grafana/loki:2.9.1 --config.file=/mnt/config/loki-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/clients/cmd/promtail/promtail-docker-config.yaml -O promtail-config.yaml
docker run -v <local-path>:/mnt/config -v /var/log:/var/log --link loki grafana/promtail:2.9.1 --config.file=/mnt/config/promtail-config.yaml

安装完成后，访问http://localhost:3100/metrics 能看到Loki指标情况。

配置日志读取

我们想要简单快速的看效果，那么就使用静态配置日志路径的方式，打开promtail-config.yaml，修改如下配置

scrape_configs:
- job_name: local
  static_configs:
  - targets:
      - localhost
    labels:
      job: 服务名
      __path__: /data/logs/日志路径/*log

配置Grafana

在Grafana中添加Loki数据源，如图填好Loki地址，测试通过后保存
在这里插入图片描述

通过Explore 查询日志：

通过Label filters，可以选择要查询的日志，通过文件名，还是通过任务名称。支持按时间范围查询和实时方式查看日志。

一些问题

在尝鲜过程中，也碰到了一些问题，自己新建的一个Eureka Demo始终不能在Grafana上查询到日志，没有对应的Job和filename；使用实时日志观察日志的时候，容易断掉，不显示日志；这两问题不知道什么原因，不过也不影响使用。

作者其他要推荐的文章，欢迎来学习：
Prometheus 系列文章

Prometheus 的介绍和安装
直观感受PromQL及其数据类型
PromQL之选择器和运算符
PromQL之函数
Prometheus 告警机制介绍及命令解读
Prometheus 告警模块配置深度解析
Prometheus 配置身份认证
Prometheus 动态拉取监控服务
Prometheus 监控云Mysql和自建Mysql

Grafana 系列文章，版本：OOS v9.3.1

Grafana 的介绍和安装
Grafana监控大屏配置参数介绍（一）
Grafana监控大屏配置参数介绍（二）
Grafana监控大屏可视化图表
Grafana 查询数据和转换数据
Grafana 告警模块介绍
Grafana 告警接入飞书通知