轻量级日志管理平台：Grafana Loki搭建及应用（详细篇）

news2025/2/25 0:44:17

前言

Grafana Loki是Grafana Lab团队提供的一个水平可扩展、高可用性、多租户的日志聚合系统，与其他日志系统不同的是，Loki最初设计的理念是为了为日志建立标签索引，而非将原日志内容进行索引。

现在目前成熟的方案基本上都是：Logstash + Elasticsearch + Kibana （LEK），但是LEK对资源要求比较高，少了8H8G用起来都是一卡一卡的，所以我们可以转向比较轻量的方案 Promtail + Loki + Grafana （PLG），本文就介绍PLG这种方案，可以对接各种云存储，比如Minio、S3、COS、OSS等等。

介绍

Grafana Loki

官方：Grafana Loki OSS | Log aggregation system

开源地址：GitHub - grafana/loki: Like Prometheus, but for logs.

Loki 是一个日志聚合系统，旨在存储和查询来自所有应用程序和基础设施的日志。

Grafana

官方：Grafana | Query, visualize, alerting observability platform

开源地址：GitHub - grafana/grafana: The open and composable observability and data visualization platform. Visualize metrics, logs, and traces from multiple sources like Prometheus, Loki, Elasticsearch, InfluxDB, Postgres and many more.

一个监控面板，查询、可视化、警报和理解您的数据，无论数据存储在何处。借助 Grafana，您可以通过美观、灵活的仪表板创建、探索和共享所有数据。

Promtail

Promtail 是一个代理，它将本地日志的内容发送到私有 Grafana Loki 。它通常部署到运行需要监视的应用程序的每台计算机。

开始部署

推荐配置2H4G比较丝滑。

参考官方部署手册：Quickstart to run Loki locally | Grafana Loki documentation

官方docker-compose快速部署架构图有下面这些组件：使用的最新版本3.1.x

轻量级日志管理平台Grafana Loki搭建及应用

flog ：生成日志行。 flog是常见日志格式的日志生成器。

Grafana Alloy ：从 flog 中刮取原木线，并通过网关将它们推送给 Loki。

网关(nginx)，接收请求并根据请求的 URL 将它们重定向到适当的容器。

Loki 读取组件：运行查询前端和查询器。

Loki 写入组件：运行分发器和接收器。

Loki 后端组件：运行 Index Gateway、Compactor、Ruler、Bloom Compactor（实验性）和 Bloom Gateway（实验性）。

Minio ：Loki 用它来存储索引和块。

Grafana ：提供 Loki 中捕获的日志行的可视化。

上面官方采用的是读写分离以及minio存储后端，启动的组件比较多，本人调整了成单节点部署测试，想初步体验的可以使用我下面的 docker-compose.yaml 快速部署。

version: "3"

networks:
  loki:

services:
# minio对象存储
  minio:
    image: minio/minio
    entrypoint:
      - sh
      - -euc
      - |
        mkdir -p /data/loki-data && \
        mkdir -p /data/loki-ruler && \
        minio server --console-address ':9001' /data
    environment:
      - MINIO_ROOT_USER=lcry
      - MINIO_ROOT_PASSWORD=www.51it.wang
      - MINIO_PROMETHEUS_AUTH_TYPE=public
      - MINIO_UPDATE=off
    ports:
      - 19000:9000
      - 19001:9001
    volumes:
      - ./minio-data:/data
    healthcheck:
      test: [ "CMD", "curl", "-f", "http://localhost:9000/minio/health/live" ]
      interval: 15s
      timeout: 20s
      retries: 5
    networks:
      - loki
# grafana面板
  grafana:
    image: grafana:latest
    environment:
      - GF_SECURITY_ADMIN_PASSWORD=www.51it.wang
    entrypoint:
      - sh
      - -euc
      - |
        mkdir -p /etc/grafana/provisioning/datasources
        cat <<EOF > /etc/grafana/provisioning/datasources/ds.yaml
        apiVersion: 1
        datasources:
          - name: Loki
            type: loki
            access: proxy
            url: http://backend:3100
            jsonData:
              httpHeaderName1: "X-Scope-OrgID"
            secureJsonData:
              httpHeaderValue1: "tenant-lcry"
        EOF
        /run.sh
    ports:
      - "3000:3000"
    healthcheck:
      test: [ "CMD-SHELL", "wget --no-verbose --tries=1 --spider http://localhost:3000/api/health || exit 1" ]
      interval: 10s
      timeout: 5s
      retries: 5
    networks:
      - loki

# loki后端服务
  backend:
    image: grafana/loki:3.1.1
    depends_on:
      - minio
    volumes:
      - ./loki-config.yaml:/etc/loki/config.yaml
    ports:
      - "3100:3100"
      - "7946"
      - "9095"
    command: "-config.file=/etc/loki/config.yaml -target=all"
    healthcheck:
      test: [ "CMD-SHELL", "wget --no-verbose --tries=1 --spider http://localhost:3100/ready || exit 1" ]
      interval: 10s
      timeout: 5s
      retries: 5
    networks:
      - loki

# 采集
  promtail:
    image:promtail:3.1.1
    depends_on:
      - backend
    volumes:
      - ./log:/var/log
      - ./promtail-config.yaml:/etc/promtail/config.yaml
    command: -config.file=/etc/promtail/config.yaml
    networks:
      - loki

loki-config.yaml 配置文件：

auth_enabled: false
server:
  http_listen_address: 0.0.0.0
  http_listen_port: 3100

memberlist:
  join_members: ["backend"]
  dead_node_reclaim_time: 30s
  gossip_to_dead_nodes_time: 15s
  left_ingesters_timeout: 30s
  bind_addr: ['0.0.0.0']
  bind_port: 7946
  gossip_interval: 2s

schema_config:
  configs:
    - from: 2021-08-01
      store: tsdb
      object_store: s3
      schema: v13
      index:
        prefix: index_
        period: 24h
common:
  path_prefix: /loki
  replication_factor: 1
  compactor_address: http://backend:3100
  storage:
    s3:
      endpoint: minio:9000
      insecure: true
      bucketnames: loki-data
      access_key_id: lcry
      secret_access_key: www.51it.wang
      s3forcepathstyle: true
  ring:
    kvstore:
      store: memberlist
ruler:
  storage:
    s3:
      bucketnames: loki-ruler

compactor:
  working_directory: /tmp/compactor

promtail-config.yaml 配置文件：

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://backend:3100/loki/api/v1/push

scrape_configs:
  - job_name: system
    static_configs:
      - targets:
          - localhost
        labels:
          job: varlogs
          __path__: /var/log/*log

然后执行命令：docker-compose up -d 运行

随后访问Grafana UI ：http://服务器地址:3000/，账号：admin，密码：admin

Loki作为一个活跃的开源项目，持续地接受着来自全球开发者社区的贡献和维护，确保了它能够适应不断变化的云原生环境需求。对于那些寻求高效、经济的日志管理解决方案的开发团队和企业来说，Loki是一个值得深入探索的强大工具。

默认已经在配置文件中加入了loki数据源，直接点击测试是否可用：

轻量级日志管理平台Grafana Loki搭建及应用

直接预览日志，搜索自己手动添加的测试日志，没问题搭建完成。

轻量级日志管理平台Grafana Loki搭建及应用

物理部署protmail

若你需要采集其他机器上的日志，那么你只需要安装采集组件protmail，docker版本在上面已经演示过了，下面演示使用物理部署。

首先到loki发布版本这里下载对应操作系统的安装包：Releases · grafana/loki · GitHub

新建配置文件promtail-config.yaml：

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://服务端IP:3100/loki/api/v1/push

scrape_configs:
  - job_name: service-log
    static_configs:
      - targets:
          - xxx.xxx.xxx.xxx
        labels:
          job: varlogs
          __path__: /var/log/*log

编写启停脚本：ubuntu为例

start.sh：

#!/bin/bash
nohup ./promtail-linux-amd64 -config.file=./promtail-config.yaml > ./server.log 2>&1 &
echo "$!" > pid

stop.sh：

#!/bin/bash
kill -9 `cat pid`
echo "关闭成功！"

执行启动 ./start.sh

查看日志 tail -300f server.log ，无报错，观察Grafana UI日志已经能看到了则成功

更多protmail配置可参考链接：Promtail agent | Grafana Loki documentation

资源占用

最后我们来看下轻量级的Promtail + Loki + Grafana + Minio 整个容器占用的内存大小。

轻量级日志管理平台Grafana Loki搭建及应用

总共加起来300MB不到，相当的丝滑，若你只是需要收集一些自己折腾玩的服务日志太合适不过了。

总结

本文通过对比不同的日志平台，最终实战搭建了Promtail + Loki + Grafana + Minio，实打实的可以用于生产，但是要注意生产环境的HA部署以及参考官方文档进行优化，比如不同租户的请求速度频率的限制大小，日志的保留时长，最大上传的日志大小等等配置，希望本文对大家有所帮助。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2258562.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【规范一】JAVA静态代码规范

【规范一】JAVA静态代码规范

1.规范的划分 将Java代码规范分为 风格规范 和 质量规范 &#xff0c;主要是因为这两种规范关注的方面不同&#xff0c;各自解决的问题也不同。下面详细解释为什么需要将代码规范分为这两种 1.1 风格规范&#xff08;Coding Style Guidelines&#xff09; 风格规范主要关注代码…
阅读更多...
Angular由一个bug说起之十二：网页页面持续占用CPU过高

Angular由一个bug说起之十二：网页页面持续占用CPU过高

随着网络日益发达&#xff0c;网页的内容也更加丰富&#xff0c;形式也更加多样化。而随之而来的性能问题也不容小觑。这篇文章我会根据我在实践中遇到的一个问题来总结&#xff0c;我在面对性能问题的一些解决步骤&#xff0c;希望能对大家有所启发。 查找问题原因 我接触的…
阅读更多...
WordPress全能CDN插件_自动刷新预热_缓存优化|国内国外集成CDN配置

WordPress全能CDN插件_自动刷新预热_缓存优化|国内国外集成CDN配置

WordPress全网独家原创CDN插件 自动刷新预热 缓存优化 国内国外集成CDN配置 支持白山云 cdnfly Cloudflare PS:目前国内集成了CDNfly,白山云国外集成了Cloudflare,更新手动刷新&#xff0c;全站刷新&#xff0c;优化提交线程&#xff0c;根据网友建议适配阿里云&#xff0c;le…
阅读更多...
唇形同步视频生成工具：Wav2Lip

唇形同步视频生成工具：Wav2Lip

一、模型介绍 今天介绍一个唇形同步的工具-Wav2Lip&#xff1b;Wav2Lip是一种用于生成唇形同步&#xff08;lip-sync&#xff09;视频的深度学习算法&#xff0c;它能够根据输入的音频流自动为给定的人脸视频添加准确的口型动作。 &#xff08;Paper&#xff09; Wav2Lip模型…
阅读更多...
【汽车】-- 燃油发动机3缸和4缸

【汽车】-- 燃油发动机3缸和4缸

3缸和4缸燃油发动机是小轿车常见的发动机配置。以下从结构特点、性能、经济性等方面对两者进行对比&#xff0c;并分析优缺点及使用注意事项&#xff1a; 1. 结构与运行原理 3缸发动机 特点&#xff1a;少一个气缸&#xff0c;内部零部件更少&#xff0c;整体结构更紧凑。优点…
阅读更多...
[NeurlPS 2022] STaR 开源代码实现解读

[NeurlPS 2022] STaR 开源代码实现解读

STaR 方法代码开源&#xff0c;这里给出一个中文代码解读地址&#xff1a;repo入口点&#xff1a;iteration_train.py&#xff1b;关键代码&#xff1a;device_train.py, device_inference.py, and create_finetune_tfrecords.py&#xff1b;基于 JAX、RAY&#xff0c;在 Googl…
阅读更多...
欢迪迈手机商城设计与实现

欢迪迈手机商城设计与实现

文末获取源码和万字论文&#xff0c;制作不易&#xff0c;感谢点赞支持。 题目&#xff1a;欢迪迈手机商城设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存储&#xff0c;归纳&#xff0c;集中处理数据信息的管…
阅读更多...
【鸿蒙实战开发】数据的下拉刷新与上拉加载

【鸿蒙实战开发】数据的下拉刷新与上拉加载

本章介绍 本章主要介绍 ArkUI 开发中最常用的场景下拉刷新, 上拉加载&#xff0c;在本章中介绍的内容在实际开发过程当中会高频的使用,所以同学们要牢记本章的内容。下面就让我们开始今天的讲解吧&#xff01; List 组件 在 ArkUI 中List容器组件也可以实现数据滚动的效果&a…
阅读更多...
UnityShaderLab 实现程序化形状（一）

UnityShaderLab 实现程序化形状（一）

1.实现一个长宽可变的矩形&#xff1a; 代码&#xff1a; fixed4 frag (v2f i) : SV_Target{return saturate(length(saturate(abs(i.uv - 0.5)-0.13)))/0.03;} 2.实现一个半径可变的圆形&#xff1a; 代码&#xff1a; fixed4 frag (v2f i) : SV_Target{return (distance(a…
阅读更多...
高阶数据结构--B树B+树实现原理B树模拟实现--Java

高阶数据结构--B树B+树实现原理B树模拟实现--Java

目录 一、B-树概念 二、B-树插入分析 1.用序列{53, 139, 75, 49, 145, 36, 101}构建B树的过程如下&#xff1a; 2.插入过程总结 三、B树插入实现 四、B树 1.B树概念 2.B树的特性 五、B树应用 1.索引 2.Mysql索引 3.InnoDB 一、B-树概念 1970 年&#xff0c; R.Bayer 和…
阅读更多...
网络安全——防火墙

网络安全——防火墙

基本概念 防火墙是一个系统&#xff0c;通过过滤传输数据达到防止未经授权的网络传输侵入私有网络&#xff0c;阻止不必要流量的同时允许必要流量进入。防火墙旨在私有和共有网络间建立一道安全屏障&#xff0c;因为网上总有黑客和恶意攻击入侵私有网络来破坏&#xff0c;防火…
阅读更多...
基于Qwen2-VL模型针对LaTeX OCR任务进行微调训练 - 多图推理

基于Qwen2-VL模型针对LaTeX OCR任务进行微调训练 - 多图推理

基于Qwen2-VL模型针对LaTeX OCR任务进行微调训练 - 多图推理 flyfish 基于Qwen2-VL模型针对LaTeX_OCR任务进行微调训练_-_LoRA配置如何写 基于Qwen2-VL模型针对LaTeX_OCR任务进行微调训练_-_单图推理 基于Qwen2-VL模型针对LaTeX_OCR任务进行微调训练_-_原模型_单图推理 基于Q…
阅读更多...
Ant Design Pro实战--day01

Ant Design Pro实战--day01

下载nvm https://nvm.uihtm.com/nvm-1.1.12-setup.zip 下载node.js 16.16.0 //非此版本会报错 nvm install 16.16.0 安装Ant Design pro //安装脚手架 npm i ant-design/pro-cli -g //下载项目 pro create myapp //选择版本 simple 安装依赖 npm install 启动umi yarn add u…
阅读更多...
一、为什么要学习麒麟？

一、为什么要学习麒麟？

麒麟认证&#xff1a;开启职业晋升之门 当前&#xff0c;就业难已经成为一个普遍的社会问题。许多大学生毕业后面临着找工作的困境&#xff0c;他们往往发现自己很难找到满意的职位。即使有幸找到了工作&#xff0c;也经常需要应对工作压力大、薪资低等问题。除此之外&#xff…
阅读更多...
python如何减小维度

python如何减小维度

ravel&#xff08;&#xff09;&#xff1a;将多维数组拉平&#xff08;一维&#xff09;。 flatten&#xff08;&#xff09;&#xff1a;将多维数组拉平&#xff0c;并拷贝一份。 squeeze&#xff08;&#xff09;&#xff1a;除去多维数组中&#xff0c;维数为1的维度&…
阅读更多...
未来已来：人工智能如何重塑我们的生活与工作

未来已来：人工智能如何重塑我们的生活与工作

引言 未来的生活和工作场景正从想象走向现实。想象一下&#xff0c;一个清晨&#xff0c;语音助手已经为你安排好一天的任务&#xff0c;自动驾驶汽车准时送你上班&#xff0c;智能冰箱提醒你需要补充的食材。曾经只存在于科幻小说中的场景&#xff0c;如今正在我们的身边实现。…
阅读更多...
Adminer源码编译 精简语言中英文和基本使用方法

Adminer源码编译 精简语言中英文和基本使用方法

Adminer是一个小而强悍的基于web的数据库管理工具&#xff0c; 官方默认支持几十种语言&#xff0c;但是对于中国的用户而言只需要有中文和英文就够了&#xff0c;其他语言基本无用。这就需要我们下载Adminer源码自己编译 Adminer.php , 如下图所示 adminer 中英文语言精简版本…
阅读更多...
字符编码讲解（C#）

字符编码讲解（C#）

在学习和编码的过程中&#xff0c;极容易遇到如下概念&#xff0c;他们有些是字符编码&#xff0c;有些是涉及的相关概念&#xff0c;接下来我将围绕下面的熟悉又陌生的概念做详细解释&#xff0c;并且梳理其之间的关系 UTF8&#xff0c; Unicode &#xff0c;ASCII&#xff0…
阅读更多...
Mac备忘录表格中换行（`Option` + `Return`（回车键））

Mac备忘录表格中换行（`Option` + `Return`（回车键））

在Mac的ARM架构设备上&#xff0c;如果你使用的是Apple的原生“备忘录”应用来创建表格&#xff0c;换行操作可以通过以下步骤来实现&#xff1a; 在单元格中换行&#xff1a; 双击你想要编辑的单元格你可以输入文本&#xff0c;按Option&#xff08;⌥&#xff09; Enter来插…
阅读更多...
Windows中将springboot项目运行到docker的容器中

Windows中将springboot项目运行到docker的容器中

0&#xff0c;先打包好项目&#xff0c;再启动docker 1&#xff0c;在Java项目根目录下创建一个名为Dockerfile的文件&#xff08;没有扩展名&#xff09;&#xff0c;并添加以下内容。 # 使用OpenJDK的基础镜像 FROM openjdk:8-jdk-alpine# 设置工作目录 WORKDIR /app# 将项…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023