loki-日志

news2025/2/3 18:13:21

在这里插入图片描述

一、loki

Github

  • ELK虽然功能丰富，但规模复杂，资源占用高，操作苦难，很多功能往往用不上，loki 受 prometheus 启发的水平可扩展、高可用、多租户日志聚合系统，它的设计非常经济高效且易于操作，不对日志进行全文索引。而是为每个日志流建立一组标签，并通过存储压缩非结构化日志和索引元数据
  • 特别适合存储 Kubernetes Pod 日志。Pod 标签等元数据会自动抓取并建立索引

1. 配置文件

参考一

  • 配置文件说明
auth_enabled: false				# 通过 X-Scope-OrgID 标头启用身份验证，如果为 true，则必须存在。 如果为 false，则 OrgID 将始终设置为“ fake”，默认值：true

server:							# 用于配置 loki 提供 http 和 gRPC 这两种服务的行为
  http_listen_port: 3100		# Loki http 监听端口号为3100
  grpc_listen_port: 9096		# Loki grpc 监听端口号为3100

# 通用配置，从 2.4 版本开始，common 字段将会逐步代替其他描述不清晰的字段，比如 common.storage 将会代替 storage_cofig 字段
common:							# 通用配置，用于配置一些其他配置部分可以共享的配置，比如存储、优先级低，若其他部分指定了相同的配置，则该配置在对应的其他部分的配置将被忽略
  instance_addr: 127.0.0.1		# Loki 实例地址
  path_prefix: /tmp/loki		# Loki 路径前缀
  storage:						# 存储配置
    filesystem:
      chunks_directory: /tmp/loki/chunks
      rules_directory: /tmp/loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

query_range:
  results_cache:
    cache:
      embedded_cache:
        enabled: true			# 启用结果缓存
        max_size_mb: 100		# 缓存的最大大小（以MB为单位）

storage_config:
 boltdb_shipper:
    active_index_directory: /tmp/loki/boltdb-shipper-active		# 配置活动索引文件的存储目录为/tmp/loki/boltdb-shipper-active
    cache_location: /tmp/loki/boltdb-shipper-cache				# 配置BoltDB缓存文件的存储目录为/tmp/loki/boltdb-shipper-cache
    cache_ttl: 24				# 配置BoltDB缓存的TTL
    shared_store: s3			# 使用 s3 作为数据存储
 aws:
   s3: s3://admin:minio@0304@minio.yeemiao.net.cn/buckets/loki
   s3forcepathstyle: true


schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h

ruler:
  alertmanager_url: http://localhost:9093	 # Alertmanager的URL
  
table_manager:					# 日志保存时长
  retention_deletes_enabled: true
  retention_period: 24h  		# 必须是24小时的倍数

案例配置文件

auth_enabled: false
 
server:
  http_listen_port: 3100     #如是云服务需打开3100端口
  grpc_listen_port: 9096
  grpc_server_max_recv_msg_size: 8388608
  grpc_server_max_send_msg_size: 8388608
 
ingester:
  lifecycler:
    address: 0.0.0.0      #监听地址,可不做修改。
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s
  max_transfer_retries: 0

ingester_client:
  remote_timeout: 2m

schema_config:
  configs:
    - from: 2023-01-29
      store: boltdb
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 168h
 
storage_config:
  boltdb:
    directory: /data/tools/Loki/data/index   #自定义boltdb目录(在loki目录下新建data文件来存放)
 
  filesystem:
    directory: /data/tools/Loki/data/chunks        #自定义filesystem目录(在loki目录下新建data文件来存放)
 
#positions:
#  filename: /data/tools/Loki/logs/loki-3100.log
#  rimestamp: utp
#  rotation:
#    max_age: 7d
#    max_size: 100MiB

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h
  #ngestion_rate_strategy: local
  ingestion_rate_mb: 30
  ingestion_burst_size_mb: 60
  per_stream_rate_limit: 10MB
  per_stream_rate_limit_burst: 20MB
  max_query_length: 0h
 
chunk_store_config:
  max_look_back_period: 0s
 
table_manager:
  retention_deletes_enabled: false
  retention_period: 180h

2. 启动

Githup loki

3. 性能和原理

1). 组件介绍

参考一

  • Loki实现由众多的组件组成, 每个组件都会拉起一个gRPC的服务来实现内部互通, 同时也对外暴露了一个HTTP/1的服务用来提供外部服务以应答API请求. 不同的组件会根据角色的差异提供不同的API, 目前loki主要由以下几个组件构成
    • Distributor
      • 主要负责分发从客户端上报的日志, 在进行完日志的校验之后便会分发给ingester处理. Distributor使用了一致性哈希以及一个可以配置的副本数来决定不同的日志流的后端ingester. 哈希环信息的存储使用了Consul. Ingester会根据自身的状态注册在哈希环上来标识自身可提供服务的状态. Distributor会使用注册租户id和标签集时作为哈希的输入, 计算出对应的哈希环位置, 并找到对应的ingester
    • Ingester
      • Ingester是loki中比较核心的服务, 该服务将从Distributor发送来的日志进行转储到后端存储, 并给Querier提供仍在内存中未写盘的数据查询功能. Ingester注册在哈希环上的状态有PENDING, JOINING, ACTIVE, LEAVING, UNHEALTHY, 除了ACTIVE状态外, 其余状态都只会提供部分服务 在存储到真正的存储前, 日志流只有按顺序收到才会被处理, Ingester会按照标签的组合set构建若干压缩过的chunks, 间隔一段时间将chunks作为整体刷写到后端存储. 刷进后端存储的chunks被标记为只读
    • Query frontend(Optional)
      • Querier frontend 的部署可以为查询提供加速, 他提供了排队, 切分大请求, 缓存等机制
    • Querier
      • Querier则是用来提供查询服务, 他使用了LogQL, 一种类似于PromQL的语言作为用户界面. Querier会查询已经写入后端存储的chunks以及仍在ingester内存中的数据, 根据label查找数据后, 再遍历数据查找到满足条件的日志
    • Chunk Store
      • Chunk Store是Loki的后端存储框架, 可以支持多种存储方式, 存储分为两部分:索引的存储和真正的日志数据存储
      • 索引存储目前可以使用 Amazon DynamoDB, Google Bigtable, Apsache Cassandra服务提供 日志存储使用了KV存储,目前可以使用Amazon DynamoDB, Google Bigtable, Apsache Cassandra, Amazon S3, Google Cloud Store来实现

2). 特点

参考一

  • loki 和 ES 最大的不同是 loki 只对标签进行索引而不对内容索引， ES 无论你查不查，巨大的索引开销必须时刻承担
  • loki 只对标签进行索引，那么性能上就有局限，为了弥补没有全文索引带来的查询降速使用，Loki 将把查询分解成较小的分片，可以理解为并发的grep，同时支持 index、chunk 和 result缓存提速
  • Loki使用的是自己的查询语言LokiQL，这需要一定的学习曲线

4. 集群

  • loki核心服务distributor、ingester、querier没有分离，而是启动在一个实例当中
  • 抛弃了consul和etcd外部的kv存储，而是直接用 memberlist 在内存中维护集群状态，Loki的memberlist使用的是 gossip协议来让集群内的所有节点达到最终一致性的
  • 使用boltdb-shipper替代其他日志索引方案

Loki2.0版本之后，对于使用boltdb存储索引部分做了较大的重构，采用新的boltdb-shipper模式，可以让Loki的索引存储在S3上，而彻底摆脱Cassandra或者谷歌的BigTable。此后服务的横向扩展将变得更加容易。关于bolt-shipper的更多细节，可以参考：https://grafana.com/docs/loki/latest/operations/storage/boltdb-shipper/

二、prometail

  • prometail是一个跟踪日志文件并将其推送给 Loki 的代理
server:
  http_listen_port: 9080
  grpc_listen_port: 0
  grpc_server_max_recv_msg_size: 15728640
  grpc_server_max_send_msg_size: 15728640

positions:
  filename: /opt/loki/promtail/positions.yaml

clients:
  - url: http://192.168.66.178:3100/loki/api/v1/push

scrape_configs:
- job_name: app_log
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs_178
      __path__: /var/log/*log
      #__path__: /ceph_root/{dev,test}/apps_data/*/log/*log

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1328727.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Linux：动态链接

Linux：动态链接

文章目录 动态链接共享库静态库的缺点共享库共享库是以两种不同的方式来“共享”第一种：共享这个so文件中的代码和数据第二种：共享库的.text 节的副本可以被不同的正在运行的进程共享 动态链接过程 动态链接的用武之地和使用场景分发软件构建高性能 Web …
阅读更多...
初识Docker-什么是docker

初识Docker-什么是docker

Docker是一个快速交付应用、运行应用的技术 目录 一、Docker 二、运用场景 一、什么是Docker？它的作用是什么？ Docker如何解决大型项目依赖关系复杂，不同组件依赖的兼容性问题? Docker允许开发中将应用、依赖、函数库、配置一起打包&…
阅读更多...
服装店收银系统 一种私域运营的神器

服装店收银系统 一种私域运营的神器

私域运营是指通过建立和管理自己的客户数据库来实现精细化营销和客户关系管理。服装店收银系统是门店私域运营的神器之一，服装店收银系统可以帮助店主收集客户的购买信息、消费偏好等数据，从而更好地了解客户需求并进行个性化营销。 以下是一些服装店收银…
阅读更多...
用Minikube 搭建一个单机k8s玩玩

用Minikube 搭建一个单机k8s玩玩

Minikube 介绍 Minikube是一款单机搭建和管理Kubernetes集群的工具。与Kind 类似，但是个人认为比Kind 好用 Minikube 安装 mac如果安装了 Homebrew，直接执行以下命令安装minikube brew install minikubemac没有安装Homebrew,需要到官网下载选择系统配置…
阅读更多...
鸿蒙（HarmonyOS）项目方舟框架（ArkUI）之TextInput输入框组件

鸿蒙（HarmonyOS）项目方舟框架（ArkUI）之TextInput输入框组件

鸿蒙（HarmonyOS）项目方舟框架（ArkUI）之TextInput输入框组件 一、操作环境 操作系统: Windows 10 专业版 IDE:DevEco Studio 3.1 SDK:HarmonyOS 3.1 二、TextInput 接口 TextInput(value?:{placeholder?: ResourceStr, tex…
阅读更多...
HackTheBox - Medium - Linux - Jupiter

HackTheBox - Medium - Linux - Jupiter

Jupiter Jupiter 是一台中等难度的 Linux 机器，它有一个使用 PostgreSQL 数据库的 Grafana 实例，该数据库在权限上过度扩展，容易受到 SQL 注入的影响，因此容易受到远程代码执行的影响。一旦站稳脚跟，就会注意到一个名…
阅读更多...
被有道云笔记成功劝退拥抱Joplin（Joplin使用过程遇到的问题）

被有道云笔记成功劝退拥抱Joplin（Joplin使用过程遇到的问题）

本人职业程序员，培训讲师（技术类）、活动主持人，对多端阅读是有些需求的，平时习惯墨水平板、手机和笔记本电脑登录着有道云笔记。其实本人对内容比较重视，对有道云笔记提供的什么AI服务、PDF转Word等功能是没…
阅读更多...
企业级“RAS”的数据平台如何炼成？

企业级“RAS”的数据平台如何炼成？

从“看报表”到“数据分析结果直接投入运营”，数字化正在深入企业经营，数据系统正在成为核心生产系统。相应的，企业对“作业挂了”、“系统崩了”、“算不出来”的容忍度越来越低——只有足够稳定、可靠、专业的数据系统，才能及时…
阅读更多...
虾皮跨境电商物流：打造高效便捷的全球供应链解决方案

虾皮跨境电商物流：打造高效便捷的全球供应链解决方案

随着全球化的推进和电子商务的蓬勃发展，跨境电商物流成为了越来越多商家和消费者关注的焦点。虾皮（Shopee）作为一家领先的电商平台，不仅提供了丰富多样的商品选择，还致力于为卖家和消费者提供高效便捷的跨境电商物流服…
阅读更多...
WiFi+蓝牙物联网定制方案——五大核心难点

WiFi+蓝牙物联网定制方案——五大核心难点

WiFi蓝牙物联网定制方案可以根据具体需求进行定制： 1、设备连接方案：采用WiFi和蓝牙技术，将物联网设备与智能手机、平板电脑等设备进行连接，实现数据传输和远程控制。 2、数据传输方案：通过WiFi和蓝牙技术，…
阅读更多...
Android平台RTMP推送|轻量级RTSP服务能力封装代码实现

Android平台RTMP推送|轻量级RTSP服务能力封装代码实现

好多开发者问我们，有没有针对Android平台RTMP直播推送、轻量级RTSP服务模块的进一步封装，可以更便捷的调用大牛直播SDK接口。 为此，我们分享下我们针对Android平台SmartPublisher做的二次封装代码： package com.daniulive.smartp…
阅读更多...
OpenCV | 告别人工目检：深度学习技术引领工业品缺陷检测新时代

OpenCV | 告别人工目检：深度学习技术引领工业品缺陷检测新时代

文章目录 机器视觉缺陷检测工业上常见缺陷检测方法内容简介作者简介目录读者对象如何阅读本书获取方式 机器视觉 机器视觉是使用各种工业相机，结合传感器跟电气信号实现替代传统人工，完成对象识别、计数、测量、缺陷检测、引导定位与抓取等任务。其中工…
阅读更多...
用BEVformer来卷自动驾驶-1

用BEVformer来卷自动驾驶-1

之所以是-1，是因为大概率1篇文章写不完，但是又不知道应该用几篇来说事，先写着看 按照惯例，上论文地址：2203.17270v1.pdf (arxiv.org) 什么是BEV， Birds -Eye-View的意思，就是鸟瞰 比如稍微传统一些的自动驾驶，大部分的实现。如果靠纯CV的方案的话，那么基本…
阅读更多...
electron使用electron-builder进行MacOS的 打包、签名、公证、上架、自动更新

electron使用electron-builder进行MacOS的 打包、签名、公证、上架、自动更新

一、前言 由于electron在macOS下的坑太多，本文不可能把所有的问题都列出来，也不可能把所有的解决方案贴出来；本文也不太会讲解每一个配置点为什么要这么设置的原因，因为有些点我也说不清，我尽可能会说明的。所以&…
阅读更多...
【排序算法】C语言实现选择排序与冒泡排序

【排序算法】C语言实现选择排序与冒泡排序

文章目录 🚀前言🚀冒泡排序✈️冒泡排序的逻辑✈️冒泡排序coding 🚀选择排序✈️选择排序的逻辑✈️选择排序coding 🚀前言 这里是阿辉算法与数据结构专栏的第一篇文章，咱们就从排序算法开始讲起，排序算法…
阅读更多...
【python】进阶---＞网络编程（二）

【python】进阶---＞网络编程（二）

一、分层模型 OSI/RM(开放系统互联参考模型) 是由国际标准化组织提出来的一种网络互联模型,成为所有的销售商都能实现的开放网络模型.(OSI模型提供我们理解网络协议的内部运作) OSI模型将网络通信工作分为7层,每一层为上一层服务,并为上一层提供一个访问的接口或者界面. 越下…
阅读更多...
【数字图像处理】实验一 图像基本运算

【数字图像处理】实验一 图像基本运算

图像基本运算 一、实验内容： 1． 熟悉和掌握利用Matlab工具进行数字图像的读、写、显示等数字图像处理基本步骤。 2． 熟练掌握各种图像点运算的基本原理及方法。 3． 能够从深刻理解点运算，并能够思考拓展到一定的应用领…
阅读更多...
【爬虫软件】孔夫子二手书采集

【爬虫软件】孔夫子二手书采集

项目演示 孔网爬取图书信息 目录结构 [ |-- api-ms-win-core-synch-l1-2-0.dll, |-- api-ms-win-core-sysinfo-l1-1-0.dll, |-- api-ms-win-core-timezone-l1-1-0.dll, |-- api-ms-win-core-util-l1-1-0.dll, |-- api-ms-win-crt-conio-l1-1-0.dll, |-- api…
阅读更多...
【matlab】绘制横状双组渐变柱状图

【matlab】绘制横状双组渐变柱状图

【matlab】绘制横状双组渐变柱状图
阅读更多...
Frida07 - dexdump核心源码分析

Frida07 - dexdump核心源码分析

项目地址 https://github.com/hluwa/frida-dexdump 代码解析 项目中的核心函数是 searchDex： function searchDex(deepSearch) {var result [];Process.enumerateRanges(r--).forEach(function (range) {try {....} catch (e) {}});return result; }里面用了一…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023