【分布式日志篇】从工具选型到实战部署：全面解析日志采集与管理路径

news2025/1/24 20:45:10

在这里插入图片描述

网罗开发 （小红书、快手、视频号同名）

大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。

图书作者：《ESP32-C3 物联网工程开发实战》
图书作者：《SwiftUI 入门，进阶与实战》
超级个体：COC上海社区主理人
特约讲师：大学讲师，谷歌亚马逊分享嘉宾
科技博主：极星会首批签约作者

文章目录

- 摘要
- 引言
- 日志采集与管理的核心挑战
- 分布式日志采集工具选型
- Fluentd 的分布式日志采集实践
- - 环境准备
  - 配置示例
  - 启动 Fluentd
- Logstash 的分布式日志处理实践
- - 安装与配置
  - 启动 Logstash
- 可视化与管理
- QA 环节
- 总结
- 参考资料

摘要

在分布式系统中，多个节点同时生成的海量日志需要集中管理与分析，以提高问题定位和系统运维的效率。本文将介绍分布式日志采集与管理的核心概念，深入探讨 Fluentd 和 Logstash 等工具的具体应用实践，并通过示例代码展示如何构建高效的日志平台。

引言

随着分布式系统和微服务架构的普及，日志的管理和分析变得尤为复杂。每个服务、每个节点都会产生大量日志，如何实现日志的实时采集、集中管理与快速查询，成为了现代运维的核心挑战。本文重点介绍如何利用 Fluentd 和 Logstash 两款主流工具解决这一问题，帮助开发者和运维工程师高效搭建日志管理平台。

日志采集与管理的核心挑战

数据分散性：分布式系统中各节点生成的日志分布广泛。
日志格式多样性：不同服务可能采用多种日志格式。
高效性需求：需要快速处理和分析海量日志数据。
稳定性：日志采集与管理系统自身需具备高可用性。

分布式日志采集工具选型

Fluentd：一个开源的日志采集工具，支持丰富的插件生态。
Logstash：Elastic Stack 的核心组件之一，支持复杂的日志处理管道。
两者对比：
- Fluentd 更轻量，适用于资源受限的场景。
- Logstash 功能更强大，适合与 Elasticsearch 集成的大规模部署。

Fluentd 的分布式日志采集实践

环境准备

安装 Fluentd：

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

配置 Fluentd 插件：

td-agent-gem install fluent-plugin-elasticsearch

配置示例

创建 Fluentd 配置文件 fluentd.conf：

<source>
  @type tail
  path /var/log/app/*.log
  pos_file /var/log/td-agent/app.log.pos
  tag app.logs
  format json
</source>

<match app.logs>
  @type elasticsearch
  host 127.0.0.1
  port 9200
  logstash_format true
</match>

启动 Fluentd

运行 Fluentd：

td-agent -c fluentd.conf

Logstash 的分布式日志处理实践

安装与配置

安装 Logstash：

wget https://artifacts.elastic.co/downloads/logstash/logstash-8.0.0-linux-x86_64.tar.gz
tar -xzf logstash-8.0.0-linux-x86_64.tar.gz
cd logstash-8.0.0

创建 Logstash 配置文件 logstash.conf：

input {
  file {
    path => "/var/log/app/*.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}" }
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
  }
}