【微服务】Spring Boot集成ELK实用案例

news2024/11/15 17:37:19

推荐一款我一直在用国内很火的AI网站，包含GPT3.5/4.0、文心一言、通义千问、智谱AI等多个AI模型，支持PC、APP、VScode插件同步使用，点击链接跳转->ChatGPT4.0中文版

一、前言

在现代软件开发中，微服务架构已成为一种流行趋势。随之而来的挑战之一是如何有效地管理和分析分布在各个服务中的日志数据。本文将深入探讨如何在Spring Boot中集成ELK栈，以实现集中日志管理的目标。

二、为什么需要ELK

随着微服务架构的普及，服务数量的增加导致日志数据分散在不同的服务器上，这使得日志管理变得复杂。ELK栈的引入能够帮助我们集中管理日志，提供实时监控，快速搜索以及日志分析的能力，从而提升系统的可维护性和可观察性。

三、ELK介绍

3.1 什么是ELK

ELK是Elasticsearch、Logstash和Kibana的缩写。这三个组件协同工作，提供了一个强大的解决方案，用于日志的收集、存储、搜索和可视化。

3.2 ELK工作原理

ELK的工作原理基于以下流程：

Logstash 处理来自不同源的日志数据，并将其转换成结构化的格式。
Elasticsearch 作为搜索和分析引擎，存储和索引日志数据。
Kibana 为用户提供了一个强大的前端界面，用于数据的搜索、展示和图形化分析。

在这里插入图片描述

四、ELK环境搭建

4.1 搭建Elasticsearch环境

4.1.1 获取Elasticsearch镜像

使用Docker可以轻松获取Elasticsearch镜像。

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.9.3

4.1.2 启动Elasticsearch容器

使用Docker启动Elasticsearch容器，并映射必要的端口。

docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 elasticsearch:7.9.3

4.1.3 配置Elasticsearch参数

通过修改配置文件elasticsearch.yml，可以设置集群名称、节点名称等参数。

4.1.4 重启Elasticsearch容器并访问

重启容器以应用配置更改，并通过浏览器访问http://localhost:9200验证是否启动成功。
在这里插入图片描述

4.2 搭建Kibana

4.2.1 拉取Kibana镜像

docker pull docker.elastic.co/kibana/kibana:7.9.3

4.2.2 启动Kibana容器

docker run -d --name kibana --link elasticsearch:elasticsearch -p 5601:5601 kibana:7.9.3

4.2.3 修改配置文件

在kibana.yml中配置Elasticsearch的URL。

4.2.4 重启容器并访问

重启Kibana容器，并通过http://localhost:5601访问Kibana界面。

在这里插入图片描述

4.3 搭建Logstash

4.3.1 下载安装包

从官方网站下载Logstash的安装包。

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.1.0.tar.gz

4.3.2 解压安装包

解压下载的安装包到指定目录。

tar -zxvf logstash-7.1.0.tar.gz

4.3.3 新增配置Logstash文件

创建Logstash配置文件，定义输入、过滤器和输出。

cd cd logstash-7.1.0/

mkdir log-conf

vi logstash.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json
  }
}
output {
  elasticsearch {
    hosts => "es公网地址:9200"
    index => "springboot-logstash-%{+YYYY.MM.dd}"
  },
  stdout { codec => rubydebug }
}

五、Spring Boot集成ELK

5.1 集成过程

5.1.1 创建Spring Boot工程

使用Spring Initializr或者你喜欢的IDE创建一个新的Spring Boot项目。选择Web、Actuator和其他你需要的依赖。

5.1.2 导入依赖

在pom.xml中添加以下依赖，以便集成ELK：

<dependencies>
    <!-- Logstash logback encoder -->
    <dependency>
        <groupId>net.logstash.logback</groupId>
        <artifactId>logstash-logback-encoder</artifactId>
        <version>6.6</version>
    </dependency>
    <!-- 其他依赖 -->
</dependencies>

5.1.3 配置logback日志

创建或修改logback-spring.xml文件，配置Logback以使用Logstash encoder，并将日志发送到Logstash：

<configuration>
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>localhost:5000</destination> <!-- Logstash的地址 -->
        <encoder class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
    </root>
</configuration>

5.1.4 增加测试接口

在你的Spring Boot应用中增加一个简单的REST接口，用于生成日志：

@RestController
public class LoggingController {

    private static final Logger logger = LoggerFactory.getLogger(LoggingController.class);

    @GetMapping("/log")
    public String log() {
        logger.info("Log message from Spring Boot");
        return "Check the logs for a message";
    }
}