SpringBoot整合ELK教程

news2025/1/12 3:49:47

SpringBoot整合ELK教程

1 基础概念

ELK 即 Elasticsearch、Logstash、Kibana，组合起来可以搭建线上日志系统，本文主要讲解使用 ELK 来收集测试框架产生的日志。

在这里插入图片描述

  • Elasticsearch：用于存储收集到的日志信息；
  • Logstash：用于收集日志，测试框架应用整合了 Logstash 以后会把日志发送给 Logstash,Logstash再把日志转发给Elasticsearch；
  • Kibana：通过Web端的可视化界面来查看日志。

2 通过docker compose搭建ELK环境

需要有docker环境:
docker安装教程

2.1 前置环境

  1. 下载docker compose

Docker Compose是一个用于定义和运行多个docker容器应用的工具。使用Compose你可以用YAML文件来配置你的应用服务，然后使用一个命令，你就可以部署你配置的所有服务了。管理docker的工具

curl -L https://get.daocloud.io/docker/compose/releases/download/1.24.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
  1. 修改文件为可执行
chmod +x /usr/local/bin/docker-compose
  1. 查看是否安装成功
docker-compose --version

在这里插入图片描述
4. 下载docker有关镜像

docker pull elasticsearch:7.6.2
docker pull logstash:7.6.2
docker pull kibana:7.6.2

2.2 正式搭建（docker）

①创建配置文件

  • 创建文件夹
mkdir -p /mydata/logstash
cd /mydata/logstash
  • 编写配置文件logstash-springboot.conf
vim logstash-springboot.conf

配置文件内容:

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "springboot-logstash-%{+YYYY.MM.dd}"
  }
}

②创建脚本启动ELK

vim docker-compose.yml

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.6.2
    container_name: elasticsearch
    user: root
    environment:
      - "cluster.name=elasticsearch" #设置集群名称为elasticsearch
      - "discovery.type=single-node" #以单一节点模式启动
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #设置使用jvm内存大小
    volumes:
      - /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins #插件文件挂载
      - /mydata/elasticsearch/data:/usr/share/elasticsearch/data #数据文件挂载
    ports:
      - 9200:9200
      - 9300:9300
  logstash:
    image: logstash:7.6.2
    container_name: logstash
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - /mydata/logstash/logstash-springboot.conf:/usr/share/logstash/pipeline/logstash.conf #挂载logstash的配置文件
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    ports:
      - 4560:4560
  kibana:
    image: kibana:7.6.2
    container_name: kibana
    links:
      - elasticsearch:es #可以用es这个域名访问elasticsearch服务
    depends_on:
      - elasticsearch #kibana在elasticsearch启动之后再启动
    environment:
      - "elasticsearch.hosts=http://es:9200" #设置访问elasticsearch的地址
    ports:
      - 5601:5601

③启动脚本

docker-compose up -d

如果启动时出错，没有权限，添加权限执行权限即可

chmod 777 /mydata/elasticsearch/data/

在这里插入图片描述
如果elasticsearch如上图一样没有启动起来，重启即可，因为启动时间需要比较久

docker restart elasticsearch

在这里插入图片描述

④在 logstash 中安装 json_lines 插件

# 进入logstash容器
docker exec -it logstash /bin/bash
# 进入bin目录
cd /bin/
# 安装插件
logstash-plugin install logstash-codec-json_lines
# 退出容器
exit
# 重启logstash服务
docker restart logstash

安装时间可能比较久，需要耐心等待
在这里插入图片描述
⑤关闭防火墙，查看kibana结果

systemctl stop firewalld

访问地址：

# ip改成自己的即可
http://192.168.145.13:5601/

bug：

  • 如果访问kibana地址出现如下错误：

Kibana server is not ready yet

解决方法：

方法一：

将配置文件kibana.yml中的elasticsearch.url改为正确的链接，默认为: http://elasticsearch:9200，改为http://自己的IP地址:9200【改成自己的ip】

# 查看本机ip
ip address

在这里插入图片描述
①查看es内部容器ip

# 查看elasticsearch内部容器ip
docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' elasticsearch
# 172.18.0.4

在这里插入图片描述
②进入kibana容器，修改配置文件

# 进入 Kibana 容器内部，修改 kibana.yml 中的ip
# docker ps 查看kibana容器名
docker exec -it kibana容器id /bin/bash
# docker exec -it 8db0dd14cd59_kibana /bin/bash

在这里插入图片描述

# 修改配置文件
cd config
vi kibana.yml
# 只需要将上面的 "http://elasticsearch:9200"中的 
#elasticsearch 替换成上一步的es容器内部ip就可以了。

在这里插入图片描述
③退出kibana容器，并重启kibana

exit
docker restart kibana容器名
# docker restart 8db0dd14cd59_kibana

方法二：

关闭防火墙

systemctl stop firewalld
# 查看防火墙状态：是否关闭成功
systemctl status firewalld

#永久关闭防火墙
# systemctl disable firewalld.service

# 重启docker
systemctl restart docker
#重启docker服务
docker-compose up -d

方法三：

服务器内存不够

# 查看内存使用情况
free -h

在这里插入图片描述
设置swap

  1. 创建swapfile：# dd if=/dev/zero of=swapfile bs=1024 count=500000 （of是空间名称，count是空间大小,bs是单位，这里是kb,你可以将bs=1024改为bs=1G，后面的count就可以改为count=2,就是创建2G大小的swap文件）
  2. 将swapfile设置为swap空间：# mkswap swapfile
  3. 启用交换空间: # swapon swapfile （删除交换空间命令 swapoff swapfile）

如果提示不安全，则使用sudo chmod 600 swapfile

  1. 再用free -h命令查看内存情况，就会发现Swap中的内存增加了，

在这里插入图片描述
方法四：

看自己是否开启了VPN或者代理，关闭之后，重新打开浏览器访问即可

最后，测试：

# 输入自己服务器的ip(我的是192.168.145.13:5601)
http://192.168.145.13:5601/

成功访问：
在这里插入图片描述

2.3 SpringBoot框架集成logstash

项目结构：
在这里插入图片描述

①pom.xml添加依赖

<!--集成logstash-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

完整pom文件：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.6.11</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.zi</groupId>
    <artifactId>elk-demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>elk-demo</name>
    <description>elk-demo</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <!--引入logstash收集日志-->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>5.3</version>
        </dependency>

        <dependency>
            <!--方便打印日志-->
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.12</version>
        </dependency>

        <dependency>
            <!--方便测试-->
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

②添加配置文件 logback-spring.xml

让 logback 的日志输出到 logstash

注意 appender 节点下的 destination 需要改成你自己的 logstash 服务地址，比如我的是：192.168.145.13:4560 。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <include resource="org/springframework/boot/logging/logback/console-appender.xml"/>
    <!--应用名称-->
    <property name="APP_NAME" value="springboot-logback-elk-demo"/>
    <!--日志文件保存路径-->
    <property name="LOG_FILE_PATH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP:-${java.io.tmpdir:-/tmp}}}/logs}"/>
    <contextName>${APP_NAME}</contextName>
    <!--每天记录日志到文件appender-->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LOG_FILE_PATH}/${APP_NAME}-%d{yyyy-MM-dd}.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>${FILE_LOG_PATTERN}</pattern>
        </encoder>
    </appender>
    <!--输出到logstash的appender-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--可以访问的logstash日志收集端口-->
        <destination>192.168.145.13:4560</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
    </appender>
    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="LOGSTASH"/>
    </root>
</configuration>

③运行测试

测试类：

@SpringBootTest
@Slf4j
public class LogbackdemoApplicationTests {

    @Test
    public void contextLoads() {
        log.info("输出info");
        log.debug("输出debug");
        log.error("输出error");
    }
}

在这里插入图片描述

2.4 使用kibana

  1. 创建 index pattern
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    成功创建：
    在这里插入图片描述

  2. 查看收集的日志
    在这里插入图片描述

  3. 筛选日志
    在这里插入图片描述

  4. 查看日志详情
    在这里插入图片描述

搭建了 ELK 日志收集系统之后，我们如果要查看测试框架的日志信息，就不需要查看日志文件了，直接 在Kibana 中查看即可。

参考文章：
https://cloud.tencent.com/developer/article/1704647?from=article.detail.1468662

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/156786.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

如何成为优秀合格的管理者之角色定位

如何成为优秀合格的管理者之角色定位

目录 导语 一、管理者的角色误区和角色定位 &#xff08;一&#xff09;管理者对上级 &#xff08;二&#xff09;管理者对下属 *如何要做好“老师”的角色&#xff1f; &#xff08;三&#xff09;管理者跨部门协作 &#xff08;四&#xff09;管理者对自己 二…
阅读更多...
springboot：接手老项目，领导让更新数据库说明文档，如何3分钟完成任务

springboot：接手老项目，领导让更新数据库说明文档，如何3分钟完成任务

0 引言 最新在重新整理老项目的文档&#xff0c;其中数据库说明文档上一版更新还是在1年多前&#xff0c;文档中的数据结构说明与当前数据库严重脱节&#xff0c;所以更新数据库说明文档已经是迫在眉睫的事情了。 因为项目是一个比较大型且“年长‘的项目&#xff0c;涉及了多…
阅读更多...
谷粒商城-基础篇-Day09-整合Ware服务

谷粒商城-基础篇-Day09-整合Ware服务

整合Ware服务 将服务注册到nacos中 spring:cloud:nacos:discovery:server-addr: 127.0.0.1:8848application:name: gulimall-wareMapperScan("com.atguigu.gulimall.ware.dao")//mybatis包扫描 SpringBootApplication EnableDiscoveryClient//开启服务发现 EnableT…
阅读更多...
进入内存,透彻理解数据类型存在的意义,整形在内存中存储,大小端字节序,浮点型在内存中存储

进入内存,透彻理解数据类型存在的意义,整形在内存中存储,大小端字节序,浮点型在内存中存储

&#x1f331;博主简介&#xff1a;是瑶瑶子啦&#xff0c;一名大一计科生&#xff0c;目前在努力学习C进阶、数据结构、算法、JavaSE。热爱写博客~正在努力成为一个厉害的开发程序媛&#xff01;&#x1f4dc;所属专栏&#xff1a;C语言✈往期博文回顾&#xff1a;【Java基础篇…
阅读更多...
Java——》AtomicInteger源码分析

Java——》AtomicInteger源码分析

推荐链接&#xff1a; 总结——》【Java】 总结——》【Mysql】 总结——》【Redis】 总结——》【Kafka】 总结——》【Spring】 总结——》【SpringBoot】 总结——》【MyBatis、MyBatis-Plus】 Java——》AtomicInteger源码分析一、测试用例二、…
阅读更多...
Java基础学习笔记（一）面向对象

Java基础学习笔记（一）面向对象

序言&#xff1a;主要记录一下java的学习笔记&#xff0c;用作面试复习&#xff0c;参考的学习资料是尚硅谷Java网课链接 面向对象是P39~P69内容 文章目录一、类和对象二、传值方式三、静态与静态代码块四、包五、构造方法六、继承与构造方法七、多态八、方法的重载与重写8.1 …
阅读更多...
[JAVA安全]CVE-2022-33980命令执行漏洞分析

[JAVA安全]CVE-2022-33980命令执行漏洞分析

前言 在 i春秋的漏洞靶标上看见了此漏洞&#xff0c;所以前来分析一下漏洞原理&#xff0c;比较也是去年 7月的漏洞。 漏洞描述&#xff1a;Apache官方发布安全公告&#xff0c;修复了一个存在于Apache Commons Configuration 组件的远程代码执行漏洞&#xff0c;漏洞编号&am…
阅读更多...
Linux驱动

Linux驱动

Linux驱动 驱动 1.驱动课程大纲  内核模块  字符设备驱动  中断 2.ARM裸机代码和驱动有什么区别&#xff1f;  共同点&#xff1a;都能够操作硬件 (都操作寄存器)  不同点&#xff1a;  裸机就是用C语言给对应的寄存器里面写值&#xff0c;驱动是按照一定的框架格…
阅读更多...
FastReport .NET 2023.1.8 Crack

FastReport .NET 2023.1.8 Crack

FastReport .NET适用于 .NET 6、.NET Core、Blazor、ASP.NET、MVC 和 Windows 窗体的全功能报告库。它可以在 Microsoft Visual Studio 2022 和 JetBrains Rider 中使用。 快速报告.NET 利用 .NET 6、.NET Core、Blazor、ASP.NET、MVC、Windows Forms 和 Mono 数据表示领域专家…
阅读更多...
前端入门笔记07 —— js应用

前端入门笔记07 —— js应用

DOM基础 document object model 基本操作 增删改查 查&#xff1a; document成员函数传入 id class tagName等内容获取DOM节点css选择去查询节点获取的DOM对象访问DOM对象的成员 let domResult; domResult document.getElementsByTagName(li); //返回一个类数组对象 Node…
阅读更多...
Electron对在线网站做数据交互方案,实现在线网站判断Electron调用自定义接口通讯

Electron对在线网站做数据交互方案,实现在线网站判断Electron调用自定义接口通讯

(防盗镇楼)本文地址:https://blog.csdn.net/cbaili/article/details/128651549 前言 最近在撸VUE,想要实现一份代码既能构建Web又能构建Electron应用 并且能够判断环境是浏览器还是Electron,随后在Electron中做一些特定的事情 以往的Electron通信依靠IPC通信完成,但是发布到…
阅读更多...
2023年，“新一代”固定资产管理平台——支持低代码平台

2023年，“新一代”固定资产管理平台——支持低代码平台

固定资产是各企业和工厂的主要生产要素&#xff0c;占企业整体资金比例较重&#xff0c;而且随着企业的发展&#xff0c;实物资产的数量和员工日益增多&#xff0c;固定资产的重要性日益凸显。如何高效管理这些实物资产也成了企业管理者经常考虑的问题。单纯依靠人工表格管理固…
阅读更多...
python（一） 字符串基本用法

python（一） 字符串基本用法

python&#xff08;一&#xff09; 字符串基本用法 目录1.环境安装2. 变量介绍3.变量的命名规则4. 字符串 String 基础4.1 title() 修改单词的大小写 title()4.2 upper() : 将字符串全部改为大写4.3 lower(): 将字符串全部改为小写4.4 字符串的拼接 合并字符串5. 使用制表符或者…
阅读更多...
关于抖音年前活动的需求与思考

关于抖音年前活动的需求与思考

目录 一、前言 二、需求1 1、后端需求 2、前端需求 三、领取抽卡次数需求 1、后端需求 2、前端需求 四、必得现金红包需求 五、送重复卡需求 1、后端需求 2、前端需求 六、幸运抽奖需求 1、抽奖功能 1.1、首次(或多次)3张节气卡 抽奖 1.2、非首次或多次后5张节气…
阅读更多...
【阶段三】Python机器学习14篇：机器学习项目实战：支持向量机分类模型

【阶段三】Python机器学习14篇：机器学习项目实战：支持向量机分类模型

本篇的思维导图： 项目实战(支持向量机分类模型) 项目背景 目前各大新闻网站很多，网站上的消息也是各式各样，本项目通过建立支持向量机分类模型进行新闻文本分类。 数据收集 所需要的数据文件如下百度云盘链接： 链接：https://pan.baidu.com/s/1Zj-uTt_wdRcmDt3aumZ…
阅读更多...
Java加解密（七）数字签名

Java加解密（七）数字签名

目录数字签名1 定义2 数字签名特点3 应用场景4 JDK支持的信息摘要算法5 Bouncy Castle 支持的信息摘要算法6 算法调用示例数字签名 1 定义 数字签名&#xff08;digital signature&#xff09;是一种电子签名&#xff0c;也可以表示为一种数学算法&#xff0c;通常用于验证消…
阅读更多...
【强训】Day06

【强训】Day06

努力经营当下&#xff0c;直至未来明朗&#xff01; 文章目录一、选择二、编程1. 不要二2. 把字符串转换成整数答案1. 选择2. 编程普通小孩也要热爱生活&#xff01; 一、选择 关于抽象类与最终类&#xff0c;下列说法错误的是&#xff1f; A 抽象类能被继承&#xff0c;最终…
阅读更多...
C语言零基础项目：六边形扫雷寻宝模式，详细思路+源码分享

C语言零基础项目：六边形扫雷寻宝模式，详细思路+源码分享

程序简介六边形扫雷&#xff0c;寻宝模式&#xff0c;稍稍介绍一下。他也是要把所有安全的地方点出来。他没有扫雷模式的消零算法。每一个安全的点都需要单独挖出来&#xff0c;一次显示一个格子。添加了生命值的概念&#xff0c;也就是说存在一定的容错。显示的数字有别于扫雷…
阅读更多...
亚马逊云科技 2022 re:Invent 观察 | 天下武功，唯快不破

亚马逊云科技 2022 re:Invent 观察 | 天下武功，唯快不破

引子“天下武功&#xff0c;无坚不摧&#xff0c;唯快不破”&#xff0c;相信大家对星爷电影《功夫》中的这句话耳熟能详。实际上&#xff0c;“天下武功&#xff0c;唯快不破”最早出自古龙先生的著名武侠小说《小李飞刀》&#xff1a;“小李飞刀&#xff0c;例无虚发&#xf…
阅读更多...
LeetCode（String) 2325. Decode the Message

LeetCode（String) 2325. Decode the Message

1.问题 You are given the strings key and message, which represent a cipher key and a secret message, respectively. The steps to decode message are as follows: Use the first appearance of all 26 lowercase English letters in key as the order of the substit…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023