【Elasticsearch】实现分布式系统日志高效追踪

news2024/12/27 7:52:40

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于分享所学，希望通过我的实践经历和见解，启发他人的创新思维。在这里，我希望能与志同道合的朋友交流探讨，共同进步，一起在技术的世界里不断学习成长。
技术合作请加本人wx（注明来自csdn）：foreast_sea

在这里插入图片描述

在这里插入图片描述

【Elasticsearch】实现分布式系统日志高效追踪

一、引言

在当今的技术领域，大型分布式系统，尤其是微服务架构，已经成为构建复杂应用的主流方式。这些分布式系统由众多的微服务组成，它们相互协作以提供完整的业务功能。例如，在一个电商平台中，下单服务、支付服务、库存服务等多个微服务共同运作，才能完成一个订单从创建到完成支付的全过程。

然而，随着系统规模的扩大和微服务数量的增加，日志管理和问题排查变得极为复杂。当出现故障或性能问题时，开发人员往往需要在海量的日志信息中寻找线索，这些日志分散在不同的服务实例和服务器上，难以关联和整合。传统的日志分析方法在面对这种分布式环境时显得力不从心。

Elasticsearch 的出现为解决分布式系统日志追踪问题提供了强大的解决方案。它是一个分布式、高可用、可扩展的搜索引擎和数据分析引擎。通过合理地利用 Elasticsearch 的数据类型和索引结构，我们能够有效地存储和检索分布式系统中的日志数据，进而实现跨服务的请求日志追踪，将分散的日志信息整合为完整的用户请求链路。这不仅有助于快速定位问题，还能为系统性能优化和业务流程分析提供有力支持。

在本文中，我们将深入探讨如何使用 Elasticsearch 来实现分布式系统日志追踪，详细介绍相关的技术细节和代码实现。

二、技术概述

（一）Elasticsearch 简介

Elasticsearch 是一个基于Lucene 库构建的开源搜索引擎。它具有分布式、实时性、高可用性等特点，能够快速地存储、搜索和分析大量的数据。在日志分析领域，Elasticsearch 可以高效地处理和索引日志数据，使得我们能够快速地查询和检索特定的日志信息。

（二）关键数据类型

  1. Keyword：用于精确匹配的字符串数据类型。在日志追踪中，例如服务名称、日志级别等字段可以使用 Keyword 类型，这样可以确保精确的查询和过滤。例如，当我们查询特定服务的日志时，使用 Keyword 类型的服务名称字段可以准确地定位到相关日志。
  2. Text：用于存储较长的文本数据，如日志消息内容。它会对文本进行分词处理，以便进行全文搜索。例如，当我们想要搜索日志消息中包含特定关键词的日志时，Text 类型的字段就可以发挥作用。
  3. Date：用于存储日期和时间信息。在日志数据中，日志的产生时间通常是一个重要的字段，使用 Date 类型可以方便地进行基于时间范围的查询，比如查询特定时间段内的日志。

（三）索引结构

我们可以设计一个专门用于存储日志数据的索引。索引的结构可以包含以下字段：

  • traceId：用于唯一标识一个用户请求链路的 ID。通过这个 ID，我们可以将不同服务中的相关日志关联起来。
  • serviceName：产生日志的服务名称，使用 Keyword 类型。
  • logLevel：日志的级别，如 INFO、WARN、ERROR 等，使用 Keyword 类型。
  • logMessage：日志的详细消息内容，使用 Text 类型。
  • timestamp：日志产生的时间，使用 Date 类型。

三、Maven 依赖

在使用 Elasticsearch 进行日志追踪的 Java 项目中，我们需要添加以下 Maven 依赖：

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>7.17.0</version>
</dependency>
<dependency>
    <groupId>org.elasticsearch</groupId>
    <artifactId>elasticsearch</artifactId>
    <version>7.17.0</version>
</dependency>

这些依赖将使我们能够在 Java 代码中方便地与 Elasticsearch 进行交互，使用其提供的高级客户端 API 来进行索引创建、数据插入、查询等操作。

四、案例实现步骤

（一）连接到 Elasticsearch

首先，我们需要创建一个连接到 Elasticsearch 的客户端。代码示例如下：

import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.RestClient;
import java.io.IOException;

public class ElasticsearchClientUtil {
    private static final String HOST = "localhost"; // Elasticsearch 主机地址
    private static final int PORT = 9200; // Elasticsearch 端口

    public static RestHighLevelClient getClient() {
        RestClient.Builder builder = RestClient.builder(
                new HttpHost(HOST, PORT, "http"));
        return new RestHighLevelClient(builder);
    }

    public static void closeClient(RestHighLevelClient client) throws IOException {
        client.close();
    }
}

在上述代码中，我们定义了一个工具类 ElasticsearchClientUtil，其中 getClient 方法用于创建一个连接到本地 Elasticsearch 实例（地址为 localhost，端口为 9200）的 RestHighLevelClient 对象，closeClient 方法用于关闭客户端连接。

（二）创建索引

接下来，我们创建用于存储日志数据的索引。代码如下：

import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import java.io.IOException;

public class LogIndexCreator {
    private static final String INDEX_NAME = "log_tracking_index";

    public static void createIndex(RestHighLevelClient client) throws IOException {
        // 创建索引请求
        CreateIndexRequest request = new CreateIndexRequest(INDEX_NAME);
        // 设置索引的设置
        request.settings(Settings.builder()
              .put("index.number_of_shards", 3)
              .put("index.number_of_replicas", 1));
        // 设置索引的映射（即字段类型等）
        String mapping = "{\n" +
                "  \"properties\": {\n" +
                "    \"traceId\": {\n" +
                "      \"type\": \"keyword\"\n" +
                "    },\n" +
                "    \"serviceName\": {\n" +
                "      \"type\": \"keyword\"\n" +
                "    },\n" +
                "    \"logLevel\": {\n" +
                "      \"type\": \"keyword\"\n" +
                "    },\n" +
                "    \"logMessage\": {\n" +
                "      \"type\": \"text\"\n" +
                "    },\n" +
                "    \"timestamp\": {\n" +
                "      \"type\": \"date\"\n" +
                "    }\n" +
                "  }\n" +
                "}";
        request.mapping(mapping, XContentType.JSON);

        // 执行创建索引操作
        CreateIndexResponse response = client.indices().create(request);
        if (response.isAcknowledged()) {
            System.out.println("索引创建成功");
        } else {
            System.out.println("索引创建失败");
        }
    }
}

在这段代码中，我们首先定义了索引名称 log_tracking_index，然后创建了 CreateIndexRequest 对象，设置了索引的分片数量和副本数量，并定义了索引的映射，即各个字段的类型。最后通过客户端执行创建索引操作，并根据响应判断索引是否创建成功。

（三）插入日志数据

假设我们有一个日志数据对象 LogMessage，包含 traceId、serviceName、logLevel、logMessage 和 timestamp 等属性。我们可以编写以下代码将日志数据插入到 Elasticsearch 索引中：

import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.RestHighLevelClient;
import java.io.IOException;
import java.util.Date;

public class LogDataInserter {
    public static void insertLog(RestHighLevelClient client, LogMessage logMessage) throws IOException {
        // 创建索引请求
        IndexRequest request = new IndexRequest("log_tracking_index")
              .id(logMessage.getTraceId())
              .source("traceId", logMessage.getTraceId(),
                        "serviceName", logMessage.getServiceName(),
                        "logLevel", logMessage.getLogLevel(),
                        "logMessage", logMessage.getLogMessage(),
                        "timestamp", new Date());

        // 执行插入操作
        IndexResponse response = client.index(request);
        if (response.getResult() == DocWriteResponse.Result.CREATED) {
            System.out.println("日志插入成功");
        } else {
            System.out.println("日志插入失败");
        }
    }
}

这里，我们创建了 IndexRequest 对象，指定了索引名称和文档 ID（这里使用 traceId 作为文档 ID，以确保同一请求链路的日志可以通过相同的 ID 进行关联），并设置了文档的源数据，即日志的各个字段值。然后通过客户端执行插入操作，并根据响应判断插入是否成功。

（四）查询日志数据

为了实现日志追踪，我们需要根据 traceId 或其他条件查询相关的日志数据。以下是一个根据 traceId 查询日志的示例代码：

import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import java.io.IOException;

public class LogDataSearcher {
    public static void searchLogsByTraceId(RestHighLevelClient client, String traceId) throws IOException {
        // 创建搜索请求
        SearchRequest request = new SearchRequest("log_tracking_index");
        // 创建搜索源构建器
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        // 设置查询条件，根据 traceId 进行精确匹配
        sourceBuilder.query(QueryBuilders.termQuery("traceId", traceId));
        request.source(sourceBuilder);

        // 执行搜索操作
        SearchResponse response = client.search(request);
        // 处理搜索结果
        for (SearchHit hit : response.getHits().getHits()) {
            System.out.println("traceId: " + hit.getSourceAsMap().get("traceId"));
            System.out.println("serviceName: " + hit.getSourceAsMap().get("serviceName"));
            System.out.println("logLevel: " + hit.getSourceAsMap().get("logLevel"));
            System.out.println("logMessage: " + hit.getSourceAsMap().get("logMessage"));
            System.out.println("timestamp: " + hit.getSourceAsMap().get("timestamp"));
        }
    }
}

在上述代码中，我们创建了 SearchRequest 对象，指定了要搜索的索引名称。然后使用 SearchSourceBuilder 构建查询条件，这里使用 termQuery 对 traceId 进行精确匹配。最后执行搜索操作，并遍历搜索结果，打印出每个匹配日志的相关信息。

五、单元测试

我们可以编写以下单元测试来验证上述代码的正确性：

import org.elasticsearch.client.RestHighLevelClient;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;

import java.io.IOException;
import java.util.Date;

import static org.junit.jupiter.api.Assertions.assertTrue;

public class LogTrackingTest {
    private RestHighLevelClient client;

    @BeforeEach
    public void setUp() {
        client = ElasticsearchClientUtil.getClient();
    }

    @Test
    public void testLogTracking() throws IOException {
        // 创建索引
        LogIndexCreator.createIndex(client);

        // 插入日志数据
        LogMessage logMessage = new LogMessage("trace1", "order-service", "INFO", "订单创建成功", new Date());
        LogDataInserter.insertLog(client, logMessage);

        // 查询日志数据
        LogDataSearcher.searchLogsByTraceId(client, "trace1");

        // 这里可以根据实际情况添加更多的断言，例如验证查询结果的数量等
        assertTrue(true);
    }

    @AfterEach
    public void tearDown() throws IOException {
        ElasticsearchClientUtil.closeClient(client);
    }
}

在这个单元测试中，我们首先在 setUp 方法中获取 Elasticsearch 客户端连接。然后在 testLogTracking 方法中，依次进行索引创建、日志插入和日志查询操作。最后在 tearDown 方法中关闭客户端连接。这里我们简单地使用 assertTrue(true) 作为一个占位符，可以根据实际需求添加更详细的断言，比如验证查询到的日志数据是否与插入的数据一致，或者验证查询结果的数量是否符合预期等。

六、参考资料文献

  • Elasticsearch 官方文档：https://www.elasticsearch.org/guide/index.html
  • 《Elasticsearch 实战》，作者：[美] 拉法尔·库奇（Rafał Kuć）等，机械工业出版社。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2253489.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

WEB安全 PHP学习

WEB安全 PHP学习

PHP基础 PHP编码显示问题 header ("Content-type: text/html; charsetgb2312"); header("Content-Type: text/html;charsetutf-8"); windows需要使用gbk编码显示 源码是 <?php header ("Content-type: text/html; charsetgb2312"); sys…
阅读更多...
MySQL 单表练习

MySQL 单表练习

DQL练习1-学生表 创建如下学生表 create table student( id int, name varchar(20), gender varchar(20), chinese int, math int, english int ); insert into student values (1,张明,男,89,78,90), (2,李进,男…
阅读更多...
详解Java数据库编程之JDBC

详解Java数据库编程之JDBC

目录 首先创建一个Java项目 在Maven中央仓库下载mysql connector的jar包 针对MySQL版本5 针对MySQL版本8 下载之后&#xff0c;在IDEA中创建的项目中建立一个lib目录&#xff0c;然后把刚刚下载好的jar包拷贝进去&#xff0c;然后右键刚刚添加的jar包&#xff0c;点击‘添…
阅读更多...
第32天：安全开发-JavaEE应用Servlet路由技术JDBCMybatis数据库生命周期

第32天：安全开发-JavaEE应用Servlet路由技术JDBCMybatis数据库生命周期

时间轴&#xff1a; 32天主要学习内容&#xff1a; 1、JavaEE-HTTP-Servlet技术 2、JavaEE-数据库-JDBC&Mybatis java技术使用历史&#xff08;2023 &#xff09;&#xff1a; JavaEE-HTTP-Servlet&路由&周期: java学习范围&#xff1a; 3、Java: 功能:数据…
阅读更多...
【大数据技术基础】 课程 第3章 Hadoop的安装和使用 大数据基础编程、实验和案例教程（第2版）

【大数据技术基础】 课程 第3章 Hadoop的安装和使用 大数据基础编程、实验和案例教程（第2版）

第3章 Hadoop的安装和使用 3.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台&#xff0c;为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的&#xff0c;具有很好的跨平台特性&#xff0c;并且可以部署在廉价的计算机集群中。H…
阅读更多...
VTK中矩阵vtkMatrix4x4类的介绍和使用

VTK中矩阵vtkMatrix4x4类的介绍和使用

1、矩阵-齐次坐标介绍 常见的点一般是Pt&#xff08;X,Y,Z&#xff09;&#xff0c;相当于一个13矩阵&#xff0c;而矩阵相乘的话一般是第一个矩阵的列数要等于第二个矩阵的行数。此处需要引入齐次坐标的概念&#xff1a;从广义上讲&#xff0c;齐次坐标就是用n1维向量表示n 维…
阅读更多...
RoGS: Large Scale Road Surface Reconstruction based on 2D Gaussian Splatting

RoGS: Large Scale Road Surface Reconstruction based on 2D Gaussian Splatting

RoGS 摘要简介RoGS基于高斯面元的道路表面表示(Road Surface Representation Based on Guassian Surfel)2D Gaussian Surfel:Road Surface Modeling:Why use 2D Gaussian Surfels? 基于轨迹的初始化&#xff08;Trajectory-base Initialization&#xff09;优化&#xff08;Op…
阅读更多...
使用 postman 传递 binary 类型的图片到后端接口遇到的坑

使用 postman 传递 binary 类型的图片到后端接口遇到的坑

使用 psotman 传 binary 类型图片报错&#xff1a; -2024-12-04 [http-nio-9090-exec-1] WARN org.springframework.web.servlet.mvc.support.DefaultHandlerExceptionResolver Resolved [org.springframework.http.converter.HttpMessageNotReadableException: Required r…
阅读更多...
微服务通讯系统（2）

微服务通讯系统（2）

软件设计及核心代码展示 数据库表设计&#xff0c;ES搜索表设计&#xff0c;Redis键值对设计 数据库表设计 &#xff08;1&#xff09;用户表设计 这里的ID是指的是在系统中用户是第几个注册的&#xff08;从1开始&#xff09; user_id是指用户的唯一ID是通过uuid()函数生成…
阅读更多...
修复docker启动失败：Failed to start Docker Application Container Engine

修复docker启动失败：Failed to start Docker Application Container Engine

配置了镜像源之后&#xff0c;运行sudo systemctl restart docker.service失败&#xff0c;提示让运行systemctl status docker.service或journalctl -xeu docker.service查看详细信息。 运行后者发现有如下日志&#xff1a; 红色区域是我设置的一个镜像源这个日志的意思就是…
阅读更多...
神经网络入门实战：（十四）pytorch 官网内置的 CIFAR10 数据集，及其网络模型

神经网络入门实战：（十四）pytorch 官网内置的 CIFAR10 数据集，及其网络模型

(一) pytorch 官网内置的网络模型 图像处理&#xff1a; Models and pre-trained weights — Torchvision 0.20 documentation (二) CIFAR10数据集的分类网络模型&#xff08;仅前向传播&#xff09;&#xff1a; 下方的网络模型图片有误&#xff0c;已做修改&#xff0c;具…
阅读更多...
微信小程序wx.showShareMenu配置全局分享功能

微信小程序wx.showShareMenu配置全局分享功能

在app.js文件中配置如下即可&#xff1a; onLaunch() {//开启分享功能this.overShare()},/*** 开启朋友圈分享功能* 监听路由切换/自动执行*/overShare() {wx.onAppRoute((res) > {// console.log(route, res)let pages getCurrentPages()let view pages[pages.length - …
阅读更多...
Java刷题常见的集合类，各种函数的使用以及常见的类型转化等等

Java刷题常见的集合类，各种函数的使用以及常见的类型转化等等

前言 相信大家在刷算法题的过程中&#xff0c;好不容易想出来大概的思路&#xff0c;也知道去用哪个集合类&#xff0c;但各个集合类的一些命令都长得太像&#xff0c;很容易将他们弄错&#xff0c;并且在各集合之间的转化也是特别烦人&#xff0c;还有很多实用的函数都知道可…
阅读更多...
用 NotePad++ 运行 Java 程序

用 NotePad++ 运行 Java 程序

安装包 网盘链接 下载得到的安装包: 安装步骤 双击安装包开始安装. 安装完成: 配置编码 用 NotePad 写 Java 程序时, 需要设置编码. 在 设置, 首选项, 新建 中进行设置, 可以对每一个新建的文件起作用. 之前写的文件不起作用. 在文件名处右键, 可以快速打开 CMD 窗口, 且路…
阅读更多...
【金猿CIO展】复旦大学附属中山医院计算机网络中心副主任张俊钦：推进数据安全风险评估，防范化解数据安全风险，筑牢医疗数据安全防线...

【金猿CIO展】复旦大学附属中山医院计算机网络中心副主任张俊钦：推进数据安全风险评估，防范化解数据安全风险，筑牢医疗数据安全防线...

‍ 张俊钦 本文由复旦大学附属中山医院计算机网络中心副主任张俊钦撰写并投递参与“数据猿年度金猿策划活动——2024大数据产业年度优秀CIO榜单及奖项”评选。 大数据产业创新服务媒体 ——聚焦数据 改变商业 数据要素时代&#xff0c;医疗数据已成为医院运营与决策的重要基石…
阅读更多...
计算机视觉——相机标定(Camera Calibration)

计算机视觉——相机标定(Camera Calibration)

文章目录 1. 简介2. 原理3. 相机模型3.1 四大坐标系3.2 坐标系间的转换关系3.2.1 世界坐标系到相机坐标系3.2.2 相机坐标系到图像坐标系3.2.3 像素坐标系转换为图像坐标系3.2.4 世界坐标转换为像素坐标 3.3 畸变3.3.1 畸变类型3.3.1.1 径向畸变&#xff08;Radial Distortion&a…
阅读更多...
Go学习：编译器(编写程序时应该注意的点)

Go学习：编译器(编写程序时应该注意的点)

一、注意&#xff1a; LiteIDE工具&#xff1a; &#xff08;1&#xff09;创建项目后&#xff0c;同一个目录下的go文件 只能有一个 main函数&#xff0c;如果多个文件都有main函数&#xff0c;会出现编译错误。例如&#xff1a; &#xff08;2&#xff09;如果一个目录下多…
阅读更多...
【计算机网络】实验9： 路由信息协议RIP

【计算机网络】实验9： 路由信息协议RIP

实验9 路由信息协议RIP 一、实验目的 本实验的主要目的是深入理解RIP&#xff08;路由信息协议&#xff09;的工作原理&#xff0c;以便掌握其在网络中的应用。通过对RIP的学习&#xff0c;我们将探讨该协议如何实现路由选择和信息传播&#xff0c;从而确保数据包能够在网络中…
阅读更多...
如何选择适合的开源架构框架

如何选择适合的开源架构框架

如何选择适合的开源架构框架 一、引言二、明确项目需求 —— 筑牢基石&#xff08;一&#xff09;功能需求剖析 —— 精准锁定核心&#xff08;二&#xff09;性能要求考量 —— 追求极致卓越&#xff08;三&#xff09;可扩展性需求 —— 放眼未来蓝图 三、评估开源框架特性 —…
阅读更多...
MongoDB-BSON 协议与类型

MongoDB-BSON 协议与类型

前言&#xff1a; MongoDB 是一个高性能、无模式的 NoSQL 数据库&#xff0c;广泛应用于大数据处理和实时数据存储。作为一个数据库系统&#xff0c;MongoDB 的核心之一就是其使用的 BSON&#xff08;Binary JSON&#xff09;格式&#xff0c;它用于存储数据以及在客户端和数据…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023