使用docker-compose安装ELK（elasticsearch，logstash，kibana）并简单使用

news2025/1/17 21:47:38

首先服务器上需要安装docker已经docker-compose，如果没有，可以参考我之前写的文章进行安装。

https://blog.csdn.net/a_lllk/article/details/143382884?spm=1001.2014.3001.5502

1.下载并启动elk容器

先创建一个网关，让所有的容器共用此网关，方便容器之间互相通信。

docker network create elk-net

编写docker-compose.yml,我这里的docker-compose版本是2.8.0，可以根据自己安装的docker-compose去调整version。ELK的版本都使用的事8.6.2。

version: '2.8'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.6.2
    restart: always
    container_name: es
    environment:
      - "ES_JAVA_OPTS=-Xms256m -Xmx512m"
      - "discovery.type=single-node"
      - "ELASTIC_USERNAME=elastic"
      - "ELASTIC_PASSWORD=elastic"
      - "ingest.geoip.downloader.enabled=false"
      - "xpack.security.transport.ssl.enabled=false"
      - "xpack.security.http.ssl.enabled=false"
      - "xpack.security.enabled=true"
      - "bootstrap.memory_lock=true"
      - "cluster.name=es-cluster"
    ports:
      - "9200:9200"
      - "9300:9300"
    privileged: true
    networks:
      - elk-net

  logstash:
    image: docker.io/logstash:8.6.2
    container_name: logstash
    environment:
      - "LS_JAVA_OPTS=-Xmx256m -Xms256m"
    ports:
      - "5044:5044"  # Beats通信
      - "9600:9600"  # API通信
    networks:
      - elk-net
    restart: always
    privileged: true

  kibana:
    image: docker.elastic.co/kibana/kibana:8.6.2
    container_name: kibana
    environment:
      - "ELASTICSEARCH_HOSTS=http://elasticsearch:9200"
      - "SERVER_NAME=kibana"
      - "XPACK_SECURITY_ENABLED=true"
    ports:
      - "5601:5601"
    networks:
      - elk-net
    restart: always
    privileged: true

networks:
  elk-net:
    driver: bridge

将文件放入服务器的任意目录，然后输入以下命令运行。

docker-compose up -d

稍等一会，等镜像下载并创建容器，我这里因为早就下载好了镜像，所以就直接创建了容器。

可以使用docker ps -a查看容器的创建情况，我的容器创建如下图

可以使用ip+端口的形式去查看运行容器的情况，这里注意如果是服务器的话记得打开对于端口。

elasticsearch使用ip+:9200端口去访问

kibana使用ip+:5601去访问。这里注意，如果页面显示"Kibana server is not ready yet."是正常情况，因为目前并没有对elasticsearch做任何配置，kibana是没有检测到es的存在。

logstash暂时没有验证的方式，只要看容器的启动状态是up就行了。

2.配置ELK

2.1.配置elasticsearch

首先在服务器目录创建一个文件夹，来存放容器中的数据。

mkdir -p /usr/local/docker/elasticsearch

然后将容器中的配置文件及data，logs目录复制到当前宿主机指定目录下。

docker cp es:/usr/share/elasticsearch/config /usr/local/docker/elasticsearch/config
docker cp es:/usr/share/elasticsearch/data /usr/local/docker/elasticsearch/data
docker cp es:/usr/share/elasticsearch/logs /usr/local/docker/elasticsearch/logs

进入config目录，有一个elasticsearch.yml文件，这个就是容器的配置文件。

我一般为了保险起见，都会先复制一个没有修改过的配置文件，避免修改配置文件出错时，容器启动报错。

cp elasticsearch.yml  elasticsearch-backup.yml

然后修改配置文件，内容如下：

vim elasticsearch.yml

cluster.name: "es-cluster"
network.host: 0.0.0.0

node.name: node-01
path.data: /usr/share/elasticsearch/data
path.logs: /usr/share/elasticsearch/logs
http.port: 9200
discovery.type: single-node
xpack.security.enabled: true
bootstrap.memory_lock: true

保存并退出，es的配置文件就编辑好了。

2.配置kibana

同样创建一个文件夹，来存放容器中的数据。

mkdir -p /usr/local/docker/kibana

将需要的文件复制到宿主机中。

docker cp kibana:/usr/share/kibana/config /usr/local/docker/kibana/

docker cp kibana:/usr/share/kibana/data /usr/local/docker/kibana/

docker cp kibana:/usr/share/kibana/logs /usr/local/docker/kibana/

进入config目录，编辑名为kibana.yml的配置文件。

vim kibana.yml

配置文件内容如下

#
# ** THIS IS AN AUTO-GENERATED FILE **
#
# Default Kibana configuration for docker target
server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
elasticsearch.username: "elastic"
elasticsearch.password: "elastic"
monitoring.ui.container.elasticsearch.enabled: true
#界面汉化
i18n.locale: "zh-CN"
##启用或禁用 Kibana 报告功能的角色管理
xpack.reporting.roles.enabled: false

保存并退出，kibana配置文件就算改好了。

3.配置logstash

创建文件夹

mkdir -p /usr/local/docker/kibana

从容器中复制文件夹

docker cp logstash:/usr/share/logstash/pipeline/  /usr/local/docker/logstash/

进入/logstash/pipeline,编辑logstash.conf

input {
  beats {
    port => 5044
  }
}

output {
   elasticsearch {
        hosts => ["http://elasticsearch:9200"]
        user => "elastic"
        password => "elastic"
        index => "logs-%{+YYYY.MM.dd}"
    }
}

3.重新创建容器

上面就对所有容器的配置文件做了处理，然后因为第一次启动的时候没有挂载目录，所以更改的配置配置文件也不会生效，所以我们就需要重新创建一下容器，并将所有编辑的配置文件挂载到容器中去

首先对所有容器进行移除

docker stop es logstash kibana
docker rm es logstash kibana

然后重新编辑上面的docker-compose.yml，将宿主机中的目录挂载到容器中。

version: '2.8'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.6.2
    restart: always
    container_name: es
    volumes:
      - /usr/local/docker/elasticsearch/data:/usr/share/elasticsearch/data  
      - /usr/local/docker/elasticsearch/logs:/usr/share/elasticsearch/logs  
      - /usr/local/docker/elasticsearch/config:/usr/share/elasticsearch/config    
    environment:
      - "ES_JAVA_OPTS=-Xms256m -Xmx512m"
      - "discovery.type=single-node"
      - "ELASTIC_USERNAME=elastic"
      - "ELASTIC_PASSWORD=elastic"
      - "ingest.geoip.downloader.enabled=false"
      - "xpack.security.transport.ssl.enabled=false"
      - "xpack.security.http.ssl.enabled=false"
      - "xpack.security.enabled=true"
      - "bootstrap.memory_lock=true"
      - "cluster.name=es-cluster"
    ports:
      - "9200:9200"
      - "9300:9300"
    privileged: true
    networks:
      - elk-net

  logstash:
    image: docker.io/logstash:8.6.2
    container_name: logstash
    environment:
      - "LS_JAVA_OPTS=-Xmx256m -Xms256m"
    volumes:
      - /usr/local/docker/logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.conf:rw  # Logstash配置
    ports:
      - "5044:5044"  # Beats通信
      - "9600:9600"  # API通信
    networks:
      - elk-net
    restart: always
    privileged: true

  kibana:
    image: docker.elastic.co/kibana/kibana:8.6.2
    container_name: kibana
    environment:
      - "ELASTICSEARCH_HOSTS=http://elasticsearch:9200"
      - "SERVER_NAME=kibana"
      - "XPACK_SECURITY_ENABLED=true"
    volumes:
      - /usr/local/docker/kibana/logs:/usr/share/kibana/logs  
      - /usr/local/docker/kibana/data:/usr/share/kibana/data
      - /usr/local/docker/kibana/config:/usr/share/kibana/config 
    ports:
      - "5601:5601"
    networks:
      - elk-net
    restart: always
    privileged: true

networks:
  elk-net:
    driver: bridge

运行命令，还是生成了三个容器。使用上面的ip+端口的方式去验证，发现es可以访问，但是kibana一直在尝试重启，说明配置文件存在问题。

使用log命令查看kibana的启动日志，

docker logs -f kibana

发现es报错了，报错信息如下

"Error: [config validation of [elasticsearch].username]: value of "elastic" is forbidden. This is a superuser account that cannot write to system indices that Kibana needs to function. Use a service account token instead. Learn more: https://www.elastic.co/guide/en/elasticsearch/reference/8.0/service-accounts.html"

这里大概意思就是elastic作为超级账号，是不能在kibana中直接使用，这里推荐使用账户token的方式去连接es。所以这里需要使用token的方式去连接es。

先进入到es的容器之中，然后运行一下命令，生成对应的token令牌。

进入容器:

docker exec -it es /bin/bash

运行生成令牌命令：

bin/elasticsearch-service-tokens create elastic/kibana default

复制等号后面的token信息

exit;退出容器，然后进入kibana的配置文件存放位置

cd usr/local/docker/kibana/config/

编辑kibana.yml，内容如下：

将之前配置的用户名和密码注释或删除，然后新增elasticsearch.serviceAccountToken，内容为刚才容器中返回的token信息。

然后wq！保存，重启kibana

docker restart kibana

然后使用ip+:5601的方式访问kibana，发现已经可以正常登录使用了，也就是kibana已经成功连接了es。

4.在SpringBoot项目中简单使用

elk的使用方式有很多种，这里简单演示一下整合springBoot。

先创建一个springBoot项目，并导入以下jar包

        <!-- Logback Classic -->
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.2.11</version>
        </dependency>

        <!-- Logstash Logback Encoder -->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>6.3</version>
        </dependency>

然后在application.properties同级目录，新建一个文件，文件名就是"logback-spring.xml"

然后xml内容如下。

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss} - %msg%n</pattern>
        </encoder>
    </appender>
    <!-- 控制台输出 -->
        <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
            <layout class="ch.qos.logback.classic.PatternLayout">
                <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %highlight(%-5level) %cyan(%logger{50}.%M.%L) - %highlight(%msg)%n
                </pattern>
            </layout>
        </appender>
        <!-- logback 输出 -->
        <appender name="STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
            <destination>60.204.148.130:5044</destination>
            <encoder class="net.logstash.logback.encoder.LogstashEncoder">
                <includeCallerData>true</includeCallerData>
                <timeZone>UTC</timeZone>
                <customFields>{"server_name":"demo-server"}</customFields>
            </encoder>
        </appender>
        <root level="DEBUG">
            <!-- 将日志发送到Logstash -->
            <appender-ref ref="STDOUT"/>
            <appender-ref ref="STASH"/>
        </root>
</configuration>

然后直接启动springBoot项目，我这边为了演示，level使用的是debug模式，如果觉得debug模式记录太多的话，可以将xml最下面的root level值改为info.

然后访问kibana主页，点击右侧management下面的Stack Management。

进入Stack Management后，选择右边的索引管理。

这里已经成功根据配置文件，新建了一个记录springBoot项目运行日志的索引。

然后可以点击右侧Management下的开发工具。

在左边控制台中输入下面命令，去查看日志的记录清空。

GET /logs-2025.01.16/_search // _search
{
  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ], 
  "query": {
    "match_all": {}
  }
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2278168.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

解决“无法定位程序输入点 av_buffer_create 于动态链接库 XXX\Obsidian.exe 上”问题

解决“无法定位程序输入点 av_buffer_create 于动态链接库 XXX\Obsidian.exe 上”问题

解决“无法定位程序输入点 av_buffer_create 于动态链接库 XXX\Obsidian.exe 上”问题 问题描述 本人在使用zotero中的zotero one&#xff08;青柠学术插件&#xff09;的时候&#xff0c;使用插件跳转obsidian中的对应笔记&#xff0c;出现上图情况。&#xff08;错误中提到的…
阅读更多...
《小迪安全》学习笔记05

《小迪安全》学习笔记05

目录 读取&#xff1a; 写入&#xff1a; &#xff08;其中的读取和写入时我认为比较重要的&#xff0c;所以单独做成了目录&#xff0c;这里的读取和写入是指在进行sql注入的时候与本地文件进行的交互&#xff09; 好久没发博客了。。。从这篇开始的小迪安全学习笔记就开始…
阅读更多...
Jupyter notebook中运行dos指令运行方法

Jupyter notebook中运行dos指令运行方法

Jupyter notebook中运行dos指令运行方法 目录 Jupyter notebook中运行dos指令运行方法一、DOS(磁盘操作系统&#xff09;指令介绍1.1 DOS介绍1.2 DOS指令1.2.1 DIR - 显示当前目录下的文件和子目录列表。1.2.2 CD 或 CHDIR - 改变当前目录1.2.3 使用 CD .. 可以返回上一级目录1…
阅读更多...
excel 判断某个单元格的日期，如果超过3天，则在另一个单元格显示超过三天的公式

excel 判断某个单元格的日期，如果超过3天，则在另一个单元格显示超过三天的公式

excel 判断某个单元格的日期&#xff0c;如果超过3天&#xff0c;则在另一个单元格显示超过三天的公式&#xff0c;公式如下&#xff1a; IF(DATEDIF(C627,TODAY(),"d")<4,"3天以内","超过三天") IF(D627"超过3天","文件赶紧…
阅读更多...
内存与缓存：保姆级图文详解

内存与缓存：保姆级图文详解

文章目录 前言1、计算机存储设备1.1、硬盘、内存、缓存1.2、金字塔结构1.3、数据流通过程 2、数据结构内存效率3、数据结构缓存效率 前言 亲爱的家人们&#xff0c;创作很不容易&#xff0c;若对您有帮助的话&#xff0c;请点赞收藏加关注哦&#xff0c;您的关注是我持续创作的…
阅读更多...
eBay账号安全攻略：巧妙应对风险

eBay账号安全攻略：巧妙应对风险

在跨境电商的浪潮中&#xff0c;eBay宛如一座璀璨的灯塔&#xff0c;照亮了无数买卖双方的交易之路。但别忘了&#xff0c;网络安全的阴霾也在悄然蔓延&#xff0c;让eBay账号时刻处于黑客攻击、数据泄露、钓鱼诈骗等风险的阴影之下。别担心&#xff0c;今天就来为你支支招&…
阅读更多...
宝塔php7.4安装报错，无法安装，php8以上可以安装，以下的不行，gd库什么的都正常

宝塔php7.4安装报错，无法安装，php8以上可以安装，以下的不行，gd库什么的都正常

宝塔的依赖问题导致的问题&#xff0c;最后手动挂载后才解决。。。废了三天三夜终于搞好了。。。。无语&#xff5e; 建议&#xff1a;不要一直升级宝塔版本&#xff0c;升级前备份或者开服务商的实例镜像&#xff0c;方便恢复&#xff0c;不然&#xff0c;可就GG了&#xff5…
阅读更多...
【大数据】机器学习 -----关于data.csv数据集分析案例

【大数据】机器学习 -----关于data.csv数据集分析案例

打开表 import pandas as pd df2 pd.read_csv("data.csv",encoding"gbk") df2.head()查看数据属性&#xff08;列标题&#xff0c;表形状&#xff0c;类型&#xff0c;行标题&#xff0c;值&#xff09; print("列标题:",df2.columns)Data…
阅读更多...
【数据可视化-12】数据分析岗位招聘分析

【数据可视化-12】数据分析岗位招聘分析

&#x1f9d1; 博主简介&#xff1a;曾任某智慧城市类企业算法总监&#xff0c;目前在美国市场的物流公司从事高级算法工程师一职&#xff0c;深耕人工智能领域&#xff0c;精通python数据挖掘、可视化、机器学习等&#xff0c;发表过AI相关的专利并多次在AI类比赛中获奖。CSDN…
阅读更多...
RabbitMQ故障全解析：消费、消息及日常报错处理与集群修复

RabbitMQ故障全解析：消费、消息及日常报错处理与集群修复

文章目录 前言&#xff1a;1 消费慢2 消息丢失3 消息重复消费4 日常报错及解决4.1 报错“error in config file “/etc/rabbitmq/rabbitmq.config” (none): no ending found”4.2 生产者发送消息报错4.3 浏览器打开IP地址&#xff0c;无法访问 RabbitMQ&#xff08;白屏没有结…
阅读更多...
网络安全——常用语及linux系统

网络安全——常用语及linux系统

一、网络安全概念及法规 网络安全&#xff1a;网络空间安全 cyber security 信息系统&#xff1a;由计算机硬件、网络和通信设备、计算机软件、信息资源、信息用户和规章制度组成的已处理信息流为目的的人机一体化系统 信息系统安全三要素&#xff08;CIA&#xff09; 保密…
阅读更多...
00_专栏《Redis 7.x企业级开发实战教程》介绍

00_专栏《Redis 7.x企业级开发实战教程》介绍

大家好，我是袁庭新。Redis作为一款高性能、多用途的内存数据库，凭借其丰富的数据结构、高速读写能力、原子操作特性及发布订阅等功能，在缓存加速、分布式锁、消息队列等场景中不可或缺，极大提升了系统性能与开发效率，是现代互联网应用架构的关键组件。 你是否在学习Redis…
阅读更多...
深度学习中的卷积和反卷积（四）——卷积和反卷积的梯度

深度学习中的卷积和反卷积（四）——卷积和反卷积的梯度

本系列已完结&#xff0c;全部文章地址为&#xff1a; 深度学习中的卷积和反卷积&#xff08;一&#xff09;——卷积的介绍 深度学习中的卷积和反卷积&#xff08;二&#xff09;——反卷积的介绍 深度学习中的卷积和反卷积&#xff08;三&#xff09;——卷积和反卷积的计算 …
阅读更多...
SpringMVC Idea 搭建 部署war

SpringMVC Idea 搭建 部署war

1.创建 Idea项目 使用Maven模板 创建 webApp模板项目 2.导入依赖 <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4.0.0 http://ma…
阅读更多...
ElasticSearch下

ElasticSearch下

DSL查询 叶子查询&#xff1a;在特定字段里查询特定值&#xff0c;属于简单查询&#xff0c;很少单独使用复合查询&#xff1a;以逻辑方式组合多个叶子查询或更改叶子查询的行为方式 在查询后还可以对查询结果做处理&#xff1a; 排序&#xff1a;按照1个或多个字段做排序分页…
阅读更多...
读取长文本，使用读取底表

读取长文本，使用读取底表

文章目录 代码有原始数据内表作为主表连接STXL的示例获取物料分类获取物料分类的文本的宏读取分类 https://blog.csdn.net/DeveloperMrMeng/article/details/118354649 代码 "第三种&#xff1a;读取底表获取文本 DATA: LT_TLINE TYPE STANDARD TABLE OF TLINE. DATA: LS…
阅读更多...
Ubuntu升级Linux内核教程

Ubuntu升级Linux内核教程

本文作者CVE-柠檬i: CVE-柠檬i-CSDN博客 本文使用的方法是dpkg安装&#xff0c;目前版本为5.4.0-204&#xff0c;要升级成5.8.5版本 下载 下载网站&#xff1a;https://kernel.ubuntu.com/mainline/ 在该网站下载deb包&#xff0c;选择自己想要升级的版本&#xff0c;这里是5…
阅读更多...
JWT在线解密/解码 - 加菲工具

JWT在线解密/解码 - 加菲工具

JWT在线解密/解码 首先进入加菲工具 选择 “JWT 在线解密/解码” https://www.orcc.online 或者直接进入JWT 在线解密/解码 https://www.orcc.online/tools/jwt 进入功能页面 使用 输入对应的jwt内容&#xff0c;点击解码按钮即可
阅读更多...
如何查看特定版本的Spring源码

如何查看特定版本的Spring源码

写在前面&#xff1a;大家好&#xff01;我是晴空๓。如果博客中有不足或者的错误的地方欢迎在评论区或者私信我指正&#xff0c;感谢大家的不吝赐教。我的唯一博客更新地址是&#xff1a;https://ac-fun.blog.csdn.net/。非常感谢大家的支持。一起加油&#xff0c;冲鸭&#x…
阅读更多...
安全规约、脱敏规范、敏感逻辑的保护方案、防止 SQL 注入

安全规约、脱敏规范、敏感逻辑的保护方案、防止 SQL 注入

文章目录 I 强制性安全规约对于文件上传功能，需要对于文件大小、类型进行严格检查和控制。平台资源的防重放机制URL 外部重定向传入的目标地址必须执行白名单过滤。表单、AJAX 提交必须执行 CSRF 安全验证。禁止向 HTML 页面输出未经安全过滤或未正确转义的用户数据。用户请求…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023