docker compose部署ELK

news2024/11/25 8:16:24

1、准备下载相关镜像

docker pull logstash:7.6.2
docker pull kibana:7.6.2
docker pull elasticsearch:7.6.2
docker pull elastic/filebeat:7.6.2

2、创建相关文件夹

新建文件夹使用命令：mkdir /opt/docker_elk

在/opt/docker_elk/elasticsearch新建plugins和data文件夹

设置目录/opt/docker_elk/filebeat/logs和拷贝相关日志文件smartbuilding-service.log

 3、设置相关配置文件

/opt/docker_elk/logstash/logstash.conf

input {
    beats {
       port => 5044
    }
}

filter {
    grok {
        pattern_definitions => {
            "QUALIFIED" => "[a-zA-Z0-9$_.]+"
        }

        match => {
            "message" => "%{TIMESTAMP_ISO8601:logdate}%{SPACE}\[%{USERNAME:logthread}\]%{SPACE}%{WORD:loglevel}%{SPACE}%{QUALIFIED:logclass:text}%{SPACE}-%{SPACE}%{GREEDYDATA:logmsg:text}"

        }

    }
}


output {
    elasticsearch {
        hosts =>["elasticsearch:9200"]
        index => "cloud"
        template => "/etc/logstash/template.json"
        template_name => "logstash"
    }

}

/opt/docker_elk/logstash/template.json

{
  "template": "logstash-*",
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "properties": {
      "logclass": {
        "type": "text"
      },
      "logdate": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss.SSS"
      },
      "loglevel": {
        "type": "keyword"
      },
      "logthread": {
        "type": "keyword"
      },
      "logmsg": {
        "type": "text"
      }
    }
  }
}

/opt/docker_elk/docker-compose.yml

version: '3.7'
services:
  elasticsearch:
    image: elasticsearch:7.6.2
    container_name: elasticsearch
    privileged: true
    user: root
    environment:
      #设置集群名称为elasticsearch
      - cluster.name=elasticsearch 
      #以单一节点模式启动
      - discovery.type=single-node 
      #设置使用jvm内存大小
      - ES_JAVA_OPTS=-Xms512m -Xmx512m 
    volumes:
      - /opt/docker_elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - /opt/docker_elk/elasticsearch/data:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
      - 9300:9300

  logstash:
    image: logstash:7.6.2
    restart: always
    container_name: logstash
    volumes:
      - /opt/docker_elk/logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
      - /opt/docker_elk/logstash/template.json:/etc/logstash/template.json
    ports:
      - "5044:5044"
      - "9600:9600"
    environment:
      LS_JAVA_OPTS: "-Xms512m -Xmx512m"
    depends_on:
      - elasticsearch


  filebeat:
    image: elastic/filebeat:7.6.2
    restart: always
    container_name: filebeat
    volumes:
      - /opt/docker_elk/filebeat/logs:/var/log/filebeat/logs
    depends_on:
      - elasticsearch
      - kibana

  kibana:
    image: kibana:7.6.2
    container_name: kibana
    ports:
        - 5601:5601
    privileged: true
    depends_on:
      - elasticsearch 
    environment:
      #设置访问elasticsearch的地址
      - elasticsearch_url=elasricsearch:9200

4、启动docker compose

#启动
docker compose -f docker-compose.yml up
#停止
docker compose -f docker-compose.yml down

5、拷贝已经启动好的docker服务配置文件出来

注意：相关的容器id，可使用docker ps 查看

docker cp 9fc815e4334c:/usr/share/elasticsearch/config/elasticsearch.yml /opt/docker_elk/elasticsearch/config

docker cp ce9c723fecfb:/usr/share/kibana/config/kibana.yml /opt/docker_elk/kibana/config

docker cp f30b56380f92:/usr/share/logstash/config/logstash.yml /opt/docker_elk/logstash/pipeline

6、编辑拷贝出来的配置文件elasticsearch.yml

cluster.name: "docker-cluster"
network.host: 0.0.0.0
#http.cors.enabled: true #跨域配置
#http.cors.allow-origin: "*"
xpack.security.enabled: true  #开启密码配置

7、修改docker compose文件的elasticsearch服务

  - /opt/docker_elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml

重启docker 相关服务

8、进入docker容器，开启账号密码认证模式

#进入es容器设置账号密码登录
docker exec -it elasticsearch /bin/bash 
#执行设置：elastic、apm_system、kibana_system、logstash_system、beats_system、remote_monitoring_user共6个用户账号密码
./bin/elasticsearch-setup-passwords interactive -u 'http://192.168.0.132:9200'
#退出容器

 9、修改配置文件kibana.yml

/opt/docker_elk/kibana/config

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
i18n.locale: "zh-CN"  #汉化
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
#elasticsearch.username: "kibana_system" #注意不能用elastic超管账号登录
elasticsearch.username: "elastic" 
elasticsearch.password: "填写你设置的密码"

10、设置logstash.yml

/opt/docker_elk/logstash/pipeline

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]
xpack.monitoring.elasticsearch.username: "elastic"
xpack.monitoring.elasticsearch.password: "你设置的密码"

修改/opt/docker_elk/logstash/logstash.conf文件增加用户和密码

input {
    beats {
       port => 5044
    }
}

filter {
    grok {
        pattern_definitions => {
            "QUALIFIED" => "[a-zA-Z0-9$_.]+"
        }

        match => {
            "message" => "%{TIMESTAMP_ISO8601:logdate}%{SPACE}\[%{USERNAME:logthread}\]%{SPACE}%{WORD:loglevel}%{SPACE}%{QUALIFIED:logclass:text}%{SPACE}-%{SPACE}%{GREEDYDATA:logmsg:text}"

        }

    }
}


output {
    elasticsearch {
        hosts =>["elasticsearch:9200"]
        index => "cloud"
        template => "/etc/logstash/template.json"
        template_name => "logstash"
        user => "elastic"
        password => "你设置的密码"
    }

}

11、重新配置docker compose配置文件

version: '3.7'
services:
  elasticsearch:
    image: elasticsearch:7.6.2
    container_name: elasticsearch
    privileged: true
    user: root
    environment:
      #设置集群名称为elasticsearch
      - cluster.name=elasticsearch 
      #以单一节点模式启动
      - discovery.type=single-node 
      #设置使用jvm内存大小
      - ES_JAVA_OPTS=-Xms512m -Xmx512m 
    volumes:
      - /opt/docker_elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - /opt/docker_elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /opt/docker_elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

  logstash:
    image: logstash:7.6.2
    restart: always
    container_name: logstash
    volumes:
      - /opt/docker_elk/logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
      - /opt/docker_elk/logstash/pipeline/logstash.yml:/usr/share/logstash/config/logstash.yml
      - /opt/docker_elk/logstash/template.json:/etc/logstash/template.json
    ports:
      - "5044:5044"
      - "9600:9600"
    environment:
      LS_JAVA_OPTS: "-Xms512m -Xmx512m"
    depends_on:
      - elasticsearch


  filebeat:
    image: elastic/filebeat:7.6.2
    restart: always
    container_name: filebeat
    volumes:
      - /opt/docker_elk/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml
      - /opt/docker_elk/filebeat/logs:/var/log/filebeat/logs
    depends_on:
      - elasticsearch
      - kibana

  kibana:
    image: kibana:7.6.2
    container_name: kibana
    ports:
        - 5601:5601
    privileged: true
    depends_on:
      - elasticsearch 
    environment:
      #设置访问elasticsearch的地址
      - elasticsearch_url=elasricsearch:9200 
    volumes:
      - /opt/docker_elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml

重启docker服务后，就可正常使用ELK进行设置了

12、进入kibana

http://192.168.0.132

账号：elastic

密码：你设置的密码

 

 

查看日志

 

 其他问题：

启动后，可能会发现elasticsearch状态显示yellow

 

curl -XPUT "http://192.168.0.132:9200/_settings" -H 'Content-Type: application/json' -d'
{
    "index" : {
        "number_of_replicas" : 0
    }
}'

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/596374.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

chatgpt赋能python：Python代码怎么用？一个10年编程经验工程师的实践总结

chatgpt赋能python：Python代码怎么用？一个10年编程经验工程师的实践总结

Python代码怎么用？一个10年编程经验工程师的实践总结 如果你正在学习Python或已经是一名Python开发者，你需要知道如何正确地使用Python代码以实现项目需求。在本文中，我将分享我的10年Python编程经验，并介绍一些关于如何使用Pyth…
阅读更多...
零基础认识java-后端 项目结构搭建、目录概况

零基础认识java-后端 项目结构搭建、目录概况

后端项目构建 1、创建数据库表 2、创建项目 打开 idea，新建一个项目，在 new 一个新项目的时候，选择 Spring Initializr，在选择项目依赖的时候勾选 web下的 Spring Web Starter 和 SQL下的 MySQL Driver 和 MyBatis Framework &am…
阅读更多...
Prop type `object` is forbidden

Prop type `object` is forbidden

这种错一般是ESLint的配置的规则 项目里搜一下react/forbid-prop-types 可以看到把any和object禁用了，根据需要删除object即可
阅读更多...
2023 CCF-百度松果基金正式启动申报！大语言模型、AIGC等热点课题首次公布

2023 CCF-百度松果基金正式启动申报！大语言模型、AIGC等热点课题首次公布

5 月 31 日，2023 年 CCF-百度松果基金（简称“松果基金”）正式启动申报，面向全球高校及科研院所青年学者开放，入选项目将获得松果基金百万课题基金及千万级支持与服务。申报截至 2023 年 7 月 10 日。 本届松果基金共设…
阅读更多...
Nginx通过用户IP获取所在国家及地理位置

Nginx通过用户IP获取所在国家及地理位置

文章目录 前言一、GeoLite2-Country是什么？二、使用步骤2.1 下载GeoLite2-Country数据库文件，并导入Nginx2.2 配置Nginx模块2.3 使用变量来获取国家信息2.4 验证配置 总结 前言 Nginx是一款高性能、轻量级的Web服务器和反向代理服务器。它最初设计目的是…
阅读更多...
JavaScript了解unshift，push在头部尾部添加元素的代码

JavaScript了解unshift，push在头部尾部添加元素的代码

以下为JavaScript了解unshift，push在头部尾部添加元素的程序代码和运行截图 目录 前言 一、unshift在头部添加元素 1.1 运行流程及思想 1.2 代码段 1.3 JavaScript语句代码 1.4 运行截图 二、push在尾部添加元素 2.1 运行流程及思想 2.2 代码段 2.3 JavaS…
阅读更多...
Javascript 俄罗斯方块 游戏代码

Javascript 俄罗斯方块 游戏代码

本俄罗斯方块代码采用 JavaScript 脚本代码写成，简单易懂； 全代码采用静态类及静态变量成员组成； 全脚本通过实现代码全局配置 OLSFK.Options {...} 定义方块起始坐标及定义各自的旋转点； 从初始化俄罗斯方块界面开始&#x…
阅读更多...
【C++】指针 - 定义和使用，所占内存空间，空指针，野指针，const 修饰指针，指针和数组，指针和函数

【C++】指针 - 定义和使用，所占内存空间，空指针，野指针，const 修饰指针，指针和数组，指针和函数

文章目录 1. 定义和使用2. 所占内存空间3. 空指针4. 野指针5. const 修饰指针6. 指针和数组7. 指针和函数 1. 定义和使用 数据类型 * 变量名; 指针的作用是，可以通过指针间接访问内存。 内存编号是从 0 开始记录的，一般用十六进制数字表示。可以利用指…
阅读更多...
关于如何用好线程池的一些建议

关于如何用好线程池的一些建议

文章目录 1. 线程的使用场景2. 线程池创建3. 参数的配置建议常见的拒绝策略其他的拒绝策略 4. 线程池的任务处理流程5. 线程的状态6. 线程池的监控 1. 线程的使用场景 异步任务 简单来说就是某些不需要同步返回业务处理结果的场景，比如：短信、邮件等通…
阅读更多...
一款IP渗透小工具

一款IP渗透小工具

MoreFind 一款用于快速导出URL、Domain和IP的小工具 快速安装 方式一: 通过Go包管理安装 go install github.com/mstxq17/MoreFindlatest 方式二: 直接安装二进制文件 wget --no-check-certificate https://ghproxy.com/https://github.com/mstxq17/MoreFind/releases/…
阅读更多...
软件测评师2012年下半年考试真题

软件测评师2012年下半年考试真题

基础知识： 解析：死锁就是运行不下去了，但是这里它说资源是同类型的，也就是说，我多出来的一个资源（11个资源5个进程，每个进程分配2个）给其中一个进程之后，运行完了资源释放…
阅读更多...
【源码篇】基于SpringBoot+thymeleaf实现的图书管理系统

【源码篇】基于SpringBoot+thymeleaf实现的图书管理系统

系统介绍 基于SpringBootthymeleaf实现的图书管理系统分为管理员、读者两个登录角色，一共是8个功能模块 管理员权限 图书管理： 添加图书：书名、作者、出版社、ISBM、简介、价格、出版日期、分类、数量查询图书：根据书名或分类…
阅读更多...
Tomcat发布成服务

Tomcat发布成服务

一、配置服务 1.配置bin目录下的service.bat（用于生成新服务） 配置内容： rem Tomcat解压根目录 set CATALINA_HOMED:\apache-tomcat-7.0.55-8080 rem 服务显示名称（服务中对外显示的名称） set PR_DISPLAYNAMEapache…
阅读更多...
ChunJun FTP Connector 功能扩展解读

ChunJun FTP Connector 功能扩展解读

本文将从 FTP Connector 的功能详解，自定义文件切割及自定义 FileFormat 三个方面为大家带来 ChunJun FTP Connector 的功能扩展分享。 FTP Connector 详解 FTP 是用于在网络上进行文件传输的一套标准协议，它工作在 OSI 模型的第七层， TCP …
阅读更多...
从0到1搭建自己的脚手架（java后端） | 京东云技术团队

从0到1搭建自己的脚手架（java后端） | 京东云技术团队

一、脚手架是什么 脚手架是一种基础设施工具，用于快速生成项目的框架代码和文件结构。它是一种标准化的开发工具，使开发人员能够在项目的早期阶段快速搭建出一个具备基本功能和结构的系统。 二、脚手架的意义 主流的微服务架构体系下很多公司会将原有…
阅读更多...
HarmonyOS/OpenHarmony应用开发-ArkTS语言基本语法说明

HarmonyOS/OpenHarmony应用开发-ArkTS语言基本语法说明

以一个具体的示例来说明ArkTS的基本组成。如下图所示，当开发者点击按钮时，文本内容从“Hello World”变为“Hello ArkUI”。 图1 示例效果图 本示例中，ArkTS的基本组成如下所示。 图2 ArkTS的基本组成 装饰器： 用于装饰类、结构…
阅读更多...
impala中group_concat()函数无法对内容进行order by

impala中group_concat()函数无法对内容进行order by

描述： 使用的是impala数据库，假设有四笔数据，是无序的，业务上要求将其行转列成一行数据，并且里面的数据要按从小到大排序。 过程： 猜测： 数据库Oracle、Mysql、MSsql等支持group_concat中使…
阅读更多...
依赖倒置原则：高层代码和底层代码，到底谁该依赖谁？

依赖倒置原则：高层代码和底层代码，到底谁该依赖谁？

前言 上一篇，我们讲了 ISP 原则，知道了在设计接口的时候，我们应该设计小接口，不应该让使用者依赖于用不到的方法。 依赖这个词，程序员们都好理解，意思就是，我这段代码用到了谁，我就…
阅读更多...
签名支持全球管控AI 三巨头侧漏“求生欲”

签名支持全球管控AI 三巨头侧漏“求生欲”

又一封“群星云集”警示AI风险的公开信来了，这封信的内容简短但措辞炸裂：减轻 AI 带来的灭绝风险，应该与管控流行病和核战争等其他社会级规模的风险一样，成为一项全球优先事项。 5月30日，这纸原文只有22个单词的声明&…
阅读更多...
核心交换机的四种关键技术：链路聚合、冗余、堆叠和热备份，真简单！

核心交换机的四种关键技术：链路聚合、冗余、堆叠和热备份，真简单！

你好，这里是网络技术联盟站。 当涉及到核心交换机的关键技术，如链路聚合、冗余、堆叠和热备份时，下面更详细地介绍每个技术的工作原理和优势。 1. 链路聚合 链路聚合是一种技术，用于将多个物理链路组合成一个逻辑链路&#xff0…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023