Docker ELK 监控日志(附yml)

news2024/11/25 11:50:25

目录

一  安装docker-commpose

二  编写yml文件

2.1 docker配置文件

2.2 filebeat配置文件

2.3  kibana配置文件

三 运行启动

四  打开kibana


一  安装docker-commpose

可以看我之前的docker文章

二  编写yml文件

2.1 docker配置文件

使用的7.17.9版本 ,请保持保证版本一至,ES8.X以上版本需要验证,配置不相同,如需要可以需要添加验证

  •  创建es01 es02 filebeat  kibana 容器
version: '2.2'
services:
  es01:
    image: elasticsearch:7.17.9
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
    restart: always
  es02:
     image: elasticsearch:7.17.9
     container_name: es02
     environment:
       - node.name=es02
       - cluster.name=es-docker-cluster
       - discovery.seed_hosts=es01,es03
       - cluster.initial_master_nodes=es01,es02,es03
       - bootstrap.memory_lock=true
       - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
     ulimits:
       memlock:
         soft: -1
         hard: -1
     volumes:
       - data02:/usr/share/elasticsearch/data
     networks:
       - elastic
     restart: always

 
  kibana:
    depends_on:
      - es01
    container_name: kibana
    image: kibana:7.17.9
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /root/docker-elk/kibana.yml:/usr/share/kibana/config/kibana.yml
      - data02:/usr/share/kibana/data
    ports:
      - 5601:5601
    environment:
      - SERVER_NAME=kibana
#     - ELASTICSEARCH_HOSTS= '["http://es01:9200","http://es02:9200","http://es03:9200"]'
#     - xpack.monitoring.ui.container.elasticsearch.enabled:true
    networks:
      - elastic
    mem_limit: 2G
    restart: always

  filebeat:
#    depends_on:
#      - es01
#      - es02
#      - es03
    image: filebeat:7.17.9
    user: root
    container_name: filebeat
    volumes:
      - /var/log/audit/audit.log:/message.log
      - /root/docker-elk/filebeat.yml:/usr/share/filebeat/filebeat.yml
    networks:
      - elastic
 
    restart: always
volumes:
  data01:
    driver: local
  data02:
    driver: local

networks:
  elastic:
    driver: bridge

2.2 filebeat配置文件

filebeat.inputs:
- type: filestream
  id: my-audit-id
  paths:
    - /message.log  
##与docker文件中需要监控的日志对应
  tags: ["audia"]
  include_lines: ['key="ko"', 'type=CWD', 'type=PATH'] 
##只选择有type=CWD ...  的文件

output.elasticsearch:
  hosts: ["es01:9200","es02:9200"]
  indices:
    - index: "Audit-%{+yyy.MM.dd}"
      when.contains:
        tags: "audia"
#设置索引名称
setup.template.name: "audit-yingji"
##设置索引匹配模式
setup.template.pattern: "audit-yingji*"
##警用索引生命周期管理
setup.ilm.enabled: false
##覆盖已有的索引模板
setup.template.overwrite: false
setup.template.settings:
 index.number_of_shards:  2
 index.number_of_replicas:  1

2.3  kibana配置文件

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
elasticsearch.hosts: ["http://es01:9200"]
monitoring.ui.container.elasticsearch.enabled: true
#il8n.locale: "zh-CN"
i18n.locale: "zh-CN" ##设置中文

三 运行启动

docker—commpose up -d 
##我是启动后 es01 和 es02 一直重启  查看容器日志
docker logs es01

ES启动时出现异常报错:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

#修改文件

vim /etc/sysctl.conf

#添加参数

...

vm.max_map_count = 262144

#重新加载/etc/sysctl.conf配置

sysctl -p 立即生效

四  打开kibana

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/519740.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

linux 下 ps、sort、top 命令详解

1、 ps命令 作用:查看系统进程,比如正在运行的进程有哪些,什么时候开始运行的,哪个用户运行的,占用了多少资源。 参数: -e 显示所有进程 -f 显示所有字段(UID,PPIP,C…

Redis学习——单机版安装

目录 1.解压 2.安装gcc 3.执行make命令 4.复制redis的配置文件到默认安装目录下 5.修改redis.conf文件 6.启动redis服务与客户端 7.查看redis进行是否启动 8.关闭redis服务 9.redis性能测试 注意:安装redis前要安装jdk。 1.解压 [rootlxm148 install]# t…

ubuntu卷积神经网络——图片数据集的制作以及制作好的数据集的使用

首先我事先准备好五分类的图片放在对应的文件夹,图片资源在我的gitee文件夹中链接如下:文件管理: 用于存各种数据https://gitee.com/xiaoxiaotai/file-management.git 里面有imgs目录和npy目录,imgs就是存放5分类的图片的目录,里面…

Lesson14 高级IO

前言 IO 等待 数据拷贝,比如read/recv,write/send只要在单位事件里,让等的比重减低,IO的效率就越高 五种IO模型 钓鱼小案例 阻塞式 阻塞式: 张三拿着一根鱼竿,一直在岸边钓鱼,期间一直盯着鱼竿,等待鱼上钩 非阻塞式轮询式 非阻塞式轮询式: 李四拿着一根鱼竿,在岸边钓鱼,期…

Weblogic RCE合集

文章目录 CVE-2023-21839(T3/IIOP JNDI注入)前言漏洞简单分析漏洞复现防护措施 CVE-2020-2551(RMI-IIOP RCE)漏洞简单分析漏洞复现防护措施 CVE-2017-3506(wls-wsat组件XMLDecoder反序列化漏洞)漏洞简单分析漏洞复现防护措施 CVE-2020-14882&CVE-2020-14883漏洞简单分析 CV…

2023.05.11 c高级 day3

编写一个名为myfirstshell.sh的脚本,它包括以下内容。 包含一段注释,列出您的姓名、脚本的名称和编写这个脚本的目的和当前用户说“hello 用户名”显示您的机器名 hostname显示上一级目录中的所有文件的列表显示变量PATH和HOME的值显示磁盘使用情况用id命…

算法修炼之练气篇——练气十五层

博主:命运之光 专栏:算法修炼之练气篇 前言:每天练习五道题,炼气篇大概会练习200道题左右,题目有C语言网上的题,也有洛谷上面的题,题目简单适合新手入门。(代码都是命运之光自己写的…

来领略一下带头双向循环链表的风采吧

🍉 博客主页:阿博历练记 📖文章专栏:数据结构与算法 🚍代码仓库:阿博编程日记 🌹欢迎关注:欢迎友友们点赞收藏关注哦 文章目录 🍄前言🍼双向循环链表&#x1…

Qt使用星空图作为窗口背景,点击键盘的WASD控制小飞机在上面移动。

事件函数的使用依托于Qt的事件机制,一个来自于外部事件的传递机制模型如下所示 信号槽虽然好用,但是无法包含所有的情况,事件函数可以起到对信号槽无法覆盖的一些时机进行补充,事件函数的使用无需连接。 常用的事件函数如下所示。…

设计模式5—抽象工厂模式

5.抽象工厂模式 概念 抽象工厂模式:提供一个创建一系列相关或相互依赖对象的接口,而无须指定他们具体的类。抽象工厂又称为Kit模式,属于对象创建型模式。 抽象工厂可以将统一产品族的单独工厂封装起来,在正常使用中&#xff0c…

计算机网络笔记——网络层、传输层、应用层(方老师408课程)(持续更新)

文章目录 前言网络层网络层提供的两种服务网际协议——IP虚拟互联网络IP数据报格式逐一理解整体理解IP数据报分片与长度精算 IP地址IP地址概述分类的IP地址——ABCDE分类IP的子网划分不分类的IP地址——CIDRIP地址总结 IP分组的转发网际控制报文协议——ICMP下一代网络协议——…

我用 ChatGPT 干的 18 件事!【人工智能中文站创始人:mydear麦田访谈】

新建了一个网站 https://ai.weoknow.com/ 每天给大家更新可用的国内可用chatGPT 你确定你可以使用ChatGPT吗? 今天我整理了18种ChatGPT的使用方法,让大家看看你可以使用哪些。 1.语法修正 2.文本翻译 3.语言转换 4.代码解释 5.修复代码错误 6.作为百科…

初识HTML的基础知识点!!!

初识HTML!!! 一、系统构架 1.B/S构架 (1)B/S构架(Browser / Server) 就是(浏览器/服务器的交互形式) Browser支持HTML、CSS、JavaScript (2)优缺点 优点…

UI--基本组件

目录 1. Designer 设计师 2. Layout 布局 3. 基本组件 3.1 QWidget 3.2 ui指针 3.3 QLabel 标签(掌握) 示例代码: dialog.h dialog.cpp 3.4 QAbstractButton 按钮类(掌握) 示例代码: dialog.ui dialog.h di…

【MyBaits】SpringBoot整合MyBatis之动态SQL

目录 一、背景 二、if标签 三、trim标签 四、where标签 五、set标签 六、foreach标签 一、背景 如果我们要执行的SQL语句中不确定有哪些参数,此时我们如果使用传统的就必须列举所有的可能通过判断分支来解决这种问题,显示这是十分繁琐的。在Spring…

linux查看服务端口号、查看端口(netstat、lsof)以及PID对应服务

linux查看服务端口号、查看端口(netstat、lsof) netstat - atulnp会显示所有端口和所有对应的程序,用grep管道可以过滤出想要的字段 -a :all,表示列出所有的连接,服务监听,Socket资料 -t &…

说服审稿人,只需牢记这 8 大返修套路!

本文作者:雁门飞雪 如果说科研是一场修炼,那么学术界就是江湖,投稿就是作者与审稿人或编辑之间的高手博弈。 在这一轮轮的对决中,有时靠的是实力,有时靠的是技巧,然而只有实力和技巧双加持的作者才能长久立…

Qt--项目打包

项目打包 一款正常的软件产品应该在任何的计算机中运行,不需要单独安装Qt的开发环境,因此需要把之前的项目打包成一个安装包。 1. 设置应用图标 设置应用程序图标的操作步骤如下所示。 1. 下载一个图标图片,格式要求png。(png包含…

学习Python的day.13

输入和输出 一、输入 标准输入:从键盘输入 input(promptNone) # prompt: 输入的提示符,可以为空 Read a string from standard input --- 译为:从标准输入读入一个字符串,输入读取的一定是字符串,返回值就是一个字符串 那我们…

基于知识图谱的个性化学习资源推荐系统的设计与实现(论文+源码)_kaic

摘 要 最近几年来,伴随着教育信息化、个性化教育和K12之类的新观念提出,一如既往的教育方法向信息化智能化的转变,学生群体都对这种不受时间和地点约束的学习方式有浓厚的兴趣。而现在市面上存在的推荐系统给学生推荐资料时不符合学生个人对知识获取的…