基于Docker搭建ELK

news2024/11/26 16:47:43

目录

1.系统操作

2.搭建es

3.kibana(新起终端跟es一起启动)

4.logstash(新起终端和es一起启动)

5.修改logstash配置文件

6. 创建索引

7. exit   #退出容器

8. 在logstash节点插入数据,测试是否能拿取到(下面如果本身有数据就不需要创建目录了)

9.配置索引,索引模式创建

10.在discover中查看日志


1.系统操作

前置操作就不说了,像关闭防火墙啊,关闭selinux啊,开放端口啊这写

2.搭建es

即docker run --restart=always -d --name es -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node" -v /aaa/bbb/:/usr/share/elasticsearch/data -v /u01/ezone/elk-es-plugins:/usr/share/elasticsearch/plugins --privileged --network elk-net -p 9200:9200 -p 9300:9300 elasticsearch:7.12.1 && chmod 777 /u01/ezone/elk-es-data

注意:/aaa/bbb:/usr/share/elasticsearch/data  :前为将es中的数据存放的目录,一般写在数据盘中  :后面为容器中存在的路

3.kibana(新起终端跟es一起启动)

docker run --restart=always -d --name kibana -e ELASTICSEARCH_HOSTS=http://es:9200 -e "I18N_LOCALE=zh-CN" --network=elk-net -p 5601:5601  kibana:7.12.1

4.logstash(新起终端和es一起启动)

注意:logstash需要每个节点都搭,因为它是收集日志的服务

即 docker run --restart=always -d -p 5044:5044 -p 9600:9600 \

  -v /var/log/containers:/var/log/containers \

  -v /var/log/pods:/var/log/pods \

  -v /storage/docker/containers:/storage/docker/containers \

  --name logstash logstash:7.12.1

用chmod -R递归修改目录的权限,改为777否则容器中读取不了数据

注意: /var/log/containers:/var/log/containers :前面的为本地目录位置,后面为系统目录位置 这里是没有创建网络  如果前面创建了后面要跟上网络的名字

5.修改logstash配置文件

docker exec -it  $(docker ps|awk '$2~/logst/{print$1}') /bin/bash

#修改logstash容器中的文件

vi /usr/share/logstash/config/logstash.yml

http.host: "0.0.0.0"

xpack.monitoring.elasticsearch.hosts: [ "http://192.168.1.1:9200" ]

#上面192.168.1.1为es节点的ip,下面的配置文件也同理

6. 创建索引

##索引需要根据自己的需求设计  不会的话可以去搜一个模板

7. exit   #退出容器

docker restart logstash  #重启logstash容器

#重启完成后,访问kibana

网页输入  ip:5601        如: 192.168.1.1:5601

8. 在logstash节点插入数据,测试是否能拿取到(下面如果本身有数据就不需要创建目录了)

mkdir -p  /data/ezone/ezpipeline/logs/resource-manager-1/

echo "$(date) hello world">> /data/ezone/ezpipeline/logs/resource-manager-1/scheduler-manager.log

9.配置索引,索引模式创建

10.在discover中查看日志

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1962256.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

前端如何实现更换项目主题色的功能?

1、场景 有一个换主题色的功能,如下图: 切换颜色后,将对页面所有部分的色值进行重新设置,符合最新的主题色。 2、实现思路 因为色值比较灵活,可以任意选取,所以最好的实现方式是,根据设置的…

springboot文献检索系统-计算机毕业设计源码48521

摘要 文献检索系统主要功能模块包括用户管理、公告信息、新闻资讯、文献信息等,采取面对对象的开发模式进行软件的开发和硬体的架设,能很好的满足实际使用的需求,完善了对应的软体架设以及程序编码的工作,采取MySQL作为后台数据的…

[Git场景]常用工作场景演练

场景1:开发到一半的代码,还没提交,git拉下 对方的代码,但是其中有一个 commit 不想要怎么做 在 Git 中,如果你想拉取远程分支的代码,但不想要某个特定的提交,可以使用以下方法来解决: 方法1&a…

【Python】pandas:排序、重复值、缺省值处理、合并、分组

pandas是Python的扩展库(第三方库),为Python编程语言提供 高性能、易于使用的数据结构和数据分析工具。 pandas官方文档:User Guide — pandas 2.2.2 documentation (pydata.org) 帮助:可使用help(...)查看函数说明文…

Linux基于centOS7 【进度条】【Git】【gdb】学习

目录 进度条 进度条的前置准备 sleep (秒)& usleep(微秒) sleep加\n和不加\n的区别 IO函数的缓冲区 回车&换行 10秒倒计时 进度条编写 git的使用 为什么要有git(git版本控制器) git的主要…

外卖项目day10---缓存商品/Spring Cache初学、购物车功能

缓存菜品,只需要在DishController中修改一下代码即可 /*** 菜品管理*/ RestController RequestMapping("/admin/dish") Api(tags "菜品相关接口") Slf4j public class DishController {Autowiredprivate DishService dishService;Autowiredpri…

【排序算法】Java实现三大非比较排序:计数排序、桶排序、基数排序

非比较排序概念 非比较排序是一种排序算法,它不通过比较元素之间的大小关系来进行排序,而是基于元素的特征或属性进行排序。这种方法在特定情况下可以比比较排序方法(如快速排序、归并排序等)更有效率,尤其是在处理大…

时间序列分析方法之 -- 长短期记忆网络(LSTM)原理及Python代码示例

目录 原理 适用情况 Python示例代码 结论 原理 长短期记忆网络(LSTM,Long Short-Term Memory Networks)是一种特殊的递归神经网络(RNN),设计用于克服传统RNN在处理长序列数据时的梯度消失和梯度爆炸问…

如何在基于滤波框架的绝对定位系统中融合相对观测

文章目录 1 LIO、VIO propagation来代替IMU propagation2 TRO paper: Stochastic Cloning Kalman filter【有待填坑】 以无人驾驶定位系统为例,融合gnss,imu,轮速,camera LaneMatch(frame to map),lidar scan match(fr…

Qgis 插件升级:3.28到3.34

1、下载 osgeo4w-setup 安装包 下载 获取 osgeo4w-setup.exe 的安装软件,每次下一步就可以了,安装位置可以自己调整 osgeo4w:https://download.osgeo.org/osgeo4w/osgeo4w-setup.exe 2、安装3.34 开发包 搜索qigs,将 desktop,…

开始使用OKR创建注重结果的文化

亚马逊对客户很痴迷。Facebook 行动迅速。成功企业的文化是传说中的东西,而且是正确的。正如管理顾问的名言:文化把战略当早餐吃。 无论行业或规模如何,文化的主要目标是激发企业获胜所需的行为。越来越多的成功要求企业关注结果而非任务&am…

Kafka的入门及简单使用

文章目录 前言一、Kafka 的基本架构?1. Producer(生产者)2. Broker(代理/服务器)3. Consumer(消费者)4. Consumer Group(消费者组)5. Topic(主题)…

docker前端部署

挂载,把自己的目录位置,挂载到容器内的HTML

万亿赛道!AI 大模型典型应用深度分析 2024

大模型由于其强大的自然语言与多模态信息处理能力,可以应对不同语义粒度下的任务,进行复杂的逻辑推理,还具有超强的迁移学习和少样本学习能力, 可以快速掌握新的任务, 实现对不同领域、不同数据模式的适配,这些特点使得大模型较容易的赋能其他…

吴恩达机器学习C1W2Lab05-使用Scikit-Learn进行线性回归

前言 有一个开源的、商业上可用的机器学习工具包,叫做scikit-learn。这个工具包包含了你将在本课程中使用的许多算法的实现。 目标 在本实验中,你将: 利用scikit-learn实现使用梯度下降的线性回归 工具 您将使用scikit-learn中的函数以及matplotli…

付费进群系统源码原版最新修复全开源版

付费进群,和平时所见到的别人拉你进群是不一样的,付费进群需要先缴费以后,才会看到群的二维码,扫码进群或者是长按二维码图片识别进群,付费进群这个功能广泛应用于拼多多的砍价群,活动的助力群,…

Chapter 21 深入理解JSON

欢迎大家订阅【Python从入门到精通】专栏,一起探索Python的无限可能! 文章目录 前言一、JSON数据格式1. 什么是JSON?2. JSON数据的格式 二、JSON格式数据转化三、格式化JSON数据的在线工具 前言 在当今数据驱动的世界中,JSON&…

【大模型系列篇】Vanna-ai基于检索增强(RAG)的sql生成框架

简介 Vanna是基于检索增强(RAG)的sql生成框架 Vanna 使用一种称为 LLM(大型语言模型)的生成式人工智能。简而言之,这些模型是在大量数据(包括一堆在线可用的 SQL 查询)上进行训练的,并通过预测响应提示中最…

中间件安全:Nginx 解析漏洞测试.

中间件安全:Nginx 解析漏洞测试. Nginx 是一个高性能的 HTTP和 反向代理服务器,Nginx 解析漏洞是一个由于配置不当导致的安全问题,它不依赖于Nginx或PHP的特定版本,而是由于用户配置错误造成的。这个漏洞允许攻击者上传看似无害的…

通俗易懂,车载显示屏简单介绍!

2024年后,小汽车产量的年增长率预计将在1%至3%之间 2023年在COVID完全解封后,全球汽车销售数量提升至8千8百万台车。2024预估微幅增加到 9000万辆, 自2024起,年成长率预期将放缓至3%以下。全球汽车主要销售前三大市场 (比较2022年…