ELK企业级日志分析平台——ES集群监控

news2025/1/16 3:33:56

启用xpack认证

官网：https://www.elastic.co/guide/en/elasticsearch/reference/7.6/configuring-tls.html#node-certificates

在elk1上生成证书

[root@elk1 ~]# cd /usr/share/elasticsearch/

[root@elk1 elasticsearch]# bin/elasticsearch-certutil ca

[root@elk1 elasticsearch]# bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

[root@elk1 elasticsearch]# cp elastic-certificates.p12 /etc/elasticsearch

[root@elk1 elasticsearch]# cd /etc/elasticsearch/

[root@elk1 elasticsearch]# chown elasticsearch elastic-certificates.p12
[root@elk1 elasticsearch]# vim elasticsearch.yml

...
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12


[root@elk1 elasticsearch]# systemctl  restart elasticsearch.service

拷贝证书到其它集群节点

[root@elk1 elasticsearch]# scp elastic-certificates.p12 server2:/etc/elasticsearch/

[root@elk1 elasticsearch]# scp elastic-certificates.p12 server3:/etc/elasticsearch/

elk2配置

[root@elk2 ~]# chown elasticsearch /etc/elasticsearch/elastic-certificates.p12

[root@elk2 ~]# vim /etc/elasticsearch/elasticsearch.yml

...
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12

[root@elk2 ~]# systemctl  restart elasticsearch.service

elk3配置

[root@elk3 ~]# chown elasticsearch /etc/elasticsearch/elastic-certificates.p12

[root@elk3 ~]# vim /etc/elasticsearch/elasticsearch.yml

...
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12

[root@elk3 ~]# systemctl  restart elasticsearch.service

等待所有集群节点重启成功后，设置认证账户密码

[root@elk1 elasticsearch]# cd /usr/share/elasticsearch/

[root@elk1 elasticsearch]# bin/elasticsearch-setup-passwords interactive

交互式输入密码

ES启用xpack之后，其它服务都需要配置认证

elasticsearch-head插件

head插件在访问时，需要在url中输入用户和密码

[root@k8s1 ~]# cd elasticsearch-head-master/

[root@k8s1 elasticsearch-head-master]# npm run start &

访问:192.168.92.11:9100/?auth_user=elastic&auth_password=westos

cerebro插件

cerebro访问：

[root@k8s1 ~]# docker start cerebro

访问：192.168.92.11:9000

​

kibana访问

[root@elk5 kibana]# vim kibana.yml
...
elasticsearch.username: "kibana"
elasticsearch.password: "westos"

[root@elk5 kibana]# systemctl  restart kibana.service

​

metricbeat监控

官网：https://www.elastic.co/guide/en/elasticsearch/reference/7.6/configuring-metricbeat.html

首先使用内部检测，然后进入设置模式

​

选择启动metricbeat的节点，然后根据提示步骤操作

安装软件

[root@elk1 ~]# rpm -ivh metricbeat-7.6.1-x86_64.rpm

启动elasticsearch-xpack模块

[root@elk1 ~]# cd /etc/metricbeat/modules.d

[root@elk1 modules.d]# metricbeat modules enable elasticsearch-xpack

编辑elasticsearch-xpack模块配置文件

[root@elk1 modules.d]# vim elasticsearch-xpack.yml

- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node_stats
    - shard
  period: 10s
  hosts: ["http://localhost:9200"]
  username: "remote_monitoring_user"
  password: "westos"
  xpack.enabled: true

编辑metricbeat配置文件

[root@elk1 modules.d]# cd ..

[root@elk1 metricbeat]# vim metricbeat.yml

...
output.elasticsearch:
  hosts: ["http://192.168.56.11:9200"]
  username: "elastic"
  password: "westos"

启动metricbeat服务

[root@elk1 metricbeat]# systemctl enable --now metricbeat.service

​

其它节点依次类推

​

最后退出设置模式

kibana 监控

安装软件

[root@elk5 ~]# rpm -ivh metricbeat-7.6.1-x86_64.rpm

启动kibana-xpack模块

[root@elk5 ~]# cd /etc/metricbeat/modules.d/

[root@elk5 ~]# metricbeat modules enable kibana-xpack

编辑kibana-xpack模块配置文件

[root@elk5 modules.d]# vim kibana-xpack.yml

 username: "elastic"
 password: "westos"

编辑metricbeat配置文件

[root@elk5 modules.d]# cd ..

[root@elk5 metricbeat]# vim metricbeat.yml

hosts: ["http://192.168.92.31:9200"]

username: "elastic"
password: "westos"

启动metricbeat服务

[root@elk5 ~]# systemctl enable --now metricbeat.service

禁用内部检测

[root@elk5 ~]# vim /etc/kibana/kibana.yml

xpack.monitoring.kibana.collection.enabled: false

重启kibana服务

[root@elk5 ~]# systemctl restart kibana.service

filebeat日志采集

文档：https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-elasticsearch.html

安装软件

[root@elk1 ~]# rpm -ivh filebeat-7.6.1-x86_64.rpm

启动elasticsearch模块

[root@elk1 ~]# cd /etc/filebeat/modules.d

[root@elk1 modules.d]# filebeat modules enable elasticsearch

编辑elasticsearch模块配置文件

[root@elk1 modules.d]# vim elasticsearch.yml

- module: elasticsearch
  # Server log
  server:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*.log          # Plain text logs
      - /var/log/elasticsearch/*_server.json  # JSON logs

  gc:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/gc.log.[0-9]*
      - /var/log/elasticsearch/gc.log

  audit:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*_access.log  # Plain text logs
      - /var/log/elasticsearch/*_audit.json  # JSON logs

  slowlog:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*_index_search_slowlog.log     # Plain text logs
      - /var/log/elasticsearch/*_index_indexing_slowlog.log   # Plain text logs
      - /var/log/elasticsearch/*_index_search_slowlog.json    # JSON logs
      - /var/log/elasticsearch/*_index_indexing_slowlog.json  # JSON logs

  deprecation:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*_deprecation.log   # Plain text logs
      - /var/log/elasticsearch/*_deprecation.json  # JSON logs

编辑filebeat配置文件

[root@elk1 modules.d]# cd ..

[root@elk1 filebeat]# vim filebeat.yml

...
output.elasticsearch:
  hosts: ["http://192.168.92.31:9200"]
  username: "elastic"
  password: "westos"

启动filebeat服务

[root@elk1 filebeat]# systemctl  enable --now filebeat.service

​

其它节点依次类推

​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1243847.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

九、ffmpeg命令转封装

九、ffmpeg命令转封装

开了几天小差，今天继续学习ffmpeg。 准备测试使用的视频，并查看其信息 # 查看视频信息。使用Mediainfo也可以 ffprobe test.mp4 视频格式的信息如下。 保持编码格式：ffmpeg -i test.mp4 -vcodec copy -acodec copy test_copy.tsffmpeg -i…
阅读更多...
读书笔记——《黑猩猩的政治》

读书笔记——《黑猩猩的政治》

前言 弗朗斯德瓦尔（Frans de Waal)的代表作《黑猩猩政治》成书于1982年，是它的首部书籍作品，也是美国国会新任议员的被推荐读物。之前看的他另一部作品的《万智有灵》是2016年的作品，时间跨度居然这么大。《万智有灵》介绍了许多…
阅读更多...
6.2.SDP协议

6.2.SDP协议

那今天呢？我们来介绍一下sdp协议，那实际上呢？sdp协议非常的简单。我们如果拿到一个stp的文档去看的话，那你要分阅里边的所有的内容会觉得很枯燥，但实际上呢，如果我们按照这张图所展示的结构去看stp的话。你…
阅读更多...
消息中间件——RabbitMQ（四）命令行与管控台的基本操作！

消息中间件——RabbitMQ（四）命令行与管控台的基本操作！

前言 在前面的文章中我们介绍过RabbitMQ的搭建：RabbitMQ的安装过以及各大主流消息中间件的对比：，本章就主要来介绍下我们之前安装的管控台是如何使用以及如何通过命令行进行操作。 1. 命令行操作 1.1 基础服务的命令操作 rabbitmqctl sto…
阅读更多...
Linux快速显示文件行号并跳转

Linux快速显示文件行号并跳转

有时候，想要在线上直接查看日志文件，搜索到关键词后，如果一直按n找下去，很麻烦，我们可以先显示出行号，确定好我们要找内容对应的行号，直接跳转过去。 esc进入命令模式，输入:set nu命…
阅读更多...
【神印王座】龙皓晨美妆胜过月夜，魔神皇识破无视，撮合月夜阿宝

【神印王座】龙皓晨美妆胜过月夜，魔神皇识破无视，撮合月夜阿宝

Hello,小伙伴们，我是拾荒君。 《神印王座》国漫第82集已更新，拾荒君和大多数人一样，更新就去看了。魔神皇枫秀，威严凛然，突然空降月魔宫，整个宫殿都在这股无与伦比的强大气息中颤栗。为了顺利躲避魔神皇的…
阅读更多...
筑牢思想防线——建行驻江门市分行纪检组举办2023年清廉合规大讲堂

筑牢思想防线——建行驻江门市分行纪检组举办2023年清廉合规大讲堂

为推动廉洁教育打通“最后一公里”，近日，建行驻江门市分行纪检组举办江门市分行2023年清廉合规大讲堂。 本次大讲堂检察官结合一线办案经历，从防范化解金融风险、预防金融从业人员犯罪等方面对全辖员工进行了深入浅出地的讲解，引导…
阅读更多...
Volcano3D绘制3D火山图

Volcano3D绘制3D火山图

一边学习，一边总结，一边分享！ 本期教程内容 **注：**本教程详细内容 Volcano3D绘制3D火山图 一、前言 火山图是做差异分析中最常用到的图形，在前面的推文中，我们也推出了好几期火山图的绘制教程&#xff0…
阅读更多...
如何下载OpenJDK及其源码

如何下载OpenJDK及其源码

如果想下载 OpenJDK，存在以下几种办法： 最简单的办法是去 OpenJDK 官网，这里能下载 JDK9 及其以上的版本，还有 JDK 源码所在的 github 地址。 第二种方法是使用 IDEA 下载，位置在 File->Project Structure->SD…
阅读更多...
Harmony 应用开发之size 脚本

Harmony 应用开发之size 脚本

作者：麦客奥德彪 在应用开发中，最终呈现在用户面前的UI，是用户能否继续使用应用的强力依据之一，在之前的开发中，Android 屏幕碎片化严重，所以出现了很多尺寸适配方案。 最小宽适配、百分比适配等等。 还有一…
阅读更多...
单链表实现【队列】

单链表实现【队列】

目录 队列的概念及其结构 队列的实现 数组队列 链式队列 队列的常见接口的实现 主函数Test.c 头文件&函数声明Queue.h 头文件 函数声明 函数实现Queue.c 初始化QueueInit 创建节点Createnode 空间释放QueueDestroy 入队列QueuePush 出队列QueuePop 队头元…
阅读更多...
【陈老板赠书活动 - 18期】-如何成为架构师这几本书推荐给你

【陈老板赠书活动 - 18期】-如何成为架构师这几本书推荐给你

陈老老老板🦸 👨‍💻本文专栏：赠书活动专栏（为大家争取的福利，免费送书） 👨‍💻本文简述：生活就像海洋,只有意志坚强的人,才能到达彼岸。 👨‍&am…
阅读更多...
大数据Doris（二十八）：Routine Load查看和修改作业

大数据Doris（二十八）：Routine Load查看和修改作业

文章目录 Routine Load查看和修改作业 一、​​​​​​​查看导入作业状态
阅读更多...
Py之PyMuPDF：PyMuPDF的简介、安装、使用方法之详细攻略

Py之PyMuPDF：PyMuPDF的简介、安装、使用方法之详细攻略

Py之PyMuPDF：PyMuPDF的简介、安装、使用方法之详细攻略 目录 PyMuPDF的简介 PyMuPDF的安装 PyMuPDF的使用方法 1、基础用法 PyMuPDF的简介 PyMuPDF是一个高性能的Python库，用于PDF(和其他)文档的数据提取，分析，转换和操作。 …
阅读更多...
HCIP---MPLS---LDP

HCIP---MPLS---LDP

文章目录 前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结 前言 MPLS 基于标签转发表进行转发，与路由表类似，标签转发表有两种获取渠道：一是手动配置(类似静态路由)，二是通过协议自动学习(类似OSPF)。手动配…
阅读更多...
编译器核心技术概览

编译器核心技术概览

编译技术是一门庞大的学科，我们无法对其做完善的讲解。但不同用途的编译器或编译技术的难度可能相差很大，对知识的掌握要求也会相差很多。如果你要实现诸如 C、JavaScript 这类通用用途语言（general purpose language）&#xff0c…
阅读更多...
【Redisson】基于自定义注解的Redisson分布式锁实现

【Redisson】基于自定义注解的Redisson分布式锁实现

前言 在项目中，经常需要使用Redisson分布式锁来保证并发操作的安全性。在未引入基于注解的分布式锁之前，我们需要手动编写获取锁、判断锁、释放锁的逻辑，导致代码重复且冗长。为了简化这一过程，我们引入了基于注解的分布式锁&…
阅读更多...
Samsung下origen中uboot的配置与编译

Samsung下origen中uboot的配置与编译

uboot的特点： n代码结构清晰 n 支持丰富的处理器与开发板，易于移植 n 支持丰富的用户命令 n 支持丰富的网络协议 n 支持丰富的文件系统 n 支持丰富的设备驱动 n 更新活跃、用户较多、资料丰富 n 开放源代码 n 较高的稳定性 n 不具有通用性（不…
阅读更多...
【云备份】第三方库的认识与使用

【云备份】第三方库的认识与使用

文章目录 json库粗略认识详细认识writer 类reader类jsoncpp序列化实现jsoncpp反序列化实现 bundle文件压缩库简单认识bundle库实现文件压缩bundle库实现文件解压缩 httplib库Request类Response类Server类Client类 json库 粗略认识 json是一种数据交换格式，采用完全…
阅读更多...
Centos 7 安装yum（针对python卸载yum出错）

Centos 7 安装yum（针对python卸载yum出错）

提前下载所需安装包，按照下面顺序安装即可完成，每个依赖包必须正确安装 下载地址：http://mirrors.163.com/centos/7/os/x86_64/Packages/ rpm -qa|grep python|xargs rpm -ev --allmatches --nodeps ##强制删除已安装程序及其关联 whereis …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023