ELK企业级日志分析平台（二）

news2025/1/23 13:40:22

文章目录

  • 一、kibana数据可视化
    • 1.部署
    • 2.定制数据可视化
      • （1）网站访问量
      • （2）访问量排行榜
      • （3）创建dashboard，大屏展示
  • 二、ES集群监控
    • 1.启用xpack认证
    • 2.metricbeat监控
    • 3.filebeat日志采集

一、kibana数据可视化

ELK中，E最核心，其余均可替代

1.部署

新建虚拟机server5，部署kibana
[root@server5 ~]# rpm -ivh kibana-7.6.1-x86_64.rpm

[root@server5 ~]# cd /etc/kibana/
[root@server5 kibana]# vim kibana.yml

server.host: "0.0.0.0"                    ##所有端口

elasticsearch.hosts: ["http://192.168.56.11:9200"]    ##elasticsearch主机

i18n.locale: "zh-CN"                       ##字体：中文

[root@server5 kibana]# systemctl  enable --now kibana

[root@server5 kibana]# netstat -antlp |grep :5601
tcp        0      0 192.168.56.15:5601     0.0.0.0:*               LISTEN      25385/node

访问web页面: http://192.168.56.15:5601

2.定制数据可视化

L监听文件的变更，格式化后，写入到ES中，最后通过kibana做数据可视化

在这里插入图片描述
kibana可以直接连接ES在这里插入图片描述
在这里插入图片描述

（1）网站访问量

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
保存视图
在这里插入图片描述

（2）访问量排行榜

在这里插入图片描述
在这里插入图片描述
x轴填主机ip进行筛选
在这里插入图片描述在这里插入图片描述
保存视图
在这里插入图片描述

（3）创建dashboard，大屏展示

在这里插入图片描述
把上面创建的两个可视化添加到仪表板中

在这里插入图片描述

二、ES集群监控

1.启用xpack认证

官网：https://www.elastic.co/guide/en/elasticsearch/reference/7.6/configuring-tls.html#node-certificates

在server1上生成证书
[root@server1 ~]# cd /usr/share/elasticsearch/
[root@server1 elasticsearch]# bin/elasticsearch-certutil ca      ##生成ca.p12
[root@server1 elasticsearch]# bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
[root@server1 elasticsearch]# cp elastic-certificates.p12 /etc/elasticsearch   ##
[root@server1 elasticsearch]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# chown elasticsearch elastic-certificates.p12     ##该权限

[root@server1 elasticsearch]# vim elasticsearch.yml      ##加到最后即可；及的内容为官方文档得来
...
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type    ##认证；交到Node处

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12

[root@server1 elasticsearch]# systemctl  restart elasticsearch.service

拷贝证书到其它集群节点
[root@server1 elasticsearch]# scp elastic-certificates.p12 server2:/etc/elasticsearch/
[root@server1 elasticsearch]# scp elastic-certificates.p12 server3:/etc/elasticsearch/

server2配置
[root@server2 ~]# chown elasticsearch /etc/elasticsearch/elastic-certificates.p12
[root@server2 ~]# vim /etc/elasticsearch/elasticsearch.yml
...
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12

[root@server2 ~]# systemctl  restart elasticsearch.service

server3配置
[root@server3 ~]# chown elasticsearch /etc/elasticsearch/elastic-certificates.p12
[root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml
...
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12

[root@server3 ~]# systemctl  restart elasticsearch.service

等待所有集群节点重启成功后，设置认证账户密码
[root@server1 elasticsearch]# cd /usr/share/elasticsearch/
[root@server1 elasticsearch]# bin/elasticsearch-setup-passwords interactive
交互式输入密码在这里插入图片描述
ES启用xpack之后，其它服务都需要配置认证

head插件在访问时，需要在url中输入用户和密码
[root@k8s1 ~]# cd elasticsearch-head-master/
[root@k8s1 elasticsearch-head-master]# npm run start &

访问web1：http://192.168.56.171:9100/?auth_user=elastic&auth_password=westos

cerebro访问：
[root@k8s1 ~]# docker start cerebro ##启动容器

==访问web2：http://192.168.56.171:9000/ ==
并连接ES集群，弹出认证
在这里插入图片描述

logstash访问
[root@server4 ~]# vim /etc/logstash/conf.d/grok.conf
input {
        file {
                path => "/var/log/httpd/access_log"
                start_position => "beginning"
        }
}

filter {
        grok {
                match => { "message" => "%{HTTPD_COMBINEDLOG}" }
        }
}

output {
        stdout {}

        elasticsearch {
                hosts => "192.168.56.11:9200"
                index => "apachelog-%{+YYYY.MM.dd}"
                user => "elastic"                       ####用户
                password => "westos"                      ###密码
        }

}

查看是否启动成功：若失败会直接退出
[root@server4 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf

kibana访问
[root@server5 kibana]# vim kibana.yml
...
elasticsearch.username: "kibana"         ##用户认证选项，打开并修改密码
elasticsearch.password: "westos"

[root@server5 kibana]# systemctl  restart kibana.service
[root@server5 kibana]# netstat -antlp|grep :5601
tcp        1      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      35945/node

访问web3：http://192.168.56.15:5601
在这里插入图片描述

2.metricbeat监控

官网：https://www.elastic.co/guide/en/elasticsearch/reference/7.6/configuring-metricbeat.html

首先使用内部检测，然后进入设置模式
在这里插入图片描述
选择启动metricbeat的节点，然后根据提示步骤操作

安装软件
[root@server1 ~]# rpm -ivh metricbeat-7.6.1-x86_64.rpm
[root@server1 ~]# cd /etc/metricbeat/modules.d
[root@server1 modules.d]# metricbeat modules enable elasticsearch-xpack
[root@server1 modules.d]# vim elasticsearch-xpack.yml   ##监控谁
- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node_stats
    - shard
  period: 10s
  hosts: ["http://localhost:9200"]        ##localhost=192.168.56.11
  username: "remote_monitoring_user"      ##认证的用户
  password: "westos"                      ##密码
  xpack.enabled: true

[root@server1 modules.d]# cd ..
[root@server1 metricbeat]# vim metricbeat.yml       ##往哪里输出
...
output.elasticsearch:                     ##监控集群
  hosts: ["http://192.168.56.11:9200"]
  username: "elastic"
  password: "westos"

[root@server1 metricbeat]# systemctl enable --now metricbeat.service

在这里插入图片描述其它节点依次类推即可，最终效果如下：
完成下图配置后，最后退出设置模式
在这里插入图片描述

3.filebeat日志采集

文档：https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-elasticsearch.html

[root@server1 ~]# rpm -ivh filebeat-7.6.1-x86_64.rpm
[root@server1 ~]# cd /etc/filebeat/modules.d
[root@server1 modules.d]# filebeat modules enable elasticsearch

[root@server1 modules.d]# vim elasticsearch.yml
- module: elasticsearch
  # Server log
  server:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*.log          # Plain text logs
      - /var/log/elasticsearch/*_server.json  # JSON logs

  gc:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/gc.log.[0-9]*
      - /var/log/elasticsearch/gc.log

  audit:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*_access.log  # Plain text logs
      - /var/log/elasticsearch/*_audit.json  # JSON logs

  slowlog:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*_index_search_slowlog.log     # Plain text logs
      - /var/log/elasticsearch/*_index_indexing_slowlog.log   # Plain text logs
      - /var/log/elasticsearch/*_index_search_slowlog.json    # JSON logs
      - /var/log/elasticsearch/*_index_indexing_slowlog.json  # JSON logs

  deprecation:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*_deprecation.log   # Plain text logs
      - /var/log/elasticsearch/*_deprecation.json  # JSON logs

[root@server1 modules.d]# cd ..
[root@server1 filebeat]# vim filebeat.yml
...
output.elasticsearch:
  hosts: ["http://192.168.56.11:9200"]
  username: "elastic"
  password: "westos"

[root@server1 filebeat]# systemctl  enable --now filebeat.service

注意：若偶遇节点在配置后，web页面不显示，可以尝试重启elasticsearch节点服务
在这里插入图片描述
其它节点依次类推即可

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/408175.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【玩转CSS】一文带你了解浮动

【玩转CSS】一文带你了解浮动

🔥一个人走得远了，就会忘记自己为了什么而出发，希望你可以不忘初心，不要随波逐流，一直走下去🎶 🦋 欢迎关注🖱点赞👍收藏🌟留言🐾 🦄 …
阅读更多...
牛客前端刷题（六）—— JS基础

牛客前端刷题（六）—— JS基础

还在担心面试不通过吗？给大家推荐一个超级好用的刷面试题神器：牛客网，里面涵盖了各个领域的面试题库，还有大厂真题哦！ 赶快悄悄的努力起来吧，不苒在这里衷心祝愿各位大佬都能顺利通过面试。 面试专栏分享，感觉有用的小伙伴可以点个订阅，不定时更新相关面试题：面试专栏…
阅读更多...
前端面试中经常提到的LRU缓存策略详解

前端面试中经常提到的LRU缓存策略详解

🐱 个人主页：不叫猫先生 🙋‍♂️ 作者简介：2022年度博客之星前端领域TOP 2，前端领域优质作者、阿里云专家博主，专注于前端各领域技术，共同学习共同进步，一起加油呀！ &am…
阅读更多...
微信小程序解决view点击事件穿透地图map触发markertap

微信小程序解决view点击事件穿透地图map触发markertap

微信小程序中使用map组件，ios手机中点击地图上的view，会触发底下的markertap，只要底下如果有marker点的话。 这就造成了用户体验不是很好。 然后无意间我发现点击能滑动的scroll-view反而不会触发底下的markertap，就等于是一个不…
阅读更多...
HTML介绍以及常用代码

HTML介绍以及常用代码

HTML 网页基础 html(Hyper Text Markup Language)超文本标 记语言，发明者: Tim Berners-leehtml主要是定义网页内容和结构的。html是编 写网页的语言。html只能运行在浏览器上面网页的技术包含: html(编写网页结构，类似人 的骨架)，css(层叠…
阅读更多...
前端启动项目npm run dev报错npm ERR! missing script: dev

前端启动项目npm run dev报错npm ERR! missing script: dev

今天遇到了这样一个nt问题 突然前端跑不起来后面发现是进行npm run dev 命令的时候少进入一层目录 进去之后就可以了对此遇到这个bug我还查了很多blog 发现还有以下两种原因1.打开的是当前文件夹，但是文件夹package.js里的scripts确实没有dev,输入vue init webpack …
阅读更多...
【node进阶】深入浅出前后端身份验证(下)---JWT

【node进阶】深入浅出前后端身份验证(下)---JWT

✅ 作者简介：一名普通本科大三的学生，致力于提高前端开发能力 ✨ 个人主页：前端小白在前进的主页 🔥 系列专栏 ： node.js学习专栏 ⭐️ 个人社区 : 个人交流社区 🍀 学习格言: ☀️ 打不倒你的会使你更强&a…
阅读更多...
【JavaScript】JS实用案例分享：选择器组件 | 简易计算器

【JavaScript】JS实用案例分享：选择器组件 | 简易计算器

🖥️ NodeJS专栏：Node.js从入门到精通 🖥️ 博主的前端之路（源创征文一等奖作品）：前端之行，任重道远（来自大三学长的万字自述） 🖥️ TypeScript知识总结&…
阅读更多...
Axure RP9使用指南

Axure RP9使用指南

1、快捷键 选中图层移动到上一层 ctrl [ 选中图层移动到下一层 ctrl ] 选中图层移动到顶层 ctrl shift [ 选中图层移动到底层 ctrl shift ] 合并为一组 ctrl G 取消合并 ctrl shift G 锁定位置和尺寸 ctrl K 解锁 ctrl shift K 拖动页面可以按住空格再通过鼠标拖动…
阅读更多...
CSS实现文字颜色渐变

CSS实现文字颜色渐变

三行代码即可实现： background: linear-gradient(to bottom, #ffff, #f8fdff, #acf5ff, #67eeff, #24d8ff);-webkit-background-clip: text;color: transparent; 一 先设置背景颜色渐变 background 渐变属性可选值： 1 linear-gradient 为线性渐变…
阅读更多...
JavaScript的节点操作 —— 增加节点

JavaScript的节点操作 —— 增加节点

目录 JavaScript中的节点操作分为：增、删、改、查（获取），四大类型。 我们直接利用案例来学习： HTML布局代码： JavaScript代码实现： 第一步：获取所有要用到的元素对象&#xff…
阅读更多...
Vue3中toRef以及toRefs的基本使用

Vue3中toRef以及toRefs的基本使用

toRef以及toRefs 作用:创建一个ref对象，其value值指向另一个对象中的某个属性。 语法：const name toRef(obj,name) 应用：要将响应式对象中的某个属性单独提供给外部使用时 拓展:toRefs与toRef功能一致，但可以批量创建多个ref对…
阅读更多...
vue报错 Error in render: “TypeError: Cannot read properties of undefined (reading ‘nickname‘)“

vue报错 Error in render: “TypeError: Cannot read properties of undefined (reading ‘nickname‘)“

起因：我用axios请求数据（可以看见数据了，已经请求成功的），最后加载在模板上（页面模板上有内容），但是控制台出现了一个奇怪的错误 在created()钩子函数请求接口并报错数据&#xff0…
阅读更多...
css 如何实现文本竖排、横排展示

css 如何实现文本竖排、横排展示

writing-mode 该属性定义了文本在水平或垂直方向上如何排布 writing-mode:horizontal-tb | vertical-rl | vertical-lr | sideways-rl | sideways-lr接下来和我一起看看各个属性值的用法吧&#xff01;Go! <style>.root {border: 1px solid green;width: 400px;height: 4…
阅读更多...
Vue内置组件的component标签

Vue内置组件的component标签

component标签&#xff1a;它的用途是可以动态绑定我们的组件,根据数据不同更换不同的组件. 有一个is属性&#xff0c;is的作用就是显示指定的组件 官方说明&#xff1a;渲染一个“元组件”为动态组件。依 is 的值&#xff0c;来决定哪个组件被渲染 使用方式也很简单&#xf…
阅读更多...
nvue基础快速入门

nvue基础快速入门

一、uniapp连接手机 1、用USB让手机和电脑连接 2、点击3---8次手机版本信息打开开发者模式 3、在更多设置里面找到开发者选项 4、打开USB调试和允许手机可以USB安装&#xff0c;以及不要让手机只允许充电&#xff0c;要打开文件传输模式&#xff08;在手机消息栏里面会有提示…
阅读更多...
前后端交互流程

前后端交互流程

1.前后端交互: 前后端交互&#xff0c;也可以理解为数据交互。前端需要获取&#xff08;GET&#xff09;的数据获取上传&#xff08;POST&#xff09;的数据&#xff0c;要通过 请求 来完成的&#xff0c;前端发送请求&#xff0c;后端接收到请求后&#xff0c;便进行对数据库…
阅读更多...
若依移动端Ruoyi-App——引入uview2.0开发项目

若依移动端Ruoyi-App——引入uview2.0开发项目

1. 背景&#xff1a; 若依移动端Ruoyi-App只有个人中心&#xff0c;登录&#xff0c;其他模块都是建设中&#xff0c;因uniapp本身样式不够美观&#xff0c;所以本文基于ruoyi移动端引入uview2.0&#xff0c;实现基本功能。 RuoYi-App: &#x1f389; RuoYi APP 移动端框架&am…
阅读更多...
element plus 的表单form使用详解

element plus 的表单form使用详解

首先在你需要使用form组件的Vue文件里引入 import type { FormInstance } from element-plus 拿这一张图解释一下属性&#xff0c;第一项ref"ruleFormRef",&#xff0c;ruleFormRef就是我们定义并使用各个属性的必要条件&#xff0c;const ruleFormRef ref<Form…
阅读更多...
vue 项目启动失败 ‘webpack-dev-server‘ 不是内部或外部命令，也不是可运行的程序

vue 项目启动失败 ‘webpack-dev-server‘ 不是内部或外部命令，也不是可运行的程序

报错描述 我使用命令 npm run dev 启动项目 报了下面的错。 webpack-dev-server 不是内部或外部命令&#xff0c;也不是可运行的程序 > webpack-dev-server --inline --progress --config build/webpack.dev.conf.js webpack-dev-server 不是内部或外部命令&#xff0c;也不…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023