大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试

news2024/10/16 12:25:59

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(已更完)
  • ClickHouse(已更完)
  • Kudu(已更完)
  • Druid(已更完)
  • Kylin(已更完)
  • Elasticsearch(正在更新…)

章节内容

上节我们完成了如下的内容:

  • Elasticsearch 集群模式
  • 集群模式配置 启动 测试

在这里插入图片描述

ES-Head插件

为了我们测试和学习的方便,我们要安装一个叫:Elasticsearch Head插件。
它是一个界面化的集群操作和管理工具,可以对集群进行傻瓜式操作,你可以通过把插件把它集成到ES。

ES-Head主要是三个方面的操作:

  • 显示集群的拓扑,能够快速访问并显示集群的状态,并且能够执行索引和节点级别的操作。
  • 搜索接口能够查询集群中原始JSON或表格格式的检索数据
  • 有一个输入窗口,允许任意调用RESTAPI

ES-Head 是一个用于 Elasticsearch 集群管理的开源可视化插件,帮助用户监控和管理集群状态、索引及数据分布。ES-Head 是轻量级的,界面简洁直观,适合开发者和运维人员实时观察集群运行状况。

官方地址

这是一个开源的插件:

https://github.com/mobz/elasticsearch-head

功能特点

集群健康监控

  • 显示集群的健康状态(green、yellow、red)。
  • 显示所有节点信息,包括主节点、副本节点状态。

索引管理

  • 支持索引的查看、创建、删除、关闭和打开操作。
  • 查看每个索引的元信息(例如文档数量、段数量、占用存储等)。
  • 可以直接从界面更新索引的mapping和settings。

数据节点监控

  • 显示每个节点的状态,包括已分配分片和未分配分片。
  • 展示节点的硬件资源信息,如存储空间使用情况。

分片管理

  • 可视化显示分片的分配情况。
  • 支持查看未分配分片的原因,并手动重新分配分片。

RESTful 查询执行

  • 提供查询编辑器,可以在插件中直接发送 RESTful 请求到集群。
  • 支持 GET、POST、PUT、DELETE 等请求方法,帮助调试和验证 API。

索引分布可视化

  • 提供分片在集群中的分布图,便于检查数据分布和副本均衡情况。

多集群支持

  • 可以在一个界面管理多个集群,支持跨集群查看索引状态。

安装步骤

Elasticsearch-head是一个基于Node.js的前端工程,官方有可以运行的Elasticsearch-Head的方式,但是这里我们为了方便,就不从部署的方式去做了,直接用Chrome插件的方式:

https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/

安装之后,可以看到一个这样的插件:
在这里插入图片描述

测试连接

我们填写地址之后,访问(里边本来空的,后来为了测试,启动了Kibana之后,测试的这个):
在这里插入图片描述

使用场景

  • 开发和调试:开发者可以在插件界面直接发送 REST 请求,查看索引结构和数据。
  • 实时监控集群健康:管理员可以通过插件快速发现集群中的问题(如未分配的分片、节点挂掉等)。
  • 资源均衡优化:可视化查看分片分布,帮助进行负载均衡。

注意事项

  • 由于 ES-Head 插件不需要登录认证,一旦对外开放接口,可能会存在安全风险。在生产环境中使用时,应通过 VPN 或防火墙限制访问权限。
  • 在大规模集群中,数据过多可能会导致界面响应缓慢。

Kibana

官方地址

https://www.elastic.co/cn/support/matrix#matrix_os

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具,可以利用Elasticsearch的聚合功能,生成各种图标,如柱形图、线状图、饼图等。
而且还提供了操作Elasticsearch索引数据的控制台,并且提供了一定的API提示,非常有利于我们学习Elasticsearch的语法。
在这里插入图片描述

核心功能

仪表盘(Dashboard)

  • 将多个可视化图表集成到一个页面,形成实时动态的仪表盘。
  • 支持图表拖拽、缩放和联动更新,方便数据展示。

数据探索(Discover)

  • 提供灵活的搜索查询界面,可以按时间、字段和过滤条件进行数据检索。
  • 支持使用 KQL(Kibana Query Language) 和 Lucene 语法 查询数据。

可视化(Visualizations)

  • 支持创建多种类型的可视化图表,如柱状图、折线图、饼图、地图、热力图等。
  • 可以将查询结果以图形方式展示,帮助更好地理解数据。

日志分析(Logs)

  • 针对日志数据优化,支持快速查询和实时日志流分析。
  • 适合用于系统运维、错误排查和日志监控。

监控(Monitoring)

  • 可监控 Elasticsearch 集群和 Kibana 自身的运行状态,如集群健康状况、节点性能等。
  • 可以帮助发现 Elasticsearch 集群中的瓶颈和问题。

安全性(Security)

  • 支持用户认证和授权控制,与 Elasticsearch 的 X-Pack 安全插件集成。
  • 可以基于角色和用户设置访问权限,确保数据安全。

告警(Alerting)

  • 支持创建告警规则,基于查询结果触发事件(如错误日志或异常情况)。
  • 可以将告警发送到电子邮件、Slack 或 Webhook。

机器学习(Machine Learning)

  • 通过内置的机器学习功能,可以自动检测数据中的异常模式和趋势。
  • 应用于日志分析、指标监控和预测分析。

Canvas

  • 用于创建自定义的交互式报告和演示。
  • 可以自定义图表样式和背景,适合数据驱动的商业演示。

Geo 可视化(Maps)

  • 提供基于地理信息的可视化展示,支持 GeoJSON 数据。
  • 用于展示与地理位置相关的数据,如用户分布、销售区域等。

安装步骤

(注意:我们要在ROOT用户下进行操作!)
我们现在项目并且上传(直接在服务器上下载也可以),上传到 h121 服务器上。
对应的截图内容如下:
在这里插入图片描述

解压配置

cd /opt/software
ls
tar -zxvf kibana-7.3.0-linux-x86_64.tar.gz
mv kibana-7.3.0-linux-x86_64 ../servers

对应的截图如下图所示:
在这里插入图片描述
改变Kibana目录拥有者账号:

chown -R es_server /opt/servers/kibana-7.3.0-linux-x86_64

此外,还需要设置访问权限:

chmod -R 777 /opt/servers/kibana-7.3.0-linux-x86_64

配置文件

修改配置文件:

vim /opt/servers/kibana-7.3.0-linux-x86_64/config/kibana.yml

在当中修改端口号等信息:

server.port: 5601
elasticsearch.hosts: ["http://h121.wzk.icu:9200"]
server.host: "0.0.0.0"
server.publicBaseUrl: "http://h122.wzk.icu:5601"

修改内容部分如下图所示:
在这里插入图片描述

启动服务

配置完成之后,我们切换用户进行启动:

su es_server
cd /opt/servers/kibana-7.3.0-linux-x86_64
bin/kibana

对应的截图如下:
在这里插入图片描述

访问服务

http://h122.wzk.icu:5601/

网页的页面如下:
(不一定有账号密码,高版本有要求,低版本直接进入就好)
在这里插入图片描述
账号密码是 elastic 和 elastic的密码(之前postman测试的那个)
在这里插入图片描述
我们点击右侧的:DevTool按钮,就可以进入 Kibana 提供的可视化工具了:
在这里插入图片描述
可以测试一下这些命令,发现是没问题的,以后的命令可以在这里测了:
在这里插入图片描述

使用场景

日志与系统监控

  • 通过 Logstash 将日志文件发送到 Elasticsearch,使用 Kibana 实时监控系统日志和应用程序日志。

业务数据分析

  • 在业务系统中,通过 Kibana 监控销售数据、客户数据等,支持企业决策。

异常检测与告警

  • 使用 Kibana 监控系统性能或业务关键指标,当检测到异常时触发告警。

用户行为分析

  • 监控网站或应用的用户行为,分析用户访问路径和流失率。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2216299.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Go语言Gin框架的常规配置和查询数据返回json示例

文章目录 路由文件分组查询数据库并返回jsonservice层controller路由运行效果 启动多个服务 在 上一篇文章《使用Go语言的gorm框架查询数据库并分页导出到Excel实例》 中主要给大家分享了较多数据的时候如何使用go分页导出多个Excel文件并合并的实现方案,这一篇文章…

unity学习-全局光照(GI)

在全局光照(Lighting)界面有两个选项 Realtime Light(实时光照):在项目中会提前计算好光照以及阴影的程序,当你需要调用实时全局光照的时候会将程序调用出来使用 Mixed Light(烘焙光照&#x…

如何利用kafka实现高效数据同步?

在我们之前的文章有详细介绍过Kafka的结构、特点和处理方式。具备告诉处理能力的kafka被利用在数据同步和数据传输上,今天来说下kafka是怎么实现高效的数据同步和传输。 一、可靠的数据传输 1. 持久性保证:Kafka 将数据持久化到磁盘上,即使在…

汽车管理系统——主界面制作

目录 主界面需要有什么?然后要做什么?添加两个主菜单(声明)下一步应该干什么?能够跳转到文件有哪几个动作?动作如何声明?为什么用选择声明指针,不选择直接声明这个对象? …

算力基础篇:从零开始了解算力

什么是算力 算力即计算能力(Computing Power),狭义上指对数字问题的运算能力,而广义上指对输入信息处理后实现结果输出的一种能力。虽然处理的内容不同,但处理过程的能力都可抽象为算力。比如人类大脑、手机以及各类服…

git 与 github 同步

1.配置账户 git config --global user.name "你的用户名" git config --global user.email "你的邮箱" 2.输入命令创建ssh key $ ssh-keygen -t rsa -C "邮箱" //你自己注册GitHub的邮箱 输入命令之后提示输入密码,回车直到出现…

C++类(3)

1.如果一个类什么成员都没有,简称空类 但是空类真的什么都没有吗? 并不是,任何类什么都不写,编译器会自动生成以下6个默认成员函数 1.构造函数 class Date { public:void Init(int year, int month, int day){_year year;_mo…

kubernetes简介及安装部署

目录 一、kubernetes简介 1、k8s的概念 2、k8s各个组件及用途 3、k8s各组件之间的调用关系 4、k8s常用名词概念 5、k8s的分层架构 二、kubernetes安装部署 1、k8s集群环境搭建 2、本地解析、swap禁用 3、安装docker 4、复制harbor仓库中的证书并启动docker 5、设定d…

基于Cesium.js的可视化大屏,效果绝对的震撼!

基于 Cesium.js 的可视化大屏确实能带来震撼的效果。Cesium.js 强大的三维渲染能力,能够逼真地呈现地理信息和各种数据模型。 在大屏上,广袤的地形地貌、精细的建筑模型以及动态的数据展示,仿佛将观众带入一个全新的虚拟世界。无论是用于地理…

网络分析仪——提升网络性能的关键工具

目录 什么是网络分析仪? 1. 实时流量监控 2. 历史数据回溯分析 3. 网络性能关键指标监测 4. 可视化界面与报告生成 总结 在当今的数字化世界,网络的稳定性和性能直接影响企业的运营效率。网络拥堵、延迟和丢包等问题会导致用户体验的下降&#xff…

“屏” 步青云:轻松开启录屏功能,Windows 实例教学

你知道 Windows 的录屏功能怎么打开吗?在当今数字化时代,录屏功能成为了许多人工作、学习和娱乐中的得力助手。无论是制作教学视频、记录游戏精彩瞬间,还是为线上会议留存资料,掌握录屏技能都至关重要。今天我们不仅会介绍 Window…

springboot智能网上问诊系统-计算机毕业设计源码99634

摘要 智能网上问诊系统作为医疗健康领域的重要应用之一,为患者提供了便捷的医疗服务途径。本研究旨在基于Springboot框架设计和实现一套智能网上问诊系统,结合医疗专业知识,实现患者与医生之间的在线咨询和诊疗服务。 通过对Springboot框架…

如何从模块内部运行 Pytest

在 Python 中,pytest 是一个强大的测试框架,用于编写和运行测试用例。通常我们会在命令行中运行 pytest,但是有时你可能希望从模块或脚本的内部运行 pytest,比如为了自动化测试或集成到某个工作流程中。 1、问题背景 当你从模块…

网络爬虫-数美滑块验证码

仅供研究学习使用。 今天带来的是数美滑块验证码的逆向 目标站 --> 传送门 解决此类验证码 首先要解决滑动距离的判定 无论是使用selenium还是使用协议的方式来破解 都绕不开滑动距离的识别 滑动距离可以参考以前我博客上的方式,或者找一找开源的一些算法&am…

秋招突击——8/6——万得数据面试总结

文章目录 引言正文面经整理一1、讲一下java的多态,重载,重写的概念,区别2、说一下Java的数组,链表的结构,优缺点3、创建java线程的方式有哪些,具体说说4、创建线程池呢、每个参数的意义5、通过那几种方式保…

java基础(5)继承与多态

目录 ​编辑 1.前言 2.正文 2.1继承 2.1.1继承概念 2.1.2继承语法 2.1.3子类访问父类 2.1.4super关键字 2.2多态 2.2.1多态概念 2.2.2多态条件 2.2.3重写 2.2.4向上转型与向下转型 2.2.5为什么要使用多态 3.小结 1.前言 哈喽大家好啊,今天继续来为大…

汽车开发流程管理工具赋能安全与质量

随着数字化、人工智能、自动化系统及物联网技术的迅速发展,工程驱动型企业正面临重大转型挑战,亟需加速并深化其变革步伐。众多企业正试图通过采用基于模型的系统工程(MBSE)、产品线工程(PLE)、ASPICE、安全、网络安全、软件定义汽车、敏捷和精益开发实践…

微信小程序上传组件封装uploadHelper2.0使用整理

一、uploadHelper2.0使用步骤说明 uploadHelper.js ---上传代码封装库 cos-wx-sdk-v5.min.js---腾讯云,对象存储封装库 第一步,下载组件代码,放置到自己的小程序项目中 第二步、 创建上传对象,执行选择图片/视频 var _this th…

【java Web如何开发?】

🎥博主:程序员不想YY啊 💫CSDN优质创作者,CSDN实力新星,CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益,如有不足之处,欢迎在评论区提出…

讯飞与腾讯云:Android 实时语音识别服务对比选择

在 移动端 接入实时语音识别方面,讯飞和腾讯云都是优秀的选择,但各有其特点和优势。以下是对两者的详细比较: 一、讯飞语音识别 1.1 讯飞实时语音识别介绍 1.1.1 功能特点 1.支持多种语言识别,满足不同语种用户的需求。(普通话/…