ELK日志分析系统简介
- Elasticsearch
- Logstash
- Kibana主要功能
- Kibana
- 日志处理步骤
- ELK的工作原理
日志服务器
提高安全性
集中存放日志
缺陷
对日志的分析困难
ELK日志分析系统
Elasticsearch
概述:提供了一个分布式多用户能力的全文搜索引擎
核心概念
接近实时
集群
节点
索引
索引(库)---->类型(表)---->文档(记录)
分片和副本
Logstash
概述：一款强大的数据处理工具
可实现数据传输、格式处理、格式化输出
数据输入、数据加工（过滤、改写等）以及数据输出
主要组件（数据输入 数据加工 数据输出）
Kibana
概述:一个针对Elasticsearch的开源分析及可视化平台
搜素、查看存储在Elasticsearch索引中的数据
通过各种图标进行高级数据分析及展示
Kibana主要功能
Eibana主要功能
Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员收益
接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出
logsttash主要组件
Shipper：日志收集
Indexer：
Broker
Search and Storage
Web Interface
Kibana
定义：一个针对Elasticsearch的开源分析及可视化平台搜索、查看存储在Elasticsearch索引中的数据通过各种图表进行高级数据分析及展示
主要功能
.Elasticsearch无缝之集成
整合数据，复杂数据分析·
让更多团队成员受益
接口灵活，分享更容易配置简单，可视化多数据源
简单数据导出
日志处理步骤
1.将日志进行集中化管理
2.将日志格式化（Logstash）并输出到Elasticsearch
3.对格式化后数据进行索引和存储（Elasticsearch）
4.前端数据的展示（Kibana）
完整日志系统基本特征
收集:能够采集多种来源的日志数据
传输:能够稳定的把日志数据解析过滤并传输到存储系统
存储:存储日志数据
分析:支持UI分析
警告:能够提供错误报告，监控机制
ELK的工作原理
(1）在所有需要收集日志的服务器上部署Logstash，或者先将日志进行集中化管理在日志服务器上，在日志服务器上部著Logstash。
( 2) Logstash收集日志，将日志格式化并输出到Elasticsearch群集中。
(3）Elasticsearch对格式化后的数据进行索引和存储。
(4)Kibana从es群集中查询数据生成图表，并进行前端数据的展示.
input数据采集
output数据输出
filter数据过滤
前端打包node.js
后端打包
es群集中查询数据生成图表，并进行前端数据的展示.
input数据采集
output数据输出
filter数据过滤
[外链图片转存中…(img-uCn9IyxO-1691323122402)]
前端打包node.js
后端打包
