ELK日志分析系统

news2024/11/17 23:27:14

一.ELK概述

1.1 ELK简介

1.2 ELK日志组件

1.2.1 ELK组件介绍

1.3 日志处理步骤

二. Elasticsearch 集群部署

2.1 关闭防火墙

2.2 ELK Elasticsearch 集群部署（在Node1，Node2节点上操作）

2.2.1 更改主机名

2.2.2 配置域名解析

2.2.3 查看java环境

2.3 部署Elasticsearch软件

2.4 将软件包安装到/opt目录下

2.5 加载系统服务

2.6 修改Elasticsearch主配置文件

2.7 创建数据存放路径并授权

2.8 启动Elasticsearch是否成功开启

2.9 查看节点信息

三.安装Elasticsearch-head插件

4.1 编译安装node

4.2 安装phantomjs

4.3 安装Elasticsarch-head数据可视化工具

4.4 修改Elasticsearch主配置文件（这边展示node1，node2与之相同）

4.5 启动Elasticsearch-head服务

4.6 访问浏览器

4.7 插入索引

五. ELK Logstash部署（在Apache节点上操作）

5.1 安装logstash

5.1.1 修改主机名

5.1.2 安装httpd并启动

5.1.3 安装java环境

5.1.4 安装logstash

5.2 测试logstash(Apache)与 elasticsearch（node）功能是否正常

5.2.1 输入采用标准输入输出采用标准输出—登录192.168.119.20 在Apache服务器上

5.2.2 使用 rubydebug 输出详细格式显示，codec 为一种编解码器

5.2.3 使用logstash将信息写入elasticsearch中

5.3 定义 logstash配置文件

5.3.1 给目录可读权限

5.3.2 修改logstash配置文件

5.3.3重启服务

5.3.4 访问浏览器

六.ELK Kiabana部署（在Noed1节点上操作）

6.1 安装Kiabana

6.2 设置Kibana的主配置文件

6.3 启动Kibana服务

6.4 验证Kibana，访问浏览器

6.5 将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示

6.6 浏览器访问，查看索引信息能发现两个日志

6.7 浏览器访问

一.ELK概述

1.1 ELK简介

ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。

1.2 ELK日志组件

elasticsearch (es) :通过搭建群集;存储日志数据，索引日志数据
logstash :收集日志，收集到了后给es存储
kibana :视图形式展现日志信息，更加人性化

1.2.1 ELK组件介绍

ElasticSearch
1. 是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
2. Elasticsearch 是用Java开发的，可通过RESTful Web接口，让用户可以通过浏览器与 Elasticsearch通信。
3. Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档

Logstash
1. 作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置。一般会发送给Elasticsearch。 2. Logstash 由Ruby 语言编写，运行在Java虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能，常用于日志处理。

Kiabana
1. Kibana 通常与ElasticSearch一起部署，Kibana是Elasticsearch的一个功能强大的数据可视化 Dashboard，Kibana提供图形化的web界面来浏览Elasticsearch日志数据，可以用来汇总、分析和搜索重要数据。