ELK 分离式日志

news2024/12/24 17:38:02

一.ELK组件

ElasticSearch：

Kiabana：

Logstash：

可以添加的其它组件：

ELK 的工作原理：

二.部署ELK

节点都设置Java环境:

每台都可以部署 Elasticsearch 软件：

修改elasticsearch主配置文件：

性能调优参数：

修改内核参数文件：

访问页面查看节点信息及状态：

每台安装 Elasticsearch-head 插件：

安装 phantomjs：

安装 Elasticsearch-head 数据可视化工具（安装一个节点）：

安装依赖包：

修改 Elasticsearch 主配置文件（10，20,30节点）：

启动 elasticsearch-head 服务：

访问页面：

插入索引:

通过命令插入一个测试索引，索引为 index-demo，类型为 test:

浏览器访问 http://192.168.80.10:9100/ 查看索引信息:

ELK Logstash 部署（在 web 节点上操作):

安装logstash:

测试 Logstash：

使用 Logstash 将信息写入 Elasticsearch 中：

修改 Logstash 配置文件，让其收集系统日志/var/log/messages，并将其输出到 elasticsearch 中：

创建目录：

切换到目录：

添加文件内容：

ELK Kiabana 部署（30节点上操作）：

安装 Kiabana：

设置 Kibana 的主配置文件：

创建日志：

验证 Kibana：

创建索引：

将nginx服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示：

到kibana目录下添加文件内容:

一.ELK组件

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。

ElasticSearch：

是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

Kiabana：

Kibana 通常与 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据，可以用来汇总、分析和搜索重要数据。

Logstash：

作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置，一般会发送给 Elasticsearch。

可以添加的其它组件：

Filebeat：轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。

filebeat 结合 logstash 带来好处：
1）通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力
2）从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取
3）将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件
4）使用条件数据流逻辑组成更复杂的处理管道

缓存/消息队列（redis、kafka、RabbitMQ等）：可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。