【ELK日志收集系统】

news2024/12/23 8:22:54

目录

一、概述

1.作用

2.为什么使用？

二、组件

1.elasticsearch

1.1 作用

1.2 特点

2.logstash

2.1 作用

2.2 工作过程

2.3 INPUT

2.4 FILETER

2.5 OUTPUTS

3.kibana

三、架构类型

1.ELK

2.ELKK

3.ELFK

4.ELFKK

四、案例 - 构建ELK集群

1.环境配置

2.安装node1与node2节点的elasticsearch

2.1 安装

2.2 配置

2.3 启动elasticsearch服务

2.4 查看节点信息

3.在node1安装elasticsearch-head插件

3.1 安装node

3.2 拷贝命令

3.3 安装elasticsearch-head

3.4 修改elasticsearch配置文件

3.5 启动elasticsearch-head

3.6 访问

3.7 在node1的终端中输入：

4.node1服务器安装logstash

5.ogstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

​编辑

6.node1节点安装kibana

7.企业案例

一、概述

ELK由三个组件构成

1.作用

  • 日志收集
  • 日志分析
  • 日志可视化

2.为什么使用？

  • 日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。
  • 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。

二、组件

1.elasticsearch

1.1 作用

  • 日志分析
  • 开源的日志收集、分析、存储程序

1.2 特点

  • 分布式
  • 零配置
  • 自动发现
  • 索引自动分片
  • 索引副本机制
  • Restful风格接口
  • 多数据源
  • 自动搜索负载

2.logstash

2.1 作用

  • 日志收集
  • 搜集、分析、过滤日志的工具

2.2 工作过程

  • 一般工作方式为c/s架构，Client端安装在需要收集日志的服务器上，Server端负责将收到的各节点日志进行过滤、修改等操作，再一并发往Elasticsearch上去
  • Inputs → Filters → Outputs
  • 输入-->过滤-->输出

2.3 INPUT

  • File：从文件系统的文件中读取，类似于tail -f命令
  • Syslog：在514端口上监听系统日志消息，并根据RFC3164标准进行解析
  • Redis：从redis service中读取
  • Beats：从filebeat中读取

2.4 FILETER

  • Grok：解析任意文本数据，Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串，转换成为具体的结构化的数据，配合正则表达式使用。
  • 官方提供的grok表达式：logstash-patterns-core/patterns at main · logstash-plugins/logstash-patterns-core · GitHub
  • Grok在线调试：Grok Debugger
  • Mutate：对字段进行转换。例如对字段进行删除、替换、修改、重命名等。
  • Drop：丢弃一部分Events不进行处理。
  • Clone：拷贝Event，这个过程中也可以添加或移除字段。
  • Geoip：添加地理信息(为前台kibana图形化展示使用)

2.5 OUTPUTS

  • Elasticsearch：可以高效的保存数据，并且能够方便和简单的进行查询。
  • File：将Event数据保存到文件中。
  • Graphite：将Event数据发送到图形化组件中，踏实一个当前较流行的开源存储图形化展示的组件。

3.kibana

  • 日志可视化
  • 为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。

三、架构类型

1.ELK

es
logstash
kibana

2.ELKK

es
logstash
kafka
kibana

3.ELFK

es
logstash        重量级、占用系统资源较多
filebeat          轻量级、占用系统资源较少
kibana

4.ELFKK

es
logstash
filebeat
kafka
kibana

四、案例 - 构建ELK集群

1.环境配置

设置各个主机的IP地址为拓扑中的静态IP，在两个节点中修改主机名为node1和node2并设置hosts文件

node1：

hostnamectl set-hostname node1

bash

vim /etc/hosts

192.168.42.3  node1

192.168.42.4  node2

node2：

hostnamectl set-hostname node2

bash

vim /etc/hosts

192.168.42.3  node1

192.168.42.4  node2

        

2.安装node1与node2节点的elasticsearch

2.1 安装

  mv elk-apppack elk

  cd elk

rpm -ivh elasticsearch-5.5.0.rpm

2.2 配置

node1：

vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node1 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:0.0.0.0  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

node2：

vim /etc/elasticsearch/elasticsearch.yml

cluster.name:my-elk-cluster  //集群名称   

node.name:node2 //节点名字

path.data:/var/lib/elasticsearch  //数据存放路径

path.logs： /var/log/elasticsearch/  //日志存放路径

bootstrap.memory_lock:false //在启动的时候不锁定内存

network.host:0.0.0.0  //提供服务绑定的IP地址，0.0.0.0代表所有地址

http.port:9200 //侦听端口为9200

discovery.zen.ping.unicast.hosts：【"node1"，"node2"】 //群集发现通过单播实现

2.3 启动elasticsearch服务

node1和node2

systemctl start elasticsearch

2.4 查看节点信息

  http://192.168.42.3:9200

http://192.168.42.4:9200

3.在node1安装elasticsearch-head插件

3.1 安装node

cd elk

ls

tar xf node-v8.2.1.tar.gz

cd node-v8.2.1

./configure && make && make install

3.2 拷贝命令

tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2

cd phantomjs-2.1.1-linux-x86_64/bin

cp phantomjs  /usr/local/bin

3.3 安装elasticsearch-head

cd elk

tar xf elasticsearch-head.tar.gz

cd elasticsearch-head

npm install

3.4 修改elasticsearch配置文件

vim /etc/elasticsearch/elasticsearch.yml

 # Require explicit names when deleting indices:

#

#action.destructive_requires_name:true

http.cors.enabled: true  //开启跨域访问支持，默认为false

http.cors.allow-origin:"*"  //跨域访问允许的域名地址

重启服务： systemctl restart elasticsearch

3.5 启动elasticsearch-head

cd /root/elk/elasticsearch-head

npm run start &

查看监听： netstat -anput | grep :9100

3.6 访问

http://192.168.42.3:9100

3.7 在node1的终端中输入：

curl  -XPUT  'localhost:9200/index-demo/test/1?pretty&pretty' -H  'Content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

刷新浏览器可以看到对应信息即可

4.node1服务器安装logstash

cd elk

rpm -ivh logstash-5.5.1.rpm

systemctl start logstash.service

In -s /usr/share/logstash/bin/logstash  /usr/local/bin/

测试1： 标准输入与输出

logstash -e 'input{ stdin{} }output { stdout{} }'

测试2： 使用rubydebug解码

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug }}'

测试3：输出到elasticsearch

logstash -e 'input { stdin{} } output { elasticsearch{ hosts=>["192.168.42.3:9200"]} }'

  查看结果：

http://192.168.42.3:9100

5.ogstash日志收集文件格式（默认存储在/etc/logstash/conf.d）

Logstash配置文件基本由三部分组成：input、output以及 filter（根据需要）。标准的配置文件格式如下：

input (...)  输入

filter {...}   过滤

output {...}  输出

在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：

input {

file{path =>"/var/log/messages" type =>"syslog"}

file { path =>"/var/log/apache/access.log"  type =>"apache"}

}

通过logstash收集系统信息日志

chmod o+r /var/log/messages

vim /etc/logstash/conf.d/system.conf

input {

file{

path =>"/var/log/messages"

type => "system"

start_position => "beginning"

}

}

output {

elasticsearch{

hosts =>["192.168.42.1:9200"]

index => "system-%{+YYYY.MM.dd}"

}

}

重启日志服务： systemctl restart logstash

查看日志： http://192.168.42.3:9100

6.node1节点安装kibana

cd elk

rpm -ivh kibana-5.5.1-x86_64.rpm

配置kibana

vim /etc/kibana/kibana.yml

server.port：5601  //Kibana打开的端口

server.host："0.0.0.0" //Kibana侦听的地址

elasticsearch.url： "http：//192.168.42.3:9200"  

//和Elasticsearch 建立连接

kibana.index：".kibana"  //在Elasticsearch中添加.kibana索引

启动kibana

systemctl start kibana

访问kibana :

http://192.168.42.3:5601

首次访问需要添加索引，我们添加前面已经添加过的索引：system-*

7.企业案例

收集httpd访问日志信息

在httpd服务器上安装logstash，参数上述安装过程，可以不进行测试

logstash在httpd服务器上作为agent（代理），不需要启动

编写httpd日志收集配置文件

vim /etc/logstash/conf.d/httpd.conf

input {

file{

path=>"/var/log/httpd/access_log" //收集Apache访问日志

type => "access" //类型指定为 access

start_position => "beginning" //从开始处收集

}

output{

elasticsearch {

hosts =>["192.168.42.3:9200"] // elasticsearch 监听地址及端口

index =>"httpd_access-%{+YYYY.MM.dd}" //指定索引格式

}

}

使用logstash命令导入配置：

logstash -f /etc/logstash/conf.d/httpd.conf

使用kibana查看即可！ http://192.168.42.3:5601   查看时在mangement选项卡创建索引httpd_access-*  即可！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/948859.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【行为树】py_trees 学习笔记

【行为树】py_trees 学习笔记

学习资料 《Introduction to behavior trees》 1. 概念说明 1.1 Action：pt.behaviour.Behaviour 在一个行为树中，Action 是一个叶节点（Leaf Node），它实际执行某种行为或任务，并返回成功、失败或运行中的…
阅读更多...
微服务·架构组件之注册与发现

微服务·架构组件之注册与发现

引言 微服务架构在现代软件开发中越来越受欢迎，它通过将系统拆分为多个小型、自治的服务来提高可维护性、可扩展性和灵活性。然而随着服务数量的增多，服务之间的通信何发现变得更加复杂。本报告旨在深入探讨微服务中的注册与发现，介绍其背景…
阅读更多...
使用rem + sass + 媒体查询 进行横竖屏适配移动端项目

使用rem + sass + 媒体查询 进行横竖屏适配移动端项目

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 一、 媒体查询（Media Query）1.简单了解2.简单例子3. 语法（1）媒体类型（mediatype ）&#xff0…
阅读更多...
【黑科技】游戏开发程序员必备工具【一】

【黑科技】游戏开发程序员必备工具【一】

👨‍💻个人主页：元宇宙-秩沅 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 秩沅 原创 👨‍💻 收录于专栏：效率…
阅读更多...
MongoDB实验——在Java应用程序中操作 MongoDB 数据

MongoDB实验——在Java应用程序中操作 MongoDB 数据

在Java应用程序中操作 MongoDB 数据 1. 启动MongoDB Shell 2. 切换到admin数据库，使用root账户 3.开启Eclipse，创建Java Project项目，命名为MongoJava File --> New --> Java Project 4.在MongoJava项目下新建包，包名为mo…
阅读更多...
【SpringBoot系列】 测试框架之@SpringBootTest的使用

【SpringBoot系列】 测试框架之@SpringBootTest的使用

SpringBootTest的详细介绍 SpringBootTest 是 Spring Boot 测试框架中的注解，用于标识一个测试类，以指示该类是一个 Spring Boot 应用程序的测试类。它允许你在测试环境中加载整个 Spring Boot 应用程序上下文，测试应用程序的各种组件、服务…
阅读更多...
如何备考 PMP 考试？

如何备考 PMP 考试？

一、PMP学习7步走攻略 ​1、熟悉考试大纲： PMP考试大纲是备考的基础，考生需要详细熟悉考试大纲，了解各个知识领域的重点和难点。 2、制定学习计划： 根据考试大纲和个人情况，制定学习计划，合理分配学习时间…
阅读更多...
OA项目之我的会议（查询会议排座送审）

OA项目之我的会议（查询会议排座送审）

目录 会议查询 会议排座 会议送审 思路： 关键性会议SQL的编写后台实现前台实现 会议查询 MeetingInfoDao.java // 通用的会议查询SQL语句，包含会议信息表数据，主持人姓名、审批人姓名、会议状态private String getSQL() {return "…
阅读更多...
android：新建工程文件介绍

android：新建工程文件介绍

一、前言当我们新建一个app时会呈现出固定的工程文件，这篇文章介绍新建工程里的文件。 二、介绍 Structure:就是你选择哪个页面就会显示那个页面的结构，就比如说我选择的是MainActivity他就会显示这个页面所使用的方法。 1-2：是android自动生…
阅读更多...
【ESP32】解决接串口助手时，无法启动问题

【ESP32】解决接串口助手时，无法启动问题

本文主要记录ESP32正常烧录程序后，接上串口助手就无法启动，报错 waiting for download，拔掉串口助手后，程序可以正常启动 📋 个人简介 💖 作者简介：大家好，我是喜欢记录零碎知识点的…
阅读更多...
小程序隐私保护授权处理方式之弹窗组件

小程序隐私保护授权处理方式之弹窗组件

欢迎点击关注-前端面试进阶指南：前端登顶之巅-最全面的前端知识点梳理总结 *分享一个使用比较久的🪜 小程序隐私保护授权弹窗组件 调用wx.getUserProfile进行授权时，返回错误信息：{errMsg: “getUserProfile:fail api scope is…
阅读更多...
nvm和volta对node版本控制的区别

nvm和volta对node版本控制的区别

前言——我们做前端开发的都会需要node.js环境，我们直接安装指定的版本可以么？可以，只不过在需要换版本的时候还得卸载重新装。那有工具可以帮助我们不用卸载就更改node版本么？有啊，nvm就可以。那又有没有什么工具不用…
阅读更多...
高忆管理：沪指震荡微涨，半导体板块走强，卫星导航概念拉升

高忆管理：沪指震荡微涨，半导体板块走强，卫星导航概念拉升

30日早盘，A股两市维持震动格式。到午间收盘，沪指涨0.06%报3137.72点，深成指涨0.33%，创业板指涨0.12%，两市合计成交6424亿元。北向资金净流出8.82亿元。盘面上，半导体、纺织机械、元器件、通信设备、软件服务…
阅读更多...
1.网络空间搜素引擎

1.网络空间搜素引擎

网络空间搜素引擎 地址 ：shodan.io 简介 ： 这句话还是有点东西得 。 区别： 平常得搜素引擎主要搜网页，shadan可以搜所以带有ip地址的设备。使用 ： 1.提供官方api 2.可以去淘宝15元买个初级会员 3.过滤器查看官方…
阅读更多...
C# Dapper 操作Oracle数据库

C# Dapper 操作Oracle数据库

nuget安装内容 1.配置连接字符串 OracleConnectionString这个可用 {"Logging": {"LogLevel": {"Default": "Information","Microsoft.AspNetCore": "Warning"}},"AllowedHosts": "*","…
阅读更多...
多维时序 | Matlab实现GRU-Adaboost和GRU多变量时间序列预测对比

多维时序 | Matlab实现GRU-Adaboost和GRU多变量时间序列预测对比

多维时序 | Matlab实现GRU-Adaboost和GRU多变量时间序列预测对比 目录 多维时序 | Matlab实现GRU-Adaboost和GRU多变量时间序列预测对比预测效果基本介绍模型描述程序设计参考资料 预测效果 基本介绍 多维时序 | Matlab实现GRU-Adaboost和GRU多变量时间序列预测对比 模型描述 M…
阅读更多...
基于Googlenet深度学习网络的螺丝瑕疵检测matlab仿真

基于Googlenet深度学习网络的螺丝瑕疵检测matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 ....................................................................................% 获…
阅读更多...
python爬虫关于ip代理池的获取和随机生成

python爬虫关于ip代理池的获取和随机生成

前言 在进行爬虫开发时，代理IP池是一个非常重要的概念。代理IP池是指一个包含多个可用代理IP的集合，这些代理IP可以用来绕过网站的防爬虫策略，从而提高爬取数据的成功率。 在本文中，我们将介绍如何获取代理IP池，并且随…
阅读更多...
统一使用某一个包管理工具，比如yarn pnpm

统一使用某一个包管理工具，比如yarn pnpm

原因：前端每个人的习性不一样，有人用npm 有人用yarn等包管理工具，混合下载插件容易出bug，就用个小工具锁住就行了，只能使用yarn或者pnpm反向下载依赖和下载插件。不然就报错 1.在项目主目录下创建preinstall.js // 如…
阅读更多...
直播预告！生鲜与零售商品识别系统产业实践与部署详解

直播预告！生鲜与零售商品识别系统产业实践与部署详解

生鲜零售作为民生消费的重要一环，在促进行业新消费升级的进程中有着至关重要的作用。在超市等无人零售场景中，目前结算方式主要有以下几种： 但是以上几种方法存在如下缺点： 条形码方式：对于成品包装的商品较为成熟&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023