【分布式技术】Elastic Stack部署，实操logstash的过滤模块常用四大插件

news2024/9/25 23:18:29

目录

一、Elastic Stack，之前被称为ELK Stack

完成ELK与Filebeat对接

步骤一：安装nginx做测试

 步骤二：完成filebeat二进制部署

步骤三：准备logstash的测试文件filebeat.conf

步骤四：完成实验测试

二、logstash拥有强大的过滤功能，常用四种插件

1、grok

 步骤一：现在logstash的conf文件中进行filter模块的修改，添加grok插件

步骤二：完成语法测试，先测试完成

步骤三：filebeat与logstash对接  logstash与ES进行对接

​编辑

2、multiline

步骤一：准备测试日志文件

 步骤二：准备logstash的conf文件，在filter模块中配置multiline插件

步骤三：语法测试并启动logstash与ES对接

步骤五：查看kibana 进行验证

3、date

步骤一：先完成logstash的conf文件编写，完成语法检测以及启动

​编辑

步骤二：kibana前端界面验证

4、mutate数据修改插件

步骤一：准备测试文件filebeat.conf 

步骤二：完成语法检测和启动对接

​编辑步骤三： 刷新nginx访问页面 在kibana页面验证效果

一、Elastic Stack，之前被称为ELK Stack

完成ELK与Filebeat对接

步骤一：安装nginx做测试

 

 步骤二：完成filebeat二进制部署

步骤三：准备logstash的测试文件filebeat.conf

input{
   beats {port => "5044"}
}

#filter{}

output{
    elasticsearch{
        hosts => ["192.168.20.10:9200","192.168.20.8:9200","192.168.20.18:9200"]
        index => "%{[fields][server_name]}-%{[fields][log_type]}-%{[fields][from]}-%{+yyyy.MM.dd}"
    }
    stdout {  ##表示测试的时候，如果屏幕输出内容了，那么表示logstash与ES对接成功，如果没有输出内容，那么可能filebeat与logstash对接失败
        codec => rubydebug
    }
}


[root@nginx-test conf.d]#logstash -f filebeat.conf -t
##语法检测

 

步骤四：完成实验测试

[root@filebeat-test /usr/local/filebeat]#./filebeat -e -c filebeat.yml 
##完成filebeat与logstash对接 注意命令的位置

 

[root@nginx-test conf.d]#logstash -f filebeat.conf
##完成logstash与ES集群对接

 

 

实验完成

 

二、logstash拥有强大的过滤功能，常用四种插件

1、grok

grok可以将大文本字段分片成若干的小字段，如刚刚的日志文件，一行的信息太多，需要将message这个大文本字段给分片成若干的小字段如访问ip、请求方法、URL、状态码等

grok有两种格式（并且支持混用）

内置正则匹配格式：%{内置正则表达式:自定义的小字段名称}
自定义正则匹配格式：(?<自定义的小字段名称>自定义的正则表达式)

同时可以先在kibana的开发工具上做测试

192.168.20.1 - - [19/Jan/2024:17:08:24 +0800] "GET /123.html HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.0.0" "-"

%{IP:client_addr}.*\[(?<quest_time>.*)\] "%{WORD:quest_method} %{URIPATHPARAM:url_method} .*" (?<response_code>\d+) .* "(?<referer_url>.*)" "(?<agent>.*)".*

##实际就是用正则表达式，表达这一整行的内容

完成logstash测试

 步骤一：现在logstash的conf文件中进行filter模块的修改，添加grok插件

[root@nginx-test conf.d]#cat filebeat.conf 
input{
   beats {port => "5044"}
}

filter{
    grok{
       match => { "message" => "%{IP:client_addr}.*\[(?<quest_time>.*)\] \"%{WORD:quest_method} %{URIPATHPARAM:url_method} .*\" (?<response_code>\d+) .* \"(?<referer_url>.*)\" \"(?<agent>.*)\".*" }
    }
}

output{
    elasticsearch{
        hosts => ["192.168.20.10:9200","192.168.20.8:9200","192.168.20.18:9200"]
        index => "%{[fields][server_name]}-%{[fields][log_type]}-%{[fields][from]}-%{+yyyy.MM.dd}"
    }
}

步骤二：完成语法测试，先测试完成

[root@nginx-test conf.d]#logstash -f filebeat.conf -t

步骤三：filebeat与logstash对接  logstash与ES进行对接

 

2、multiline

通常来讲，日志中一条信息以一行记录，但是有的java应用的日志会分为多行记录

那么multiline作用是将多行日志内容合并成一整行  

  • pattern：用来匹配文本的表达式，也可以是grok表达式
  • negate：是否对pattern的结果取反。false：不取反，是默认值。true：取反。将多行事件扫描过程中的行匹配逻辑取反（如果pattern匹配失败，则认为当前行是多行事件的组成部分）
  • what：如果pattern匹配成功的话，那么匹配行是归属于上一个事件，还是归属于下一个事件。previous: 归属于上一个事件，向上合并。next: 归属于下一个事件，向下合并

举例实操

现在有java日志在/opt/java.log中，如图

步骤一：准备测试日志文件

 步骤二：准备logstash的conf文件，在filter模块中配置multiline插件

[root@nginx-test conf.d]#cat java.conf 
input{
    file {
	path => "/opt/java.log"
	start_position => "beginning"
	sincedb_path => "/etc/logstash/sincedb_path/log_progress"
  }
}

filter {
  multiline {
    pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}.\d{3}"
    negate => true
    what => "previous"
  }
}
output{
	elasticsearch {
	    hosts => ["192.168.20.10:9200","192.168.20.8:9200","192.168.20.18:9200"]
	    index => "java-%{+yyyy.MM.dd}"
	}
}

步骤三：语法测试并启动logstash与ES对接

步骤五：查看kibana 进行验证

3、date

用于分析字段中的日期，然后使用该日期或时间戳作为事件的logstash时间戳。

痛点：

毕竟我这个url是静态的 相对动态请求比较快 而且字节数比较小。就这样的情况下 logstash接收时间与日志时间也是会有延迟的那么对于 生产中的 比如除 查询 当然是想统一一个标准 以日志时间为时间戳那么就需要用到date插件

比如还是刚刚的filebeat采集的nginx日志，现在想要实现访问的日志时间与logstash的时间一致

步骤一：先完成logstash的conf文件编写，完成语法检测以及启动

[root@nginx-test conf.d]#cat filebeat.conf 
input{
   beats {port => "5044"}
}

filter{
    grok{
       match => { "message" => ".*\[(?<quest_time>.*)\].*" }
    }
    date{
        match => ["quest_time", "dd/MMM/YYYY:HH:mm:ss Z"]
        target => "@timestamp"
	timezone => "Asia/Shanghai"
    } 
}

output{
    elasticsearch{
        hosts => ["192.168.20.10:9200","192.168.20.8:9200","192.168.20.18:9200"]
        index => "%{[fields][server_name]}-%{[fields][log_type]}-%{[fields][from]}-%{+yyyy.MM.dd}"
    }
}

步骤二：kibana前端界面验证

 

4、mutate数据修改插件

它提供了丰富的基础类型数据处理能力。可以重命名，删除，替换和修改事件中的字段。

//Mutate 过滤器常用的配置选项

add_field   向事件添加新字段，也可以添加多个字段
remove_field 从事件中删除任意字段，只能删掉logstash添加的字段 如果是filebeat设置的则不能删除
add_tag   向事件添加任意标签，在tag字段中添加一段自定义的内容，当tag字段中超过一个内容的时候会变成数组  
remove_tag   从事件中删除标签（如果存在）
convert   将字段值转换为另一种数据类型
id   向现场事件添加唯一的ID
lowercase   将字符串字段转换为其小写形式
replace   用新值替换字段
strip   删除开头和结尾的空格
uppercase   将字符串字段转换为等效的大写字母
update   用新值更新现有字段
rename   重命名事件中的字段
gsub   通过正则表达式替换字段中匹配到的值
merge   合并数组或hash事件
split通过指定的分隔符分割字段中的字符串为数组
rename                重命名事件中的字段
gsub                通过正则表达式替换字段中匹配到的值
merge                合并数组或 hash 事件
split               通过指定的分隔符分割字段中的字符串为数组

步骤一：准备测试文件filebeat.conf 

[root@nginx-test conf.d]#cat filebeat.conf 
input{
   beats {port => "5044"}
}

filter{
    grok{
       match => { "message" => "%{IP:client_addr}.*\[(?<quest_time>.*)\] \"%{WORD:quest_method} %{URIPATHPARAM:url_method} .*\" (?<response_code>\d+) .* \"(?<referer_url>.*)\" \"(?<agent>.*)\".*" }
    }
    mutate{
       remove_field => ["message","@version","beat.name"]
       add_field => {
            "f1" => "one"
            "f2" => "two"
    }
       rename => {"source" => "log_path"}
       replace => { "agent" => "computer" }
       gsub => ["response_code", "", "状态码" ]
    }

    date{
        match => ["quest_time", "dd/MMM/YYYY:HH:mm:ss Z"]
        target => "@timestamp"
	timezone => "Asia/Shanghai"
    } 
}

output{
    elasticsearch{
        hosts => ["192.168.20.10:9200","192.168.20.8:9200","192.168.20.18:9200"]
        index => "%{[fields][server_name]}-%{[fields][log_type]}-%{[fields][from]}-%{+yyyy.MM.dd}"
    }
}

步骤二：完成语法检测和启动对接

步骤三： 刷新nginx访问页面 在kibana页面验证效果

拓展 

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1397068.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【REMB 】翻译：草案remb-03

【REMB 】翻译：草案remb-03

REMB REMB消息 以及 绝对时间戳选项 在带宽估计中的使用 ：an absolute-value timestamp option for use in bandwidth estimatoin. 接收方带宽估计的RTCP消息 REMB 这位大神翻译的更好。 RTCP message for Receiver Estimated Maximum Bitrate draft-alvestrand-rmcat-remb-03…
阅读更多...
vite多页面打包学习（一）

vite多页面打包学习（一）

一、前期准备 首先初始化两套独立的vue实例和相关生态&#xff08;多页面嘛&#xff09;&#xff0c;如下 我在src文件下创建了pages大文件夹&#xff0c;并初始化了两套页面分别为index和page1&#xff0c;每套页面都有自己单独的组件、路由、状态、入口等等&#xff0c;这里…
阅读更多...
python数字图像处理基础（十一）——光流估计

python数字图像处理基础（十一）——光流估计

目录 概念Lucas-Kanade算法函数表达式 概念 光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”&#xff0c;根据各个像素点的速度矢量特征&#xff0c;可以对图像进行动态分析&#xff0c;例如目标跟踪。要求如下&#xff1a; 亮度恒定&#xff1a;同一点随着时间…
阅读更多...
FPGA之分布RAM(1)

FPGA之分布RAM(1)

SLICEM 资源可以实现分布式 RAM。可以实现的 RAM 类型&#xff1a; 单口 RAM 双端口 简单的双端口 四端口 下表给出了通过1SLICEM中的4个LUT可以实现的RAM类型 1.32 X2 Quad Port Distributed RAM 我们介绍过把 6 输入 LUT 当作 2 个 5输入 LUT 使用&#xff0c;在这里&a…
阅读更多...
easyui渲染隐藏域＜input type=“hidden“ /＞为textbox可作为分割条使用

easyui渲染隐藏域＜input type=“hidden“ /＞为textbox可作为分割条使用

最近在修改前端代码的时候&#xff0c;偶然发现使用javascript代码渲染的方式将<input type"hidden" />渲染为textbox时&#xff0c;会显示一个神奇的效果&#xff0c;这个textbox输入框并不会隐藏&#xff0c;而是显示未一个细条&#xff0c;博主发现非常适合…
阅读更多...
【2015~2024】大牛直播SDK演化史

【2015~2024】大牛直播SDK演化史

大牛直播SDK的由来 大牛直播SDK始于2015年&#xff0c;最初我们只是想做个低延迟的RTMP推拉流解决方案&#xff0c;用于移动单兵等毫秒级延迟的场景下&#xff0c;我们先是实现了Android平台RTMP直播推送模块&#xff0c;当我们用市面上可以找到的RTMP播放器测试时延的时候&am…
阅读更多...
Debezium发布历史75

Debezium发布历史75

原文地址&#xff1a; https://debezium.io/blog/2019/10/22/audit-logs-with-kogito/ 欢迎关注留言&#xff0c;我是收集整理小能手&#xff0c;工具翻译&#xff0c;仅供参考&#xff0c;笔芯笔芯. 使用 Kogito 进行审核日志的管理服务 十月 22, 2019 作者&#xff1a; Mac…
阅读更多...
三维重建（3）--单视几何

三维重建（3）--单视几何

目录 一、无穷远点、无穷远线、无穷远平面 1、2D平面上的无穷远问题 2、3D平面上的无穷远问题 二、影消点与影消线 1、2D平面上的无穷远点&#xff0c;无穷远线变换 2、影消点 3、影消线 三、单视重构 1、两平行线夹角与影消线关系 2、单视图标定 一、无穷远点、无…
阅读更多...
Apifox 国产接口自动化利器 之入门篇

Apifox 国产接口自动化利器 之入门篇

Apifox 产品介绍 Apifox 是集 API 文档、API 调试、API Mock、API 自动化测试多项实用功能为一体的 API 管理平台&#xff0c;定位为 Postman Swagger Mock JMeter。旨在通过一套系统、一份数据&#xff0c;解决多个工具之间的数据同步问题。只需在 Apifox 中定义 API 文档…
阅读更多...
Java 全栈知识点问题汇总（上）

Java 全栈知识点问题汇总（上）

Java 全栈知识点问题汇总&#xff08;上&#xff09; 1 Java 基础 1.1 语法基础 面向对象特性&#xff1f;a a b 与 a b 的区别3*0.1 0.3 将会返回什么? true 还是 false?能在 Switch 中使用 String 吗?对equals()和hashCode()的理解?final、finalize 和 finally 的不同…
阅读更多...
Win10 打开文件突然鼠标变成一个蓝色大圈卡住点不了也打不开文件，重启电脑也是这样

Win10 打开文件突然鼠标变成一个蓝色大圈卡住点不了也打不开文件，重启电脑也是这样

环境： Win10 专业版 加密客户端环境 问题描述： Win10 打开桌面word文件突然鼠标变成一个蓝色大圈卡住点不了也打不开文件，重启电脑也是这样，只有蓝色圈变大没有鼠标指针出现圈卡着不会动，和那些有鼠标箭头加小蓝色圈不一样 解决方案： 某网上查看的，还是要自己排查…
阅读更多...
OceanBase集群扩缩容

OceanBase集群扩缩容

​ OceanBase 数据库采用 Shared-Nothing 架构&#xff0c;各个节点之间完全对等&#xff0c;每个节点都有自己的 SQL 引擎、存储引擎、事务引擎&#xff0c;天然支持多租户&#xff0c;租户间资源、数据隔离&#xff0c;集群运行的最小资源单元是Unit&#xff0c;每个租户在每…
阅读更多...
LeetCode、2300. 咒语和药水的成功对数【中等，排序+二分】

LeetCode、2300. 咒语和药水的成功对数【中等，排序+二分】

文章目录 前言LeetCode、2300. 咒语和药水的成功对数【中等&#xff0c;排序二分】题目及类型思路及代码 资料获取 前言 博主介绍&#xff1a;✌目前全网粉丝2W&#xff0c;csdn博客专家、Java领域优质创作者&#xff0c;博客之星、阿里云平台优质作者、专注于Java后端技术领域…
阅读更多...
聚铭入选“2023中国数字安全能力图谱（精选版）”安全运营领域

聚铭入选“2023中国数字安全能力图谱（精选版）”安全运营领域

近日&#xff0c;国内权威数字安全领域第三方调研机构数世咨询正式发布《2023年度中国数字安全能力图谱&#xff08;精选版&#xff09;》。聚铭网络作为国内领先的安全运营商&#xff0c;凭借在细分领域突出优势&#xff0c;成功入选该图谱“安全运营”领域代表厂商。 据悉&a…
阅读更多...
python tkinter 最简洁的计算器按钮排列

python tkinter 最简洁的计算器按钮排列

代码如下&#xff0c;只要再加上按键绑定事件函数&#xff0c;计算器既可使用了。 import tkinter as tk from tkinter.ttk import Separator,Buttonif __name__ __main__:Buttons [[%,CE,C,←],[1/x,x,√x,],[7, 8, 9, x],[4, 5, 6, -],[1, 2, 3, ],[, 0, ., ]]root tk.T…
阅读更多...
MyBatis 使用报错： Can‘t generate mapping method with primitive return type

MyBatis 使用报错： Can‘t generate mapping method with primitive return type

文章目录 前言问题原因解决方案个人简介 前言 今天在新项目中使用 MyBatis 报如下错误&#xff1a;Cant generate mapping method with primitive return type 问题原因 发现是 Mapper 注解引入错误&#xff0c;错误引入 org.mapstruct.Mapper, 实际应该引入 org.apache.ibat…
阅读更多...
FlinkAPI开发之状态管理

FlinkAPI开发之状态管理

案例用到的测试数据请参考文章&#xff1a; Flink自定义Source模拟数据流 原文链接&#xff1a;https://blog.csdn.net/m0_52606060/article/details/135436048 Flink中的状态 概述 有状态的算子 状态的分类 托管状态&#xff08;Managed State&#xff09;和原始状态&…
阅读更多...
如何实现 H5 秒开？

如何实现 H5 秒开？

我在简历上写了精通 H5&#xff0c;结果面试官上来就问&#xff1a; 同学&#xff0c;你说你精通 H5 &#xff0c;那你能不能说一下怎么实现 H5 秒 由于没怎么做过性能优化&#xff0c;我只能凭着印象&#xff0c;断断续续地罗列了几点&#xff1a; 网络优化&#xff1a;http2、…
阅读更多...
JOSEF约瑟 双位置继电器UEG/C-4H4D AC220V 新款导轨安装 端子号可订做

JOSEF约瑟 双位置继电器UEG/C-4H4D AC220V 新款导轨安装 端子号可订做

系列型号&#xff1a; UEG/C-2H双稳态中间继电器&#xff1b;UEG/C-1H1D双稳态中间继电器&#xff1b; 双稳态中间继电器UEG/C-4H4D&#xff1b;UEG/C-3H1D双稳态中间继电器&#xff1b; UEG/C-2H2D双稳态中间继电器&#xff1b;UEG/C-4H双稳态中间继电器&#xff1b; UEG/…
阅读更多...
HarmonyOS—开发环境诊断的功能

HarmonyOS—开发环境诊断的功能

为了大家开发应用/服务的良好体验&#xff0c;DevEco Studio提供了开发环境诊断的功能&#xff0c;帮助大家识别开发环境是否完备。可以在欢迎界面单击Help > Diagnose Development Environment进行诊断。如果已经打开了工程开发界面&#xff0c;也可以在菜单栏单击Help >…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023