ElasticSearch
1、ElasticSearch学习随笔之基础介绍
2、ElasticSearch学习随笔之简单操作
3、ElasticSearch学习随笔之java api 操作
4、ElasticSearch学习随笔之SpringBoot Starter 操作
5、ElasticSearch学习随笔之嵌套操作
6、ElasticSearch学习随笔之分词算法
7、ElasticSearch学习随笔之高级检索
8、ELK技术栈介绍
9、Logstash部署与使用
文章目录
- ElasticSearch
- 前言
- 一、什么是Logstash？
- 1.1 Logstash介绍
- 1.2 Logstash 核心概念
- 二、Logstash安装
前言
Logstash是一个收集与处理数据的引擎，就像ElasticSearch是专门用来检索的引擎一样，Logstash用于收集、处理和转换各种数据源（文件、数据库、网站等）的数据，并将其转换为统一的格式。
Logstash支持多种插件，进行数据过滤、转换和输出，可以方便地与 ES 和 Kibana 集成使用。
还支持多线程处理和事件模型，可以在大规模数据处理场景下提供高性能、高可用的服务。
一、什么是Logstash？
1.1 Logstash介绍
什么是Logstash呢，简单说就是它有很多数据处理管道，Logstash是免费开放的服务器数据处理管道，从多个来源采集数据、处理数据，再发送数据到指定的存储介质中去。
如上图所示，Logstash通过 INPUT（管道） 输入数据，通过 FILTERS（管道） 处理完成之后，再通过 OUTPUTS （管道）输出到 ES 中。
1.2 Logstash 核心概念
Pipeline ：
- 包含了 input > filter > output 三个阶段的处理流程
- 插件生命周期管理
- 队列管理
Event ：
数据在内部流转的一个具体表现形式，数据在 INPUT 阶段被转换成了 Event，在 OUTPUT 被转换为目标格式的数据，Event 就是一个 Java Object 对象，可在配置文件中对属性进行增删改查操作。
Codec（Code / Decode）：
将原始数据 decode 成 Event， 再将 Event encode 成目标数据。
二、Logstash安装
- 从官网下载 Logstash并解压，Linux 直接用 wget 命令下载：
wget https://artifacts.elastic.co/downloads/logstash/logstash-8.7.0-linux-x86_64.tar.gz
tar -zxvf logstash-8.7.0-linux-x86_64.tar.gz
- 通过命令测试：
bin/logstash -e 'input { stdin { } } output { stdout {} }'
当看到 Pipelines running … 表示启动完成，输入 “Hello” 测试，结果如下：
在我输入了 ‘Hello’ 之后，输出了一堆信息，测试成功。
未完待续！！！
