先决条件参考
虚拟机部署elasticsearch集群-CSDN博客
下载并安装filebeat的rpm包
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.18-x86_64.rpm
rpm -vi filebeat-7.17.18-x86_64.rpm修改配置文件
配置文件内容可以参考
Repositories for APT and YUM | Filebeat Reference [7.17] | Elastic 根据实际的情况进行input配置.
mkdir /etc/filebeat/config
cat > /etc/filebeat/config/01-stdin-to-console.yml <<'EOF'
# 指定输⼊的类型
filebeat.inputs:
# 指定输⼊的类型为"stdin",表示标准输⼊
- type: stdin
# 指定输出的类型
output.console:
# 打印漂亮的格式
pretty: true
EOF
#启动filebeat
filebeat -e -c /etc/filebeat/config/01-stdin-to-console.yml以下是支持的input形式
以下是支持的output的支持类型
说明一下,这里只使用了标准输入形式和命令行终端输出形式作为filebeat的输入输出,更多的输入输出选择可以参考官方文档.
Repositories for APT and YUM | Filebeat Reference [7.17] | Elastic
其中的Configure 中有inputs 和output类型可供选择,根据不同的情况配置不同的类型即可.
说明一下日志类型的输入是有一个偏移量文件作为filebeat的输入标准的.
这个文件默认在 /var/lib/filebeat/registry/filebea/ 目录下.这里面的日志在做清理的时候需要注意.不然的话会导致日志重复采集,导致数据量暴增
[root@elk102 filebeat[]# pwd
/var/lib/filebeat/registry/filebeat
[root@elk102 filebeat[]# ls
log.json meta.json
其中的log.json就是filebeat每次采集日志时的参照.其中的offset表示从哪里开始 source 表示数据源在哪.再说明一下.如果meta.json文件被清理了.那么会导致服务起不起来..清理之前建议先做备份处理.
