ELFK集群部署（Filebeat+ELK）本地收集nginx日志远程收集多个日志

news2024/11/16 3:37:16

filebeat是一款轻量级的日志收集工具，可以在非JAVA环境下运行。

因此，filebeat常被用在非JAVAf的服务器上用于替代Logstash，收集日志信息。
实际上，Filebeat几乎可以起到与Logstash相同的作用，
可以将数据转发到Logstash、Redis或者是Elasticsearch中进行直接处理。

为什么要用filebeat来收集日志？为什么不直接使用lohstash收集日志？
因为logstash是jvm跑的，资源消耗比较大，启动一个logstash就需要消耗500M左右的内存
（这就是为什么logstash启动特别慢的原因）。

而filebeat只需要10M左右的内存资源。
常用的ELK日志采集方案中，大部分的做法就是将所有节点的日志内容通过filebeat发送到logstash，
lostash根据配置文件进行过滤，然后将过滤之后的文件传输到elasticsearch中，最后通过kibana展示。

filebeat结合logstash带来的好处？
1、通过logstash，具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，
从而减轻Elasticsearch持续写入数据的压力。

2、从其它数据源（例如数据库，s3对象存储或消息传递队列）中提取

3、将数据发送到多个目的地，例如S3，HDFS（hadoop分部署文件系统）或写入文件

4、使用数据流逻辑组成更复杂的处理管道。

先部署ELK集群

4台机器

####ELK1##

防火墙

改名

更改工作目录

#######同步操作：

安装时间工具

yum install ntpdate -y

ntpdate ntp.aliyun.com

任意一台机器输入data 查看时间是否有一致

####ELK1##################

为了方便识别修改httpd 和NGINX的工作目录

这个NGINX是yum安装的工作目录如下

编译安装是 /usr/local/nginx/

页面测试一下端口老师上课改过 nginx是8080（没记录改的过程）

本来nginx的默认端口是80

不输入端口默认是80

######如何来本地收集niginx的日志

设置 filebeat 的主配置文件

给nginx的日志赋权权限能够读取日志内容

改配置之前先备份filebeat的配置文件，防止失误

配置输出流

5044是filebeat的默认端口

把outputs的下面elastisearch全部注释掉因为日志只能发送给一个这里发送给logstash

打开logstash的注释修改ip地址

eastiscearch注释掉

修改为

删除下面

查看nginx的日志格式

注意空格和- 输入下面

注意格式对齐

标识为nginx

索引名字为 192168.233.11_nginx

l类型为nginx

日志来源192.168.233.11

####配置logsatsh

5044是filebeat的默认端口

少了input 在后面截图

input {
beats { port => "5044" }

}

output {
if "nginx" in [tags] {
elasticsearch {
hosts => ["192.168.233.12:9200","192.168.233.13:9200"]
index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"

}

stdout {
codec => rubydebug
}
}

#启动 filebeat

开启收集日志

nohup ./filebeat -e -c filebeat.yml > filebeat.out &

nohup 表示在后台记录执行命令的过程
./filebeat 运行文件
-e 使用标准输出的同时进行syslog文件输出
·c 指定配置文件
执行过程输出到filebeat.out这个文件当中，& 后台运行

开一台elk1、查看输出日志的文件

查看日志发现报错

指定配置文件，再指定到数据工作目录

logstash -f file_nginx.conf --path.data /opt/test1 &

这个命令将启动logstash并使用file_nginx.conf作为配置文件，–path.data参数指定了logstash的数据目录为/opt/test1。&符号表示在后台运行logstash

c测试下

索引已经创建成功

kabana也有索引

左边选定字段

logstash通过filebeat远程收集多个日志

服务器装 mysql nginx httpd

在mysql 上192.168.233.21

日志目录一生成

cat mysql_general.log

创表数据日志已生产

装 nginx httpd

改下端口防止端口冲突

拖入安装包filebeat

j解压

改名

备份

把这之间注释掉的信息全部删除留着没用

注释掉下一个output

打开注释，输入Lostash的IP

开一台mysql、

查看NGINX的日志目录路径格式给NGINX日志目录授权

查看httpd目录路径格式给httpd 日志目录授权

查看MySQL的日志目录路径格式，授权

- type: log
enabled: true
paths:
- /var/log/nginx/access.log
- /var/log/nginx/error.log
tags: ["nginx"]
fields:
service_name: 192.168.233.21_nginx
log_type: nginx
from: 192.168.233.21

- type: log
enabled: true
paths:
- /etc/httpd/logs/access_log
- /etc/httpd/logs/error_log
tags: ["httpd"]
fields:
service_name: 192.168.233.21_httpd
log_type: httpd
from: 192.168.233.21

- type: log
enabled: true
paths:
- /usr/local/mysql/data/mysql_general.log
tags: ["mysql"]
fields:
service_name: 192.168.233.21_mysqld
log_type: mysql
from: 192.168.233.21

标识方便识别再次修改下