Filebeat（Beats）详细介绍与使用

news2024/10/6 20:27:57

1. 什么是 Beats?

Beats 是开源数据传送器，将其作为代理安装在服务器上，以将操作数据发送到 Elasticsearch。

Elastic提供Beats用于捕获：

  • 审核数据：Auditbeat

  • 日志文件和日志：Filebeat

  • 云数据：Functionbeat

  • 可用性：Heartbeat

  • 指标：Metricbeat

  • 网络流量：Packetbeat

  • Windows 事件日志：Winlogbeat

Beats 可以将数据直接发送到 Elasticsearch 或通过 Logstash，可以在其中进行进一步处理并增强数据，然后在 Kibana 中可视化数据。
1

1.1. 配置文件格式

Beats 配置文件基于 YAML，这是一种 比其他常见的数据格式（如 XML 或 JSON）更易于读取和写入。 配置文件必须用 UTF-8 编码。

在 beats 中，所有 YAML 文件都以字典开头，字典是名称/值对。

  • 除了字典，YAML 还支持列表、数字、字符串和许多其他数据类型。

  • 同一列表或字典的所有成员必须具有相同的缩进级别。

字典由简单对表示，所有对都具有相同的缩进级别。后面的冒号后面必须跟一个空格。key: value key

name: John Doe
age: 34
country: Canada

列表由破折号“-”引入。所有列表成员都将以行开头与“-”处于相同的缩进级别。

- Red
- Green
- Blue

Beats 中使用列表和词典来构建结构化配置。

filebeat:
  inputs:
    - type: log
      paths:
        - /var/log/*.log
      multiline:
        pattern: '^['
        match: after

列表和词典也可以用缩写形式表示。缩写 form 有点类似于用于字典和列表的 JSON：{} []

person: {name: "John Doe", age: 34, country: "Canada"}
colors: ["Red", "Green", "Blue"]

1.2. 命名空间

所有设置都使用字典和列表进行结构化。读取配置文件时，通过使用设置名称的完整路径及其父结构名称创建设置，这些设置被折叠为“命名空间”设置。
例如：

output:
  elasticsearch:
    index: 'beat-%{[agent.version]}-%{+yyyy.MM.dd}'

折叠成：output.elasticsearch.index: 'beat-%{[agent.version]}-%{+yyyy.MM.dd}'（设置的全名基于所有涉及的父结构）

列表创建从0开头的数字名称。
例如，此 filebeat 设置：

filebeat:
  inputs:
    - type: log

折叠成：filebeat.inputs.0.type: log

  • 除了使用缩进，设置名称也可以以折叠的形式使用。
  • 具有相同完全折叠路径的两个设置是无效的。

具有部分折叠设置名称和使用紧凑形式的简单 filebeat 示例：

filebeat.inputs:
- type: log
  paths: ["/var/log/*.log"]
  multiline.pattern: '^['
  multiline.match: after

output.elasticsearch.hosts: ["http://localhost:9200"]

1.3. 配置文件数据类型

配置设置的值按照Beats的要求进行解释。如果一个值不能正确解释为所需的类型 - 例如，当需要数字时给定了一个字符串 - 则Beat将无法启动。
布尔值可以是true或false。true的替代名称是on和yes，而false的替代名称是off和no。

enabled: true
disabled: false

数字值要求输入要使用的数字，不使用单引号或双引号。但是，一些设置仅支持受限数字范围。

integer: 123
negative: -1
float: 5.4

字符串

在YAML中，支持多种字符串定义样式：双引号样式、单引号样式和无引号样式。

双引号样式使用双引号括起字符串。这种样式支持使用\转义不可打印字符，但需要注意要转义双引号和反斜杠字符。

单引号样式使用单引号括起字符串。这种样式不支持转义，只能使用可打印字符。

无引号样式不需要引号，但不支持任何转义，同时需要注意不要使用在YAML中具有特殊含义的符号。

string1: "example"
string2: 'example'
string3: example

持续时间需要一个数值，可选的小数部分和必需的单位。有效的时间单位有ns、us、ms、s、m、h。有时基于持续时间的功能可以通过使用零或负持续时间来禁用。

duration1: 2.5s
duration2: 6h
duration_disabled: -1s

正则表达式是特殊字符串，在加载时编译为正则表达式。

由于正则表达式和YAML在字符串中使用\转义字符，因此建议在定义正则表达式时使用单引号字符串。使用单引号字符串时，YAML解析器不会将字符\解释为转义符。

regex: '/pattern/'

格式字符串（sprintf）允许引用事件字段值，根据当前正在处理的事件创建字符串。

变量扩展包含在扩展括号中。

事件字段使用字段引用来访问。

可以在事件字段缺失时指定可选的默认值。format_string: '%{[field]}'

还可以使用格式将字段中存储的时间进行格式化。time_format: '@timestamp+FORMAT'

constant-format-string: 'constant string'
field-format-string: '%{[fieldname]} string'
format-string-with-date: '%{[fieldname]}-%{+yyyy.MM.dd}'

1.4. 环境变量

可以在配置文件中使用环境变量引用来设置需要在部署期间进行配置的值。

  • ${VAR}是环境变量的名称。

    • 每个变量引用在启动时都会被环境变量的值替换。

  • 替换是大小写敏感的，并且发生在解析YAML文件之前。

对未定义变量的引用将被替换为空字符串，除非指定了默认值或自定义错误文本。

  • 指定默认值，请使用：${VAR:default_value}
    • 其中default_value是在环境变量未定义时要使用的值。
  • 指定自定义错误文本，请使用：${VAR:?error_text}
    • 其中error_text是当无法扩展环境变量时将被添加到错误消息之前的自定义文本。
  • 要在配置文件中使用特殊字符，请使用$${}来转义扩展。
    • 例如，可以使用$${}来转义$或${}。
  • 更改环境变量的值后，需要重新启动Beat以获取新值。
  • 还可以在从命令行覆盖配置设置时指定环境变量，方法是使用选项-E。例如：
-E name=${NAME}

示例：以下是一些使用环境变量的配置示例以及替换后的每个配置的样子

配置源环境设置替换后的配置
name: ${NAME}export NAME=elasticname: elastic
name: ${NAME}无设置name:
name: ${NAME:beats}无设置name: beats
name: ${NAME:beats}export NAME=elasticname: elastic
name: ${NAME:?You need to set the NAME environment variable}无设置None 返回以自定义文本开头的错误消息。
name: ${NAME:?You need to set the NAME environment variable}export NAME=elasticname: elastic

  • 指定环境变量中的复杂对象编辑

    • 可以使用类似 JSON 的语法在环境变量中指定复杂对象，如列表或字典。

      • 与JSON一样，使用{}和[]构造字典和列表。

      • 但与JSON不同，该语法允许尾部逗号和略有不同的字符串引号规则。

      • 字符串可以是无引号、单引号或双引号，这是为了方便设置简单设置，并能够在shell中混合引号使用。

      • 顶层的数组不需要括号()。

例如，以下环境变量设置为列表：

ES_HOSTS="10.45.3.2:9220,10.45.3.1:9230"

可以在配置文件中引用此变量：

output.elasticsearch:
hosts: '${ES_HOSTS}'

当Beat加载配置文件时，它会解析环境变量并在读取设置之前将其替换为指定的列表。

1.5. 参考变量

  • Beats 设置可以引用其他设置，将多个可选的自定义命名设置拼接成新值。

  • 引用使用与环境变量相同的语法。

  • 只有完全折叠的设置名称才能被引用。

例如，Filebeat的注册文件默认为：

filebeat.registry: ${path.data}/registry

其中path.data是一个隐式配置设置，可以从命令行中覆盖，也可以在配置文件中覆盖。

output.elasticsearch:
  hosts: ['http://${es.host}:9200']
es.host: '${ES_HOST:localhost}'

在这个例子中，es.host可以从命令行使用-E参数覆盖，例如：

-E es.host=another-host

普通引用，没有默认值且不与其他引用或字符串拼接的引用可以引用完整的命名空间。
对于具有重复内容的这些设置：

namespace1:
  subnamespace:
    host: localhost
    sleep: 1s
namespace2:
  subnamespace:
    host: localhost
    sleep: 1s

可以重写为：

namespace1: ${shared}
namespace2: ${shared}
shared:
  subnamespace:
    host: localhost
    sleep: 1s

使用普通引用。

1.6. 配置文件所有权和权限

（这一部分不适用于Windows或其他非POSIX操作系统）

在具有POSIX文件权限的系统上，所有Beats配置文件都受到所有权和文件权限检查的限制。

这些检查的目的是防止未经授权的用户提供或修改由Beat运行的配置。

配置文件的所有者必须是执行Beat进程的用户之一。

每个文件的权限必须禁止除所有者之外的其他人写入。

当通过RPM或DEB包安装时，配置文件位于/etc/{beatname}/{beatname}.yml，其所有者和权限将是正确的。

/etc/{beatname}/{beatname}.yml
所有者：root
权限：0644 (-rw-r--r--)

如果配置文件未通过这些检查，则可能会遇到以下错误：

Exiting: error loading config file: config file ("{beatname}.yml") must be owned by the beat user (uid=501) or root
#退出：加载配置文件时出错：配置文件("{beatname}.yml")必须由Beat用户(uid=501)或root所有

要纠正这个问题，可以使用chown命令改变配置文件的所有者：

chown root {beatname}.yml

或者

chown 501 {beatname}.yml

如果权限不正确，可能会遇到以下错误：

Exiting: error loading config file: config file ("{beatname}.yml") can only be writable by the owner but the permissions are "-rw-rw-r--" (to fix the permissions use: 'chmod go-w /etc/{beatname}/{beatname}.yml')
#退出：加载配置文件时出错：配置文件("{beatname}.yml")只能由所有者写入，但权限是"-rw-rw-r--"（要修复权限，请使用："chmod go-w /etc/{beatname}/{beatname}.yml"）

要纠正这个问题，使用chmod命令将除所有者之外的其他人的写权限删除：

chmod go-w /etc/{beatname}/{beatname}.yml

其他配置文件，比如目录中的文件modules.d，也受到相同的所有权和文件权限检查。

禁用严格权限检查编辑，可以通过命令行使用--strict.perms=false来禁用严格权限检查，但强烈建议保持这些检查启用状态。

1.7. 命令行参数

  • 通过命令行使用-c标志设置要加载的配置文件。

  • 如果没有给出标志，将假定为 Beat 和特定于操作系统的默认文件路径。

  • 可以通过重复使用-c标志来指定多个配置文件。

    • 例如，可以在基础配置文件中设置默认值，并通过本地配置文件覆盖设置。

  • 除了使用多个配置文件覆盖设置之外，还可以使用-E来覆盖单个设置。

<value>可以是单个值，也可以是复杂对象，例如列表或字典。

例如，给定以下配置：

output.elasticsearch:
  hosts: ["http://localhost:9200"]
  username: username
  password: password

可以通过设置来禁用 Elasticsearch 输出，并将所有事件写入控制台：

-E output='{elasticsearch.enabled: false, console.pretty: true}'

在命令行指定的任何复杂对象都将与原始配置合并，然后传递给 Beat 的配置如下所示：

output.elasticsearch:
  enabled: false
  hosts: ["http://localhost:9200"]
  username: username
  password: password
output.console:
  pretty: true

1.8. YAML 技巧和注意事项

在配置文件中使用YAML时的一些技巧和注意事项：

  1. 使用空格进行缩进： YAML 中的缩进是有意义的。确保使用空格而不是制表符来缩进段落。在默认配置文件和文档中的所有示例中，我们每级缩进使用 2 个空格。建议也这样做。

  2. 查看默认配置文件结构： 理解在哪里定义配置选项的最佳方式是查看提供的示例配置文件。这些配置文件包含了 Beat 可用的大部分默认配置。要更改设置，只需取消注释该行并更改值即可。

  3. 测试的配置文件： 可以测试配置文件以验证其结构是否有效。只需切换到二进制文件所在的目录，并使用指定的命令在前台运行 Beat。例如：

    beatname test config -c beatname.yml

    如果 Beat 在文件中发现错误，将会看到一条消息。

  4. 使用单引号包裹正则表达式： 如果需要在 YAML 文件中指定正则表达式，最好将其用单引号包裹起来，以避免 YAML 中复杂的字符串转义规则。

  5. 使用单引号包裹路径： 特别是 Windows 路径可能包含空格或字符（如驱动器号或三个点），这些可能会被 YAML 解析器错误地解释。为了避免这个问题，最好将路径用单引号包裹起来。

  6. 避免在数字值中使用前导零： 如果在数字字段中使用前导零（例如，09），且没有将值用单引号包裹起来，YAML 解析器可能会错误地解释该值。为了防止不必要的类型转换，避免在字段值中使用前导零，或者将值用单引号包裹起来。

  7. 避免意外的模板变量解析： 允许配置从环境变量中解析数据的模板引擎可能会导致字符串中的某些字符出现错误。例如，如果密码字段包含 $，引擎会将其解析为 $$。为了解决这个问题，要么使用 keystore，要么将所有出现的 $ 进行转义，变为 $$。

2. Filebeat概述

Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引Filebeat隶属于Beats。

Filebeat 作为代理安装在的服务器上，可监控日志指定的文件或位置，收集日志事件并转发它们使用 Elasticsearch 或 Logstash 进行索引。

3. 工作原理

Filebeat 的工作原理如下：当启动 Filebeat 时，它会启动一个或在为日志数据指定的位置中查看更多输入。为 Filebeat 找到的每个日志，Filebeat 都会启动一个收割器。每 Harvester 读取单个日志以获取新内容，并将新日志数据发送到 libbeat，聚合事件并将聚合数据发送到输出 已为 Filebeat 配置。

  • Filebeat用于收集各种日志，之后发送到指定的目标系统上，但是同一时间只能配置一个输出目标。

  • Filebeat 会对配置好的日志内容进行收集，第一次会从每个文件的开头一直读到当前文件的最后一行。

  • 每一行称为一个事件，格式是一个包含很多字段的大字典，也就是 JSON 格式的数据。在 Filebeat中负责完成这个动作的官方称它为 Harvester (收割机)。

  • 每个事件将来会被保存到 Elasticsearch 中

  • 在收割机读到文件的最后，会停止工作。直到文件有新的内容写入才继续工作。
    2

4. 安装与配置

HostnameCPU/硬盘IP
filebeat-server2c2g/20GB192.168.221.139

4.1. Filebeat安装

[root@localhost ~]# hostnamectl set-hostname filebeat-server

[root@filebeat-server ~]# curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.12.2-linux-x86_64.tar.gz

[root@filebeat-server ~]# ll -sh
总用量 49M
4.0K -rw-------. 1 root root 1.3K 2月  18 14:12 anaconda-ks.cfg
 49M -rw-r--r--  1 root root  49M 3月  13 10:01 filebeat-8.12.2-linux-x86_64.tar.gz

[root@filebeat-server ~]# tar -xzvf filebeat-8.12.2-linux-x86_64.tar.gz  -C /usr/local/

[root@filebeat-server ~]# mv /usr/local/filebeat-8.12.2-linux-x86_64  /usr/local/filebeat

Filebeat启动管理

1、前台运行

  • 直接用./filebeat命令，采用前台运行的方式查看Filebeat获取的日志结果（crtl c后就直接退出程序了）

2、后台运行

  • 使用nohup方式启动Filebeat到后台，日志结果可查看nohup.out文件

  • 使用systemd管理的后台方式启动Filebeat进程不能查看输出日志，测试阶段勿用

配置systemd方式的Filebeat启动管理文件

[root@filebeat-server ~]# vim /usr/lib/systemd/system/filebeat.service
[Unit]
Description=Filebeat sends log files to Logstash or directly to Elasticsearch.
Wants=network-online.target
After=network-online.target

[Service]
ExecStart=/usr/local/filebeat/filebeat -c /usr/local/filebeat/filebeat.yml
Restart=always

[Install]
WantedBy=multi-user.target

[root@filebeat-server local]# systemctl daemon-reload

#设置开机自启并启动服务
[root@filebeat-server ~]# systemctl enable --now filebeat.service
Created symlink from /etc/systemd/system/multi-user.target.wants/filebeat.service to /usr/lib/systemd/system/filebeat.service.
[root@filebeat-server ~]# systemctl status filebeat.service
● filebeat.service - Filebeat sends log files to Logstash or directly to Elasticsearch.
   Loaded: loaded (/usr/lib/systemd/system/filebeat.service; enabled; vendor preset: disabled)
   Active: active (running) since 三 2024-03-13 10:57:46 CST; 16s ago
 Main PID: 16474 (filebeat)
   CGroup: /system.slice/filebeat.service
           └─16474 /usr/local/filebeat/filebeat -c /usr/local/filebeat/filebeat.yml...

3月 13 10:57:46 filebeat-server systemd[1]: Started Filebeat sends log files to .....
Hint: Some lines were ellipsized, use -l to show in full.

4.2. Filebeat简单使用

#准备测试数据
[root@filebeat-server ~]# vim /tmp/access.log
123.127.39.50 - - [04/Mar/2021:10:50:28 +0800] "GET /logo.jpg HTTP/1.1" 200 14137 "http://81.68.233.173/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.192 Safari/537.36" "-"

配置Filebeat 的输入和输出

[root@filebeat-server ~]# cd /usr/local/filebeat/
#将配置文件中的所有注释和空行先删掉
[root@filebeat-server filebeat]# sed -ri.bak '/^.*#/d;/^$/d' /usr/local/filebeat/filebeat.yml

[root@filebeat-server filebeat]# vim /usr/local/filebeat/filebeat.yml
#原始配置：
filebeat.inputs:
- type: log
  enabled: false
  paths:
    - /var/log/*.log
- type: filestream
  enabled: false
  paths:
    - /var/log/*.log
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
output.elasticsearch:
  hosts: ["localhost:9200"]
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

#修改过后的：
filebeat.inputs:
- type: log
  enabled: true  #改
  paths:  
    - /tmp/*.log #改 指定需要收集日志的路径，支持通配符可以写多个
filebeat.config.modules: # 内置收集日志的模块的配置文件存放路径
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false  # 当模块的配置文件有更新时，此程序是否要自动加载，false不加载，true 加载
setup.template.settings:
  index.number_of_shards: 1

output.console:  #添加 输出到终端即屏幕上
  pretty: true
##output.elasticsearch:
##  hosts: ["localhost:9200"]


# 如果要输出到 logstash  
output.logstash:
  #  logstash 的 IP和端口
  hosts: ["172.26.139.148:5044"]
processors: #改
  - add_host_metadata:  # 添加此主机的源数据信息到输出数据中，比如 IP MAC OS 等信息
      when.not.contains.tags: forwarded

运行观察输出

[root@filebeat-server filebeat]# rm -rf data
[root@filebeat-server filebeat]# /usr/local/filebeat/filebeat
{
  "@timestamp": "2024-03-13T03:27:10.286Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "_doc",
    "version": "8.12.2"
  },
  "log": {
    "offset": 0,
    "file": {
      "path": "/tmp/access.log"
    }
  },
  "message": "123.127.39.50 - - [04/Mar/2021:10:50:28 +0800] \"GET /logo.jpg HTTP/1.1\" 200 14137 \"http://81.68.233.173/\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.192 Safari/537.36\" \"-\"",
  "input": {
    "type": "log"
  },
  "agent": {
    "ephemeral_id": "c02cd3e0-76a0-44d1-b890-f02c9878d318",
    "id": "2ef752c8-35f0-4e45-b6b5-53743ebb0387",
    "name": "filebeat-server",
    "type": "filebeat",
    "version": "8.12.2"
  },
  "ecs": {
    "version": "8.0.0"
  },
  "host": {
    "hostname": "filebeat-server",
    "architecture": "x86_64",
    "name": "filebeat-server",
    "os": {
      "type": "linux",
      "platform": "centos",
      "version": "7 (Core)",
      "family": "redhat",
      "name": "CentOS Linux",
      "kernel": "3.10.0-1062.el7.x86_64",
      "codename": "Core"
    },
    "id": "4746d2ecb7c945cdbc93de5d156817a0",
    "containerized": false,
    "ip": [
      "192.168.221.139",
      "fe80::4ee8:bb9d:ef6c:9934"
    ],
    "mac": [
      "00-0C-29-40-59-B2"
    ]
  }
}

可使用 -c 指定配置文件位置

./filebeat -c /usr/local/filebeat/filebeat.yml

Filebeat进程日志

filebeat本身运行日志默认位置 /usr/local/filebeat/logs/filebeat

要修改Filebeat的日志路径，可以添加如下内容在配置文件 filebeat.yml 中实现

# ================================== Logging ===================================

# Sets log level. The default log level is info.
# Available log levels are: error, warning, info, debug
#logging.level: debug
path.logs: /var/log/   #在文件最末尾添加此行即可

这样设置后，filebeat 启动后，日志的目录是 /var/log/, 日志的文件名为 filebeat ,每次启动或者重启程序会生成一个新的日志文件 filebeat, 旧的日志命名为 filebeat.1 依次类推。

[root@filebeat-server filebeat]# systemctl restart filebeat.service
[root@filebeat-server filebeat]# cat /var/log/filebeat
2023-04-27T19:04:47.605+0800    INFO    instance/beat.go:665    Home path: [/usr/local/filebeat] Config path: [/usr/local/filebeat] Data path: [/usr/local/filebeat/data] Logs path: [/var/log/]
2023-04-27T19:04:47.605+0800    INFO    instance/beat.go:673    Beat ID: 58585447-9d45-4d4f-92bb-fec512b67c1e
2023-04-27T19:04:47.606+0800    INFO    [seccomp]       seccomp/seccomp.go:124  Syscall filter successfully installed
#已经有日志了

#再验证一下我们说的，每次启动或者重启程序会生成一个新的日志文件 filebeat, 旧的日志命名为 filebeat.1，依次类推
[root@filebeat-server log]# systemctl stop filebeat.service
[root@filebeat-server log]# systemctl restart filebeat.service
[root@filebeat-server log]# ll
总用量 1144
drwxr-xr-x. 2 root   root      204 6月  23 2022 anaconda
drwx------. 2 root   root       23 6月  23 2022 audit
-rw-------. 1 root   root        0 4月  27 17:14 boot.log
-rw-------  1 root   root    43915 4月  27 17:14 boot.log-20230427
-rw-------. 1 root   utmp        0 6月  23 2022 btmp
drwxr-xr-x. 2 chrony chrony      6 8月   8 2019 chrony
-rw-------  1 root   root     1801 4月  27 19:01 cron
-rw-------. 1 root   root     6227 4月  27 17:14 cron-20230427
-rw-r--r--  1 root   root   124549 4月  27 16:26 dmesg
-rw-r--r--  1 root   root   124375 4月  13 14:37 dmesg.old
-rw-------  1 root   root     5704 4月  27 19:07 filebeat	#新生成的日志文件
-rw-------  1 root   root    12589 4月  27 19:06 filebeat.1

4.3. 重读日志文件

有时候出于实验目的，可能需要重新读取日志文件，这个时候需要删除安装目录下的 data 文件夹，重新运行 filebeat 即可。
在这里插入图片描述
假如出现如下报错，请删除安装目录中的 data 文件夹

Exiting: data path already locked by another beat. Please make sure that multiple beats are not sharing the same data path (path.data).

查看一下是否有一个进程已经处于运行状态，尝试杀死此进程，之后重新运行 filebeat

[root@filebeat-server filebeat]#  ps -ef |grep 'filebea[t]'
root      16474      1  0 10:57 ?        00:00:00 /usr/local/filebeat/filebeat -c /usr/local/filebeat/filebeat.yml

4.4. 配置output

Filebeat 是用于收集日志，之后把日志推送到某个接收的系统中的，这些系统或者装置在 Filebeat 中称为output。

output类型:

  • console 终端屏幕
  • elasticsearch 存放日志，并提供查询
  • logstash 进一步对日志数据进行处理
  • kafka 消息队列

完整output列表

  • filebeat 运行的时候，以上的 output 只可配置其中的一种。

  • 具体配置方式是编辑主配置文件：/usr/local/filebeat/filebeat.yml

  • 注意：注释掉其他的 output

输出到 console，输出完整 JSON 数据

output.console:
  pretty: true

进入到 filebeat 的安装目录下，执行命令前台运行

[root@filebeat-server filebeat]# ./filebeat

如果只想输出完整Json数据中的某些字段

output.console:
  pretty: true
  codec.format:
    string: '%{[@timestamp]} %{[message]}'

其他输出目标：

输出到 elasticsearch

output.elasticsearch:
  hosts: ['http://es01:9200', 'http://es02:9200']

更多关于 Elasticsearch 的配置参考官方文档

输出到 logstash

output.logstash:
  hosts: ["127.0.0.1:5044"]

4.5. 实时重新加载外部配置文件

  • 配置 Filebeat 以动态重新加载外部配置文件
  • 可用于输入和模块作为外部配置文件加载的配置
  • 不能使用此功能重新加载主配置文件filebeat.yml
  • 指定一个路径（Glob）来观察配置更改。当Glob找到的文件发生变化时，新的输入或模块会根据配置文件的变化启动和停止。
  • 此功能在一个容器的容器环境中特别有用，用于跟踪在同一主机上的其他容器中运行的服务的日志。

例如：path reload filebeat.config.inputs filebeat.config.modules

filebeat.config.inputs:
  enabled: true
  path: configs/*.yml
  reload.enabled: true
  reload.period: 10s

path：一个 Glob，用于定义要检查更改的文件
reload.enabled：设置为 true 时，启用动态配置重新加载
reload.period：指定检查文件更改的频率。不要设置为小于 1s，因为文件的修改时间通常为以秒为单位存储。设置为小于1将导致 不必要的开销。

5. 日志专用收集模块

官方完整的模块列表：点我查看目前支持的所有模块列表

Filebeat 模块简化了常见日志格式
一个典型的模块（例如，用于 Nginx 日志）由一个或更多文件集，一个文件集包含以下：access error

  • Filebeat 输入配置，其中包含查找日志文件的默认路径。这些默认路径取决于操作系统。 Filebeat 配置还负责在需要时将多行事件拼接在一起。
  • Elasticsearch 摄取管道定义，用于解析日志行。
  • 字段定义，用于为每个字段配置正确类型的 Elasticsearch。它们还包含每个字段的简短描述。

Filebeat 会根据的环境自动调整这些配置 并将它们加载到相应的 Elastic Stack 组件中。
如果模块配置更新，Elasticsearch摄取管道定义不会自动重新加载。要重新加载摄取管道，请设置并手动加载摄取管道。filebeat.overwrite_pipelines: true

5.1. 查看可启用的模块列表

[root@filebeat-server log]# /usr/local/filebeat/filebeat modules list
Error initializing beat: error loading config file: stat filebeat.yml: no such file or directory
#必须要在filebeat的目录下执行这个命令
[root@filebeat-server log]# cd /usr/local/filebeat/		
[root@filebeat-server filebeat]# /usr/local/filebeat/filebeat modules list
Enabled:

Disabled:
activemq
apache
auditd
aws
awsfargate
……

模块配置文件存储位置

[root@filebeat-server modules.d]# pwd
/usr/local/filebeat/modules.d
[root@filebeat-server modules.d]# ls
activemq.yml.disabled          haproxy.yml.disabled          osquery.yml.disabled           
..

禁用模块

[root@filebeat-server filebeat]# /usr/local/filebeat/filebeat modules disable 模块名

启用模块

[root@filebeat-server filebeat]# /usr/local/filebeat/filebeat modules enable 模块名

5.2. 示例模块—Nginx 模块

准备 Nginx 示例日志

#访问日志示例文件
[root@filebeat-server filebeat]# vim /opt/nginx/log/nginx/access.log
123.127.39.50 - - [04/Mar/2021:10:50:28 +0800] "GET /logo.jpg HTTP/1.1" 200 14137 "http://81.68.233.173/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.192 Safari/537.36" "-"

#错误日志示例文件
[root@filebeat-server filebeat]#  vim /opt/nginx/log/nginx/error.log
2021/03/04 10:50:28 [error] 11396#0: *5 open() "/farm/bg.jpg" failed (2: No such file or directory), client: 123.127.39.50, server: localhost, request: "GET /bg.jpg HTTP/1.1", host: "81.68.233.173", referrer: "http://81.68.233.173/"

启用 nginx 模块

[root@filebeat-server filebeat]# ./filebeat modules enable nginx
Enabled nginx

情景1：使用模块默认的日志路径

修改 modules.d/nginx.yml 文件内容如下：

[root@filebeat-server modules.d]# pwd
/usr/local/filebeat/modules.d
[root@filebeat-server modules.d]# vim nginx.yml
- module: nginx
  access:
    enabled: true
  error:
    enabled: true

nginx 模块收集日志的默认路径是：

  • /var/log/nginx/access.log
  • /var/log/nginx/error.log

情景2：使用非默认路径（适用于所有的模块）

假如所要收集的日志真实路径和日志收集模块默认的路径不一致，可以配置 var.paths: 属性进行配置。

var.paths 接收的值是一个包含一个以上的日志绝对路径列表。接收的值是一个数组

用于给日志文件设置自定义路径的。如果不设置此选项，Filebeat将根据的操作系统选择路径选择使用默认值

可以使用如下方式配置：

- module: nginx
  # Access logs
  access:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/opt/nginx/log/nginx/access.log"]

  # Error logs
  error:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/opt/nginx/log/nginx/error.log"]

或者下面的方式：

- module: nginx
  access:
    enabled: true
    var.paths:
      - "/opt/nginx/log/nginx/access.log"
      - "/opt/nginx/log/nginx/error.log"

**注意：**var.paths 指定的路径，是以追加的方式和模块默认路径合并到一起的，也就是说假如模块的默认路径有具体的日志文件/var/log/nginx/access.log。
这里 var.paths 也配置了路径/opt/nginx/log/nginx/access.log和/opt/nginx/log/nginx/error.log，那么最终 Filebeat 收集的日志路径将会是：

  • /var/log/nginx/access.log
  • /opt/nginx/log/nginx/access.log
  • /opt/nginx/log/nginx/error.log

6. 使用Processors(处理器)过滤和增强数据

可以在配置中定义处理器，以便在事件发送到配置的输出之前对其进行处理。libbeat库提供以下处理器：

  • 减少导出字段的数量
  • 使用其他元数据增强事件
  • 执行其他处理和解码

工作方式：每个处理器都接收一个事件，对该事件应用已定义的操作，然后返回该事件。如果定义处理器列表，则将按照在Filebeat配置文件中定义的顺序执行它们。

去重日志中的某些行：配置位置在 filebeat.yml 文件中

删除所有以 DBG: 开头的行

processors:
  - drop_event:
      when:
        regexp:
          message: "^DBG:"  # message为自定义字段

向输出的数据中添加某些自定义字段

processors:
  - add_fields:
      target: project  # 要添加的自定义字段key名称
      fields:
        name: myproject
        id: '574734885120952459'

输出效果如下图所示：4
从事件中删除某些字段

processors:
  - drop_fields:
      fields: ["field1", "field2", ...]
      ignore_missing: false

以上配置，将删除字段: field1 和 field2

ignore_missing 的值为 false 表示，字段名不存在则会返回错误。为 true 不会返回错误。

注意： 事件中的 "@timestamp 和 type 字段是无法删除的。

下面的配置示例是删除顶级字段 input 和 顶级字段 ecs 中的 version 字段。

  - drop_fields:
     fields: ['input', "ecs.version"]

删除之前⬇️

{
  ...
  "input": {
    "type": "log"
  },
  ...
  "ecs": {
    "version": "1.5.0"
  },
  ...
}

删除之后⬇️

{
  ...
  "ecs": {},
  ...
}

官方完整的处理器列表：点我查看目前支持的所有处理器列表

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1514514.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【物联网学习笔记】CubeMx6.10+STM32F407ZGT6+LWIP最最最基础配置

【物联网学习笔记】CubeMx6.10+STM32F407ZGT6+LWIP最最最基础配置

使用正点原子探索者开发板 板载芯片&#xff1a;STM32F407ZGT6 PHY芯片&#xff1a;LAN8720 LWIP版本&#xff1a;2.1.2 本次目标&#xff1a;先ping通开发板再说&#xff01; 文章目录 一、CubeMX配置1、时钟配置2、ETH配置3、LWIP配置4、添加LAN8720的复位引脚 二、Keil工…
阅读更多...
单链表——增删查改

单链表——增删查改

本节复习链表的增删查改 首先&#xff0c; 链表不是连续的&#xff0c; 而是通过指针联系起来的。 如图&#xff1a; 这四个节点不是连续的内存空间&#xff0c; 但是彼此之间使用了一个指针来连接。 这就是链表。 现在我们来实现链表的增删查改。 目录 单链表的全部接口…
阅读更多...
JVM之调优（一）

JVM之调优（一）

背景&#xff1a;生产环境由于堆内存较大&#xff0c;fullgc 垃圾回收导致程序卡顿问题&#xff08;假死&#xff09; 目录 一、程序卡顿导致的影响 前端页面空白后端数据重复 二、解决方法 降低堆内存大小使用合适的垃圾回收器&#xff08;可以尝试&#xff0c;还未进行测试…
阅读更多...
【毕设级项目】基于嵌入式的智能家居控制板（完整工程资料源码）

【毕设级项目】基于嵌入式的智能家居控制板（完整工程资料源码）

基于嵌入式的智能家居控制板演示效果 基于嵌入式的智能家居控制板 前言&#xff1a; 随着科技的不断进步&#xff0c;物联网技术得到了突飞猛进的发展。智能家居是物联网技术的典型应用领域之一。智能家居系统将独立家用电器、安防设备连接成一个具有思想的整体&#xff0c;实现…
阅读更多...
Android Studio入门——页面跳转

Android Studio入门——页面跳转

1.工程目录 2.MainActivity package com.example.demo01;import android.content.Intent; import android.os.Bundle; import android.view.View; import android.widget.TextView;import androidx.appcompat.app.AppCompatActivity;public class MainActivity extends AppCo…
阅读更多...
数据集成工具 ---- datax 3.0

数据集成工具 ---- datax 3.0

1、datax: 是一个异构数据源离线同步工具&#xff0c;致力于实现关系型数据库&#xff08;mysql、oracle等&#xff09;hdfs、hive、hbase等各种异构数据源之间的数据同步 2、参考网址文献&#xff1a; https://github.com/alibaba/DataX/blob/master/introduction.mdhttps:/…
阅读更多...
pycharm配置解释器

pycharm配置解释器

pycharm配置解释器 1.mac配置解释器 1.mac配置解释器
阅读更多...
【C++庖丁解牛】STL简介 | string容器初次见面

【C++庖丁解牛】STL简介 | string容器初次见面

&#x1f341;你好&#xff0c;我是 RO-BERRY &#x1f4d7; 致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 &#x1f384;感谢你的陪伴与支持 &#xff0c;故事既有了开头&#xff0c;就要画上一个完美的句号&#xff0c;让我们一起加油 目录 1. 什么是STL2. STL的版本…
阅读更多...
扫描全能王发布2023“绿色数据”：减碳超12万吨，相当于多种700万棵树

扫描全能王发布2023“绿色数据”：减碳超12万吨，相当于多种700万棵树

近年来&#xff0c;“绿色转型”“低碳生活”成为全民热议话题。从全国覆盖率越来越高的“垃圾分类”&#xff0c;到蓬勃发展的“无纸化办公”&#xff0c;低碳生活、绿色消费的环保风尚不断兴起。植树节将至&#xff0c;合合信息旗下扫描全能王发布了年度用户文档扫描数据&…
阅读更多...
详细分析Mysql中的LOCATE函数（附Demo）

详细分析Mysql中的LOCATE函数（附Demo）

目录 1. 基本概念2. Demo3. 实战 1. 基本概念 LOCATE()函数在SQL中用于在字符串中查找子字符串的位置 它的一般语法如下&#xff1a; LOCATE(substring, string, start)LOCATE()函数返回子字符串在主字符串中第一次出现的位置 如果未找到子字符串&#xff0c;则返回0 具体的…
阅读更多...
如何在群晖用Docker本地搭建Vocechat聊天服务并无公网ip远程交流协作

如何在群晖用Docker本地搭建Vocechat聊天服务并无公网ip远程交流协作

文章目录 1. 拉取Vocechat2. 运行Vocechat3. 本地局域网访问4. 群晖安装Cpolar5. 配置公网地址6. 公网访问小结 7. 固定公网地址 如何拥有自己的一个聊天软件服务? 本例介绍一个自己本地即可搭建的聊天工具,不仅轻量,占用小,且功能也停强大,它就是Vocechat. Vocechat是一套支持…
阅读更多...
【BFS二叉树】113路径总和II

【BFS二叉树】113路径总和II

113路径总和 II 给你二叉树的根节点 root 和一个整数目标和 targetSum &#xff0c;找出所有 从根节点到叶子节点 路径总和等于给定目标和的路径。 思路&#xff1a; 题目最终输出的是路径&#xff0c;因此用BFS遍历的时候&#xff0c;需要记录走到每个节点的路径&#xff1…
阅读更多...
ISIS单区域实验简述

ISIS单区域实验简述

ISIS 中间系统到中间系统&#xff0c;也是链路状态协议&#xff0c;工作在数据链路层&#xff0c;不依赖IP地址&#xff1b;与OSPF一样采用最短路径SPF算法&#xff0c;收敛速度快。 实验基础配置&#xff1a; r1: sys sysname r1 undo info enable int g0/0/0 ip add 12.1.1.1…
阅读更多...
基于XMind的E-R图制作【笔记】

基于XMind的E-R图制作【笔记】

基于XMind的E-R图制作【笔记】 前言版权基于XMind的E-R图制作1.打开XMind2.选择模板3.插入一个自由主题4.为它插入子主题5.快速插入子主题6. 统一设置子主题样式 最后 前言 2024-3-11 10:36:33 以下内容源自《【创作模板】》 仅供学习交流使用 版权 禁止其他平台发布时删除…
阅读更多...
js【详解】ajax （含XMLHttpRequest、 同源策略、跨域）

js【详解】ajax （含XMLHttpRequest、 同源策略、跨域）

ajax 的核心API – XMLHttpRequest get 请求 // 新建 XMLHttpRequest 对象的实例 const xhr new XMLHttpRequest(); // 发起 get 请求&#xff0c;open 的三个参数为&#xff1a;请求类型&#xff0c;请求地址&#xff0c;是否异步请求&#xff08; true 为异步&#xff0c;f…
阅读更多...
程序语言设计

程序语言设计

一、程序设计语言及其构成 1.程序设计语言 2.高级程序设计语言划分 3.常见的高级程序语言 4.标记语言 5.程序设计语言的构成 二、表达式 表达式的类型及转换规则 三、传值和传址调用 1.数据类型 2.传值和传址调用 四、语言处理程序 1.语言处理程序 语言处理程序&#xff1…
阅读更多...
kangle一键安装脚本

kangle一键安装脚本

Kangle一键脚本&#xff0c;是一款可以一键安装KangleEasypanelMySQLPHP集合的Linux脚本。 脚本本身集成&#xff1a;PHP5.38.2、MYSQL5.68.0&#xff0c;支持极速安装和编译安装2种模式&#xff0c;支持CDN专属安装模式。同时也对Easypanel面板进行了大量优化。 脚本特点 ◎…
阅读更多...
FreeRTOS 的任务挂起和恢复

FreeRTOS 的任务挂起和恢复

1. 任务挂起和恢复的 API 函数 API函数描述vTaskSuspend()挂起任务vTaskResume()恢复被挂起的任务xTaskResumeFromISR()在中断中恢复被挂起的任务 挂起&#xff1a;挂起任务类似暂停&#xff0c;可恢复&#xff1b; 删除任务&#xff0c;堆栈都给释放掉了&#xff0c;无法恢复…
阅读更多...
某电信公司组织结构优化咨询项目成功案例纪实

某电信公司组织结构优化咨询项目成功案例纪实

——构建前后端组织结构&#xff0c;提升组织运营效率 随着企业的不断发展&#xff0c;行业的竞争也越来越激烈&#xff0c;企业只能不断调整自身的战略才能更好的适应这样的大环境。在战略调整的过程中&#xff0c;企业往往会面临这样的问题&#xff1a;管理层的经营理念各不…
阅读更多...
从0到1快速搭建一个jeecg 企业级应用管理后台

从0到1快速搭建一个jeecg 企业级应用管理后台

一. 基本介绍 官网地址&#xff1a;https://jeecg.com/ JeecgBoot 是一款企业级的低代码平台&#xff01;前后端分离架构 SpringBoot2.x&#xff0c;SpringCloud&#xff0c;Ant Design&Vue3&#xff0c;Mybatis-plus&#xff0c;Shiro&#xff0c;JWT 支持微服务。强大的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023