ELK（八）—Metricbeat部署

news2024/11/27 8:29:45

介绍

Metricbeat 是一个轻量级的开源度量数据收集器，用于监控系统和服务。它由 Elastic 公司开发，并作为 Elastic Stack（Elasticsearch、Logstash、Kibana 以及 Beats）的一部分，用于收集、分析和可视化不同类型的度量数据。Metricbeat 主要专注于收集主机级别的度量数据，例如系统 CPU 使用率、内存使用率、磁盘使用率等。

以下是 Metricbeat 的一些关键特性和详解：

轻量级： Metricbeat 被设计成轻量级和高效的度量数据收集器。它使用 Go 语言编写，占用资源较少，适用于部署在各种环境中。
模块化： Metricbeat 使用模块来支持各种不同的数据源。每个模块都包含了针对特定应用或服务的配置和度量指标收集逻辑。这种模块化的设计使得 Metricbeat 很容易扩展和配置。
预定义的模块： Metricbeat 提供了一系列预定义的模块，用于收集常见的度量数据，包括系统级别、数据库、Web 服务器、云服务等。例如，有 Elasticsearch、MySQL、Nginx 等模块，可以方便地配置并收集相关的性能指标。
实时度量： Metricbeat 支持实时度量数据的收集和传输。它可以将采集到的度量数据发送到 Elasticsearch、Logstash 或者其他输出目的地，以便进行实时监控和分析。
可视化： Metricbeat 与 Kibana 集成，允许用户使用 Kibana 创建仪表板并可视化收集到的度量数据。这使得用户能够更直观地了解系统和服务的性能。
安全性： Metricbeat 提供了安全性配置选项，支持加密和身份验证，以确保数据传输的安全性。
跨平台： Metricbeat 可以运行在多种操作系统上，包括 Linux、Windows、Mac 等，适用于不同的部署场景。

Metricbeat 的工作流程通常包括以下步骤：

配置： 配置 Metricbeat，指定要收集的模块和相关的设置，例如目标 Elasticsearch 集群地址、输出目的地等。
启动： 启动 Metricbeat，它开始按照配置文件中定义的频率收集和发送度量数据。
传输： Metricbeat 将收集到的度量数据传输到指定的目的地，通常是 Elasticsearch。
可视化： 使用 Kibana 创建仪表板，通过图表和可视化工具查看和分析度量数据。

通过 Metricbeat，用户可以实时监控系统的性能、资源利用率、服务运行状况等，从而及时发现问题并进行调整和优化。

修改配置文件

# 移动到该目录下
cd /opt/elk
# 下载文件
wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-8.11.3-linux-x86_64.tar.gz
# 解压文件
tar -zxvf  metricbeat-8.8.1-linux-x86_64.tar.gz
# 修改文件名
mv  metricbeat-8.11.3-linux-x86_64.tar.gz metricbeat

修改配置文件

vim metricbeat.yml

添加如下内容：

metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
  index.codec: best_compression
setup.kibana:
output.elasticsearch:
  hosts: ["192.168.150.190:9200","192.168.150.189:9200","192.168.150.190:9200"]   	# 只需要改这里就可以了，把集群的ip以及对应的端口添加上就可以了。
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

启动

在配置完成后，我们通过如下命令启动即可。

./metricbeat -e

在ELasticsearch中可以看到，系统的一些指标数据已经写入进去了：
下面看到的是系统的架构。

Module

Metricbeat Module的用法和我们之前的filebeat的用法差不多

#查看列表
./metricbeat modules list

同样的，Metricbeat有两个与模块相关的目录，从目录就可以知道了，hh

这里我们进入modules.d目录，可以看到模块的配置文件。

这里查看system的配资文件，如下；

nginx开启状态查询

在nginx中，需要开启状态查询，才能查询到指标数据。

./configure --prefix=/usr/local/nginx --with-http_stub_status_module 编译安装的是需要有这样一项才可以。

nginx已经在上一节中安装部署好了，这里我们看nginx的信息，可以看到已经开启了状态查询。

[root@elk_master sbin]# ./nginx -V
nginx version: nginx/1.25.0
built by gcc 8.5.0 20210514 (Red Hat 8.5.0-21) (GCC)
built with OpenSSL 1.1.1k  FIPS 25 Mar 2021
TLS SNI support enabled
configure arguments: --prefix=/usr/local/ydhnginx --user=yandonghao --with-http_ssl_module --with-http_v2_module --with-threads --with-http_stub_status_module --with-stream

接下来，我们需要修改nginx的配置文件。