分布式监控之Zabbix6.0监控系统

前言
一、Zabbix
- 1、介绍
- 2、zabbix监控原理
- 3、Zabbix6.0版本新特性
- 4、Zabbix6.0功能组件
- 5、Zabbix与Prometheus对比
二、Zabbix6.0部署
- 1、部署zabbix服务端
- 2、添加 zabbix 客户端主机
- 3、自定义监控内容
- 4、zabbix 自动发现
- 5、zabbix 自动注册

前言

作为一个运维，需要会使用监控系统查看服务器系统性能、应用服务状态和网站流量指标等，利用监控系统的数据去了解网站上线发布的结果和健康状态。

利用一个优秀的监控软件，我们可以：

通过一个友好的界面进行浏览整个网站所有的服务器状态
可以在web前端方便的监控数据
可以回溯寻找是事故发生时系统的问题和报警情况

主流监控系统：
在这里插入图片描述

一、Zabbix

1、介绍

zabbix是一个基于web界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案
zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的问题
zabbix有两个部分组成，zabbix server与可选组件zabbix agent。通过C/S模式采集数据，通过B/S模式在web端展示和配置
zabbix agent需要安装在被监视的目标服务器上，它主要完成对硬件信息或与操作系统有关的内存，CPU等信息的收集

2、zabbix监控原理

zabbix agent安装在被监控的主机上，zabbix agent负责定期收集客户端本地各项数据。并发送至zabbix server端，zabbix server收到数据后，将数据存储到数据库中，用户基于Zabbix Web可以看到数据在前端展现图像。当zabbix监控整个具体的项目，该项目会设置一个触发器阈值，当被监控的指标超过该触发器设定的阈值，会进行一些必要的动作，动作包括：发送信息（邮件、微信、短信）、发送命令（shell命令、reboot、restart、install等）。

在这里插入图片描述

3、Zabbix6.0版本新特性

Zabbix server高可用防止硬件故障或者计划维护期的停机
- 原生选择加入HA群集配置
- 定义一个或多个备用节点
- 实时监控Zabbix server群集节点的状态
- 不需要外部工具即可将Zabbix server配置为HA群集模式
Zabbix6.0 LTS新增Kubernetes监控功能，可以在Kubernetes系统从多个维度采集指标
- Kubernetes节点和pods的自动发现和监控
- 无代理方式采集Kubernetes pods和节点的信息
- 获取Kubernetes节点主机高水平信息

4、Zabbix6.0功能组件

Zabbix Server

  zabbix服务端守护进程，是Zabbix软件的核心组件，Zabbix Agent向其报告可用性、系统完整性信息和统计信息
  Zabbix Server也是存储所有配置信息、统计信息和操作信息的核心存储库
  Zabbix Server也是Zabbix监控系统的告警中心。在监控的系统中出现任何异常，将发出通知给管理员

基本的Zabbix Server的功能分解成为三个不同的组件。它们是：Zabbix server、Web前端、数据库。
Zabbix的所有配置信息都存储在Server和Web前端进行交互的数据库中。例如，当你通过web前端（或者API）新增一个监控项时，它会被添加到数据库的监控项表里。然后，Zabbix server以每分钟一次的频率查询监控项表中的有效项，接着将它存储在Zabbix server中的缓存里。这就是为什么Zabbix前端所作的任何更改需要花费两分钟左右才能显示在最新的数据段的原因。

数据库

  所有配置信息以及Zabbix采集到的数据都被持久存储在数据库中。
  可以支持MySQL、PostgreSQL、Oracle、DB2、TimescaleDB等多种数据库。

Web界面

  Web界面是Zabbix Server的一部分，用于实现展示和配置的界面。通常（但不一定）和Zabbix server运行在同一台物理机器上。
  基于Apache/Nginx +  PHP实现，早期只支持LAMP架构，从Zabbix5.0版本开始支持LNMP。

Zabbix Agent

 客户端守护进程，部署在被监控目标上，用于主动监控本地资源和应用程序，并将手机的数据发送给Zabbix server。从Zabbix5.0版本开始支持Zabbix Agent2。

Zabbix Proxy

  zabbix分布式代理守护进程，可以代替Zabbix Server采集性能和可用性数据。Zabbix Proxy在Zabbix的部署是可选部分。
  Zabbix Proxy的部署可以很好的分担单个Zabbix Server的负载。
  通常监控大于500台主机时使用，需要进行分布式监控架构部署

Java Gateway

  Zabbix要监控Tomcat服务或其他JAVA程序（比如Elasticsearch、ZooKeeper），需要使用Java Gateway作为代理，才能从JAVA程序中获取数据。

5、Zabbix与Prometheus对比

-	发行时间	开发语言	性能	社区支持	容量支持	企业使用	部署难度
Prometheus	2016	go	支持万为单位	相对不如zabbix，但人数与日俱增	不仅支持swarm原生集群，还支持Kubernetes容器集群的监控，是目前容器监控最好解决方案	基本上使用kubernetes与容器的企业，prometheus是最好的选择	只有一个核心server组件，一条命令便可以启动
Zabbix	2012	C+PHP	上限约10000节点	应用广泛、支持较成熟，遇到问题都能搜索到	Zabbix出现得比较早，当时容器还没有诞生，自然对容器的支持也比较差	在传统监控系统中，尤其是在服务器相关监控方面，占据绝对优势	多种系统，多种监控信息采集方式

二、Zabbix6.0部署

系统：CentOS 7 不支持 yum 方式安装 Zabbix 6.0 服务端
安装方式：Zabbix 服务端采用编译安装的方式，zabbix 客户端采用 yum 安装的方式

1、部署zabbix服务端

systemctl disable --now firewalld
setenforce 0
hostnamectl set-hostnamectl zbx-server

//部署 Nginx + PHP 环境并测试
#安装 nginx
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true
EOF

yum install -y nginx

#安装 php
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum install -y epel-release
rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
yum -y install php72w php72w-cli php72w-common php72w-devel php72w-embedded php72w-gd php72w-mbstring php72w-pdo php72w-xml php72w-fpm php72w-mysqlnd php72w-opcache php72w-ldap php72w-bcmath

#修改 nginx 配置
vim /etc/nginx/conf.d/zbx.conf
server {
  listen 80;
  server_name zbx.kgc.com;
  root /var/www/zbx;
  
  location / {
    index index.php;
  }
  
  location ~ \.php$ {
    fastcgi_pass 127.0.0.1:9000;
    fastcgi_index index.php;
    fastcgi_param SCRIPT_FILENAME /var/www/zbx$fastcgi_script_name;
    include fastcgi_params;
  }
}

#修改 php 配置
vim /etc/php-fpm.d/www.conf
user = nginx
group = nginx

vim /etc/php.ini
max_execution_time = 300		# 368行
max_input_time = 600			# 378行
post_max_size = 80M				# 656行
date.timezone = Asia/Shanghai	# 877行

#创建目录和测试文件
mkdir -p /var/www/zbx

vim /var/www/zbx/index.php
<?php
phpinfo();
?>

#启动服务
systemctl enable --now nginx php-fpm

#测试访问（hosts解析）
修改 C:\Windows\System32\drivers\etc\hosts
192.168.80.20 zbx.kgc.com

浏览器访问：http://zbx.kgc.com/index.php


//部署数据库，要求 MySQL 5.7 或 Mariadb 10.5 及以上版本
#配置 Mariadb yum源
cat > /etc/yum.repos.d/mariadb.repo << EOF
[mariadb]
name = MariaDB
baseurl = http://mirrors.aliyun.com/mariadb/yum/10.5/centos7-amd64/
gpgkey = http://mirrors.aliyun.com/mariadb/yum/RPM-GPG-KEY-MariaDB
gpgcheck = 1
enabled=1
EOF

yum install -y mariadb-server mariadb

systemctl enable --now mariadb

#初始化数据库
mysql_secure_installation
分别输入 回车 -> n -> Y (设置root密码，如abc123) -> 后面一路 Y

mysql -u root -pabc123

#创建数据库并指定字符集
CREATE DATABASE zabbix character set utf8 collate utf8_bin;

#创建 zabbix 数据库用户并授权
GRANT all ON zabbix.* TO 'zabbix'@'localhost' IDENTIFIED BY 'zabbix';
GRANT all ON zabbix.* TO 'zabbix'@'%' IDENTIFIED BY 'zabbix';
flush privileges;

#向数据库导入 zabbix 数据
上传源码包 zabbix-6.0.13.tar.gz 到 /opt 目录
cd /opt
tar xf zabbix-6.0.13.tar.gz

ls /opt/zabbix-6.0.13/database/mysql
data.sql  double.sql  history_pk_prepare.sql  images.sql  Makefile.am  Makefile.in  schema.sql

#按照顺利导入数据库
cd /opt/zabbix-6.0.13/database/mysql
mysql -uroot -pabc123 zabbix < schema.sql
mysql -uroot -pabc123 zabbix < images.sql
mysql -uroot -pabc123 zabbix < data.sql
mysql -uroot -pabc123 zabbix < double.sql
mysql -uroot -pabc123 zabbix < history_pk_prepare.sql


//编译安装 zabbix Server 服务端
#安装依赖包，创建 zabbix 用户
yum install -y mysql-devel pcre-devel openssl-devel zlib-devel libxml2-devel net-snmp-devel net-snmp libssh2-devel OpenIPMI-devel libevent-devel openldap-devel libcurl-devel fping gcc gcc-c++ make

useradd -s /sbin/nologin -M zabbix

#编译安装
cd /opt/zabbix-6.0.13/

./configure \
--sysconfdir=/etc/zabbix/ \
--enable-server \
--with-mysql \
--with-net-snmp \
--with-libxml2 \
--with-ssh2 \
--with-openipmi \
--with-zlib \
--with-libpthread \
--with-libevent \
--with-openssl \
--with-ldap \
--with-libcurl \
--with-libpcre

make install

#检查版本
zabbix_server --version
zabbix_server (Zabbix) 6.0.13

#修改 zabbix server 配置文件，修改数据库的密码
vim /etc/zabbix/zabbix_server.conf 
......
LogFile=/var/log/zabbix_server.log		# 38行，指定 zabbix 日志路径
DBPassword=zabbix					# 123行，指定 zabbix 数据库的密码

#准备 systemctl 服务管理文件
cat > /usr/lib/systemd/system/zabbix-server.service << EOF
[Unit]
Description=Zabbix Server with MySQL DB
After=syslog.target network.target mysqld.service

[Service]
Type=simple
ExecStart=/usr/local/sbin/zabbix_server -f
User=zabbix

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-relead
systemctl enable --now zabbix-server

netstat -lntp | grep 10051			#zabbix_server 默认监听 10051 端口


//部署 Web 前端，进行访问
cp -r /opt/zabbix-6.0.13/ui/* /var/www/zbx

chown -R nginx.nginx /var/www/zbx

浏览器访问：http://zbx.kgc.com/ 
【Default language】选择 Chinese(zh_CN)，点击下一步
【密码】输入 zabbix，点击下一步
【Zabbix主机名称】输入 Zabbix-监控；【默认时区】选择 Asia/Shanghai，点击下一步

安装完成后，默认的登录账号和密码为：Admin/zabbix


//安装 zabbix 客户端，实现 zabbix 服务端自我监控
rpm -ivh https://repo.zabbix.com/zabbix/6.0/rhel/7/x86_64/zabbix-release-6.0-4.el7.noarch.rpm
sed -i 's#https://repo.zabbix.com#https://mirrors.aliyun.com/zabbix#' /etc/yum.repos.d/zabbix.repo

#zabbix 5.0 版本开始采用 golang 语言开发的新版本客户端 agent2
yum install -y zabbix-agent2

systemctl enable --now zabbix-agent2

netstat -lntp | grep 10050			#客户端 zabbix_agent2 默认监听 10050 端口


//解决 zabbix-server Web页面中文乱码问题
yum install -y wqy-microhei-fonts

\cp -f /usr/share/fonts/wqy-microhei/wqy-microhei.ttc /var/www/zbx/assets/fonts/DejaVuSans.ttf

刷新浏览器页面

在这里插入图片描述

2、添加 zabbix 客户端主机

systemctl disable --now firewalld
setenforce 0
hostnamectl set-hostname zbx-agent01


//服务端和客户端都配置时间同步
yum install -y ntpdate
ntpdate -u ntp.aliyun.com


//服务端和客户端都设置 hosts 解析
cat > /etc/hosts << EOF
192.168.80.20 zbx-server
192.168.80.30 zbx-agent01
EOF


//设置 zabbix 的下载源，安装 zabbix-agent2
rpm -ivh https://repo.zabbix.com/zabbix/6.0/rhel/7/x86_64/zabbix-release-6.0-4.el7.noarch.rpm
sed -i 's#https://repo.zabbix.com#https://mirrors.aliyun.com/zabbix#' /etc/yum.repos.d/zabbix.repo

yum install -y zabbix-agent2


//修改 agent2 配置文件
vim /etc/zabbix/zabbix_agent2.conf
......
Server=192.168.80.20			#80行，指定 zabbix 服务端的 IP 地址
ServerActive=192.168.80.20		#133行，指定 zabbix 服务端的 IP 地址
Hostname=zbx-agent01			#144行，指定当前 zabbix 客户端的主机名


//启动 zabbix-agent2
systemctl start zabbix-agent2
systemctl enable zabbix-agent2

netstat -natp | grep zabbix
tcp6       0      0 :::10050                :::*                    LISTEN      43654/zabbix_agent2 


//在服务端验证 zabbix-agent2 的连通性
yum install -y zabbix-get				#安装 zabbix 主动获取数据的命令

zabbix_get -s '192.168.80.30' -p 10050 -k 'agent.ping'
1

zabbix_get -s '192.168.80.30' -p 10050 -k 'system.hostname'
zbx-agent01

//在 Web 页面中添加 agent 主机
点击左边菜单栏【配置】中的【主机】，点击【创建主机】
【主机名称】输入 zbx-agent01
【可见的名称】输入 zbx-agent01-192.168.80.30
【模板】搜索 Linux ，选择 Linux by Zabbix agent
【群组】选择 Linux servers
【Interfaces】点击添加 客户端，【IP地址】输入 192.168.80.30


#监控模板下载地址
https://share.zabbix.com/
https://monitoringartist.github.io/zabbix-searcher/
https://git.zabbix.com/projects/ZBX/repos/zabbix/browse/templates

常用的键值：

agent.ping												#服务端与客户端是否连通，返回1表示可达，返回非表示不可达
system.hostname											#系统主机名
agent.hostname											#客户端主机名
net.if.in[if,<mode>]									#网络接口进入的流量统计，if表示网卡名称，带<>的参数表示可以省略
net.if.out[if,<mode>]									#网络接口流出的流量统计
proc.num[<name>,<user>,<state>,<cmdline>,<zone>]		#进程数
net.tcp.port[<ip>,port]									#检查是否能建立tcp连接到指定端口，返回0表示不能连接，返回1表示可以连接

在这里插入图片描述

3、自定义监控内容

案列：自定义监控客户端服务器登录的人数
需求：限制登录人数不超过 3 个，超过 3 个就发出报警信息

//在客户端创建自定义 key
1.明确需要执行的 linux 命令
who | wc -l

2.创建 zabbix 的监控项配置文件，用于自定义 key
vim /etc/zabbix/zabbix_agent2.conf
#可以将自定义的监控项配置文件创建在 zabbix_agent2.d 目录中
281 Include=/etc/zabbix/zabbix_agent2.d/*.conf
#自定义监控项的格式如下
321 #	Format: UserParameter=<key>,<shell command>

cd /etc/zabbix/zabbix_agent2.d/

vim UserParameter_login.conf
UserParameter=login.user,who|wc -l

systemctl restart zabbix-agent2

3.在服务端验证新建的监控项
zabbix_get -s '192.168.80.30' -p 10050 -k 'login.user'


//在 Web 页面创建自定义监控项模板
1.创建模板
点击左边菜单栏【配置】中的【模板】，点击【创建模板】
【模板名称】设置成 Template Login User
【可见的名称】设置成 Template Login User
【群组】选择 Template
【描述】可自定义
点击 【添加】，此时就可在【名称】中搜索到 Template Login User 了


2.创建监控项
点击 Template Login User 模板进入
点击上方菜单栏【监控项】，点击【创建监控项】
【名称】设置成 Number of login users
【键值】设置成 login.user			#键值必须要与自定义的监控项配置文件中设置的保持一致
【更新间隔】设置成 10s
【历史数据保留时长】Storage period	30d		#保留时间可自定义设置
点击 【添加】

3.创建触发器（当监控项获取到监控的值后和触发器预设的值进行对比，判断是否报警）
点击上方菜单栏【触发器】，点击【创建触发器】
【名称】设置成 Number of login users is greater than 3
【严重性】设置成 一般严重		#根据严重程度可自定义设置
【表达式】点击添加，【监控项】点击选择 Number of login users，【功能】选择 last()，【结果】选择 > 3，点击 【插入】
点击 【添加】

4.创建图形
点击上方菜单栏【图形】，点击【创建图形】
【名称】设置成 Number of login users
【宽】、【高】可直接采用默认值
【监控项】点击添加勾选相关监控项 Number of login users，【功能】选择 最大，其它可保持默认值
点击 【添加】

5.将主机与模板关联起来（一个主机可以关联多个模板）
点击左边菜单栏【配置】中的【主机】，点击你要关联的主机
【模板】搜索 login，选择 Template Login User，点击【更新】

此时就点击【监测】中的【主机】，点击你关联主机的【图形】，即可查看到相关的监控项指标

6.设置邮件报警
点击左边菜单栏【管理】中的【报警媒介类型】，点击【创建媒体类型】
【名称】设置成 qq_Email
【SMTP服务器】设置成 smtp.qq.com
【SMTP服务器端口】设置成 25
【SMTP HELO】设置成 qq.com
【SMTP电邮】设置成 自己的邮箱地址，例如 qwe4546456@qq.com
【认证】选择 用户名和密码
【用户名称】设置成 自己的邮箱地址，例如 qwe4546456@qq.com
【密码】可登录QQ邮箱页面，点击【设置】-->【账户】中的【生成授权码】，通过短信获取授权码
【描述】可自定义
点击上方菜单栏【Message templates】，点击【添加】，【Message type】选择 问题，点击【更新】
点击 【添加】，并测试功能

点击左边菜单栏【User settings】-->【Profile】-->【报警媒介】，点击【添加】
【类型】选择 qq_Email
【收件人】设置成 qwe4546456@wo.cn
【当启用时】设置成 1-7,00:00-24:00
【如果存在严重性则使用】勾选需要的严重性
点击 【添加】
再点击 【更新】

点击左边菜单栏【配置】->【动作】->【Trigger actions】
选择相对应的动作名称点击进入，点击 【添加】
【类型】选择 触发器，【操作者】选择 等于，【触发器】点击选择 Nunber of login users is greater than 3
点击【添加】
勾选 【已启动】
点击 【更新】


//测试邮件报警
增加测试客户端的用户登录数超过触发器预设的值，查看【监测】-->【仪表板】，确认报警

在这里插入图片描述

4、zabbix 自动发现

//zabbix 自动发现（对于 agent2 是被动模式）
zabbix server 主动的去发现所有的客户端，然后将客户端的信息登记在服务端上。
缺点是如果定义的网段中的主机数量多，zabbix server 登记耗时较久，且压力会较大。

systemctl disable --now firewalld
setenforce 0
hostnamectl set-hostname zbx-agent02

1.确保客户端上的 zabbix-agent2 服务状态正常
systemctl is-active zabbix-agent2.service 
active


2.在 Web 页面删除原有的客户端主机
点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除


3.在服务端和客户端上配置 hosts 解析
vim /etc/hosts
192.168.80.20 zbx-server
192.168.80.30 zbx-agent01
192.168.80.40 zbx-agent02


4.在 Web 页面配置自动发现
点击左边菜单栏【配置】中的【自动发现】，点击【创建发现规则】
【名称】设置成 mynetwork
【IP范围】设置成 192.168.80.1-254
【更新间隔】设置成 30s
【检查】点击【添加】，【检查类型】选择 Zabbix 客户端，【端口范围】设置成 10050，【键值】设置成 system.uname
【设备唯一性准则】选择 IP地址
【主机名称】选择 DNS名称
【可见的名称】选择 主机名称
勾选 【已启用】，点击 【添加】

点击左边菜单栏【配置】中的【动作】，上方菜单选择 【发现动作】
勾选 【Auto discovery. Linux servers.】，点击 【启用】

点击左边菜单栏【配置】中的【主机】刷新，等待一段时间后即可刷新出自动发现的客户端主机

可在服务端查看 zabbix 日志
tail -f /var/log/zabbix_server.log
......
  6601:20210922:225044.115 enabling Zabbix agent checks on host "zbx-agent02": interface became available

在这里插入图片描述

5、zabbix 自动注册

zabbix agent2 会主动上报自己的信息，发给 zabbix server。
缺点是可能因为配置文件配置错误或者网络不通等原因导致 zabbix agent2 可能找不到 zabbix server。

1.环境准备
点击左边菜单栏【配置】中的【发现动作】，勾选发现规则，点击 禁用
点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除

vim /etc/hosts
192.168.80.20 zbx-server
192.168.80.30 zbx-agent01
192.168.80.40 zbx-agent02


2.修改 zabbix-agent2 配置文件
vim /etc/zabbix/zabbix_agent2.conf
......
HostnameItem=system.hostname		#152行，取消注释

egrep -v "^#|^$" /etc/zabbix/zabbix_agent2.conf 
PidFile=/var/run/zabbix/zabbix_agent2.pid
LogFile=/var/log/zabbix/zabbix_agent2.log
LogFileSize=0
Server=192.168.80.20
ServerActive=192.168.80.20
Hostname=zbx-agent01
HostnameItem=system.hostname
Include=/etc/zabbix/zabbix_agent2.d/*.conf
ControlSocket=/tmp/agent.sock

systemctl restart zabbix-agent2


3.在 Web 页面配置自动注册
点击左边菜单栏【配置】中的【动作】，上方菜单选择 【自动注册动作】，点击【创建动作】
【名称】设置成 Auto registration
点击 【添加】，【类型】选择 主机名称，【操作者】选择 包含，【值】设置成 zbx-agent
点击上方菜单栏【操作】，点击【添加】，【操作类型】选择 添加主机，点击 【Add】
再点击【添加】，【操作类型】选择 添加到主机群组，【主机群组】选择 Linux servers，点击 【Add】
再点击【添加】，【操作类型】选择 与模板关联，【模板】搜索 Linux，选择 Linux by Zabbix agent，点击 【Add】
点击下方的【添加】

等待一段时间后，点击左边菜单栏【配置】中的【主机】刷新，即可刷新出自动发现的客户端主机

在服务端查看 zabbix 日志
tail -f /var/log/zabbix_server.log