前言
一个完整的项目的业务架构包括
客户端
-> 防火墙 -> 负载均衡层(四层、七层 LVS/HAProxy/nginx)
-> Web缓存/应用层(nginx、tomcat)
-> 业务逻辑层(php/java动态应用服务)
-> 数据缓存/持久层(redis/mysql)
一个运维架构
运维客户端
-> 跳板机/堡垒机(jumpserver/VPN)
-> 监控系统(zabbix、prometheus)、
日志系统(ELK、Loki)、
存储系统(NFS、Ceph、NAS、SAN)、
自动化运维平台(Ansible)、
自动发布系统(CI/CD jenkins gitlab)
一.监控的概述
作为一个运维,需要会使用监控系统查看服务器系统性能、应用服务状态和网站指标等,利用监控
系统的数据去了解项目上线发布的结果和健康状态;
利用一个优秀的监控软件,我们可以
- 通过一个友好的界面进行浏览整个网站所有的服务器状态
- 可以在 Web 前端方便的查看监控数据
- 可以回溯寻找事故发生时系统的问题和报警情况
1.zabbix 是什么?
(1)zabbix 是一个基于 Web 界面的提供分布式系统监视以及网络监视功能的企业级的开源解决
方案。
(2)zabbix 能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统
管理员快速定位/解决存在的各种问题。
(3)zabbix 由 2 部分构成,zabbix server 与可选组件 zabbix agent。通过 C/S 模式采集数据,
通过 B/S 模式在 Web 端展示和配置。
(4)zabbix server 可以通过 zabbix agent,SNMP协议,端口监视等方法提供对远程服务器/网络
状态的监视,数据收集等功能,它可以运行在 Linux 等平台上。
(5)zabbix agent 需要安装在被监视的目标服务器上,它主要完成对硬件信息或与操作系统有关
的内存,CPU 等信息的收集。
2.zabbix 监控原理
zabbix agent 安装在被监控的主机上,zabbix agent 负责定期收集客户端本地各项数据,并发送至
zabbix server 端,zabbix server 收到数据后, 将数据存储到数据库中,用户基于 Zabbix Web 可
以看到数据在前端展现图像。当 zabbix 监控某个具体的项目, 该项目会设置一个触发器阈值, 当
被监控的指标超过该触发器设定的阈值,会进行一些必要的动作,动作包括:发送信息(邮件、微
信、短信)、发送命令(shell 命令、reboot、restart、 install 等)。
总结:zabbix agent 等代理端会定期采集被监控主机的指标数据并发送给 zabbix server,zabbix server 接收数据后会存储带 zabbix database 中,管理员可基于 zabbix web 在浏览器页面查看监控数据的图像。
3.Zabbix 6.0 新特性
(1)Zabbix server高可用防止硬件故障或计划维护期的停机:
- 原生选择加入HA群集配置
- 定义一个或多个备用节点
- 实时监控Zabbix server群集节点的状态
- 不需要外部工具即可将Zabbix server配置为HA群集模式
(2)Zabbix 6.0 LTS新增Kubernetes监控功能,可以在Kubernetes系统从多个维度采集指标:
- Kubernetes节点和pods的自动发现和监控
- 无代理方式采集Kubernetes pods和节点的信息
- 获取Kubernetes节点主机高水平信息
4.Zabbix 6.0 功能组件(C/S架构)
服务端
(1)Zabbix Server(端口10051)
zabbix服务端进程,用于接收代理端发来的监控指标数据,配置和管理zabbix应用程序,也是监控系统的告警中心(通过监控项告警触发配置实现)
- zabbix 服务端守护进程,是 Zabbix 软件的核心组件,Zabbix Agent 向其报告可用性、系统完整性信息和统计信息。
- Zabbix Server 也是存储所有配置信息、统计信息和操作信息的核心存储库。
- Zabbix Server 也是 Zabbix 监控系统的告警中心。在监控的系统中出现任何异常,将发出通知给管理员。
基本的 Zabbix Server 的功能分解成为三个不同的组件。他们是:Zabbix server、Web 前端、数据库。
(2)Zabbix 的所有配置信息都存储在 Server 和 Web 前端进行交互的数据库中。例如,当你通过
Web 前端(或者API)新增一个监控项时, 它会被添加到数据库的监控项表里。然后,Zabbix
server 以每分钟一次的频率查询监控项表中的有效项,接着将它存储在 Zabbix server 中的缓存
里。 这就是为什么 Zabbix 前端所做的任何更改需要花费两分钟左右才能显示在最新的数据段的原
因。
【1】数据库(zabbix database)
持久化存储配置信息和监控指标数据(支持mysql postgresql oracle db2 tsdb等)
所有配置信息以及 Zabbix 采集到的数据都被持久存储在数据库中。
可以支持 MySQL、PostgreSQL、Oracle、DB2、TimescaleDB 等多种数据库。
【2】Web 界面
用于zabbix服务端配置管理界面和监控数据的UI界面的展示(支持LAMP/LNMP)
Web 界面是 Zabbix Server 的一部分,用于实现展示和配置的界面。通常(但不一定)和 Zabbix
server 运行在同一台物理机器上。
基于 Apache/Nginx + PHP 实现,早期只支持 LAMP 架构,从 Zabbix5.0 开始支持 LNMP 。
客户代理端
【3】Zabbix Agent(端口10050)
客户端守护进程,部署在被监控目标上,用于主动监控本地资源和应用程序,并将收集的数据发送
给 Zabbix Server。从 Zabbix5.0 开始支技 Zabbix Agent2 。
部署在被监控的主机上,采集监控指标数据,并发送给zabbix server(数据采集支持主动模式和被动模式)
主动模式:zabbix agent 主动向 zabbix server 请求监控项列表,并返回监控项所需要采集的监控指标数据给 zabbix server
被动模式:zabbix agent 被动接收 zabbix server 请求的监控指令,zabbix agent 再返回监控项所需要的监控指标数据给 zabbix server
【4】Zabbix Proxy
zabbix代理端进程,部署在zabbix server与zabbix agent之间,代替zabbix server接收zabbix agent发来的监控指标数据并存储在本地数据库,汇总后再转发给zabbix server, 从而可以分担zabbix server的集中式负载压力
zabbix 分布式代理守护进程,可以代替 Zabbix Server 采集性能和可用性数据。Zabbix Proxy 在
Zabbix 的部署是可选部分。
Zabbix Proxy 的部署可以很好的分担单个 Zabbix Server 的负载。
通常监控大于 500 台主机时使用,需要进行分布式监控架构部署。
【5】Java Gateway
用于获取从通过在JAVA应用暴露的JXM远程端口采集的监控指标数据
Zabbix 要监控 Tomcat 服务或其它 JAVA 程序(比例 Elasticsearch、ZooKeeper),需要使用
Java Gateway 做为代理,才能从 JAVA 程序中获取数据。
5.新旧监控系统的区别
二.Zabbix 部署
系统:CentOS 7 不支持 yum 方式安装 Zabbix 6.0 服务端
安装方式:Zabbix 服务端采用编译安装的方式,zabbix 客户端采用 yum 安装的方式
1.初始化操作
关闭 selinux 与防火墙
systemctl disable --now firewalld
setenforce 0
vim /etc/sysconfig/seliunux
2.安装 nginx
(1)安装
cd /etc/yum.repos.d/
mv repo.bak/* ./
mv local.repo repo.bak
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#将本地源改成阿里云的在线源
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true
EOF
yum install -y nginx
(2)修改配置
vim /etc/nginx/conf.d/default.conf
server {
listen 80;
server_name zbx.xy101.com;
root /var/www/zbx;
location / {
index index.php;
}
location ~ \.php$ { #取消注释
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /var/www/zbx$fastcgi_script_name;
include fastcgi_params;
}
}
3.安装 php
(1)安装
yum install -y epel-release
rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
yum -y install php72w php72w-cli php72w-common php72w-devel php72w-embedded php72w-gd php72w-mbstring php72w-pdo php72w-xml php72w-fpm php72w-mysqlnd php72w-opcache php72w-ldap php72w-bcmath
(2)修改配置
vim /etc/php-fpm.d/www.conf
#将 apache 改成 nginx
user = nginx
group = nginx
vim /etc/php.ini
max_execution_time = 300 # 368行
max_input_time = 600 # 378行
post_max_size = 80M # 656行
date.timezone = Asia/Shanghai # 877行
4.创建目录和测试文件
mkdir -p /var/www/zbx
vim /var/www/zbx/index.php
<?php
phpinfo();
?>
5.启动服务
systemctl enable --now nginx php-fpm
修改当前真机的hosts文件
修改 C:\Windows\System32\drivers\etc\hosts
192.168.10.20 zbx.xy101.com
浏览器访问:http://zbx.xy101.com/index.php
6.部署数据库
要求 MySQL 5.7 或 Mariadb 10.5 及以上版本
(1)配置 Mariadb yum源
cat > /etc/yum.repos.d/mariadb.repo << EOF
[mariadb]
name = MariaDB
baseurl = http://mirrors.aliyun.com/mariadb/yum/10.5/centos7-amd64/
gpgkey = http://mirrors.aliyun.com/mariadb/yum/RPM-GPG-KEY-MariaDB
gpgcheck = 1
enabled=1
EOF
yum install -y mariadb-server mariadb
systemctl enable --now mariadb
(2)初始化数据库
mysql_secure_installation
mysql -u root -pabc123
#创建数据库并指定字符集
CREATE DATABASE zabbix character set utf8 collate utf8_bin;
#创建 zabbix 数据库用户并授权
GRANT all ON zabbix.* TO 'zabbix'@'localhost' IDENTIFIED BY 'zabbix';
GRANT all ON zabbix.* TO 'zabbix'@'%' IDENTIFIED BY 'zabbix';
flush privileges;
7.向数据库导入 zabbix 数据
上传zabbix源码包至/opt/目录并解压
tar xf zabbix-6.0.31.tar.gz
用for循环的方式导入数据至数据库
for i in schema.sql images,sql data.sql double.sql history pk prepare.sql
do
mysql -u root -pabc123 zabbix < $i
done
8.编译安装 zabbix Server 服务端
(1)安装依赖包,创建 zabbix 用户
yum install -y mysql-devel pcre-devel openssl-devel zlib-devel libxml2-devel net-snmp-devel net-snmp libssh2-devel OpenIPMI-devel libevent-devel openldap-devel libcurl-devel fping gcc gcc-c++ make
useradd -s /sbin/nologin -M zabbix
(2)编译安装
cd /opt/zabbix-6.0.13/
./configure \
--sysconfdir=/etc/zabbix/ \
--enable-server \
--with-mysql \
--with-net-snmp \
--with-libxml2 \
--with-ssh2 \
--with-openipmi \
--with-zlib \
--with-libpthread \
--with-libevent \
--with-openssl \
--with-ldap \
--with-libcurl \
--with-libpcre
make install
(3)检查版本
zabbix_server --version
(4)修改 zabbix server 配置文件,修改数据库的密码
vim /etc/zabbix/zabbix_server.conf
......
LogFile=/var/log/zabbix_server.log # 38行,指定 zabbix 日志路径
DBPassword=zabbix # 123行,指定 zabbix 数据库的密码
(5)准备 systemctl 服务管理文件
cat > /usr/lib/systemd/system/zabbix-server.service << EOF
[Unit]
Description=Zabbix Server with MySQL DB
After=syslog.target network.target mysqld.service
[Service]
Type=simple
ExecStart=/usr/local/sbin/zabbix_server -f
User=zabbix
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
touch /var/log/zabbix_server.log
chown zabbix.zabbix /var/log/zabbix_server.log
systemctl enable --now zabbix-server
netstat -lntp | grep 10051 #zabbix_server 默认监听 10051 端口
9.部署 Web 前端,进行访问
cd /opt/zabbix-6.0.31/ui/
cp -a * /var/www/zbx/
chown -R nginx:nginx /var/www/zbx/
浏览器访问:http://zbx.xy101.com/index.php
安装完成后,默认的登录账号和密码为:Admin/zabbix
10.安装 zabbix 客户端,实现 zabbix 服务端自我监控
rpm -ivh https://repo.zabbix.com/zabbix/6.0/rhel/7/x86_64/zabbix-release-6.0-4.el7.noarch.rpm
yum install -y zabbix-agent2 zabbix-agent2-plugin-*
netstat -lntp | grep zabbix
(1)解决 zabbix-server Web页面中文乱码问题
yum install -y wqy-microhei-fonts
\cp -f /usr/share/fonts/wqy-microhei/wqy-microhei.ttc /var/www/zbx/assets/fonts/DejaVuSans.ttf
有乱码问题
刷新页面,乱码消失!!!
三. 添加 zabbix 客户端主机
1.初始化操作
关闭 selinux 与防火墙
systemctl disable --now firewalld
setenforce 0
vim /etc/sysconfig/seliunux
2.服务端和客户端都配置时间同步
timedatectl #默认已安装chronyd
3.服务端和客户端都设置 hosts 解析
4.设置 zabbix 的下载源,安装 zabbix-agent2
rpm -ivh https://repo.zabbix.com/zabbix/6.0/rhel/7/x86_64/zabbix-release-6.0-4.el7.noarch.rpm
yum install -y zabbix-agent2 zabbix-agent2-plugin-*
启动服务
systemctl enable --now zabbix-agent2
netstat -natp | grep zabbix
(1)修改 agent2 配置文件
vim /etc/zabbix/zabbix_agent2.conf
之后,保存退出后,重启服务
systemctl restart zabbix-agent2
(2)在服务端验证 zabbix-agent2 的连通性
服务端
yum install -y zabbix-get #安装 zabbix 主动获取数据的命令
zabbix_get -s '192.168.10.30' -p 10050 -k 'agent.ping' #返回1即是连通
zabbix_get -s '192.168.10.30' -p 10050 -k 'agent.hostname'
#配置文件中设置的主机名
zabbix_get -s '192.168.10.30' -p 10050 -k 'system.hostname'
#系统主机名
#常用的键值
agent.ping
#服务端与客户端是否连通,返回1表示可达,返回非表示不可达
system.hostname
#系统主机名
agent.hostname
#客户端主机名
net.if.in[if,<mode>]
#网络接口进入的流量统计,if表示网卡名称,带<>的参数表示可以省略
net.if.out[if,<mode>]
#网络接口流出的流量统计
proc.num[<name>,<user>,<state>,<cmdline>,<zone>]
#进程数
net.tcp.port[<ip>,port]
#检查是否能建立tcp连接到指定端口,返回0表示不能连接,返回1表示可以连接
5.在 Web 页面中添加 agent 主机
#监控模板下载地址
https://share.zabbix.com/
https://monitoringartist.github.io/zabbix-searcher/
https://git.zabbix.com/projects/ZBX/repos/zabbix/browse/templates
四.自定义监控内容
案列:自定义监控客户端服务器登录的人数
需求:限制登录人数不超过 3 个,超过 3 个就发出报警信息
1.在客户端创建自定义 key
(1)明确需要执行的 linux 命令
who | wc -l
(2)创建 zabbix 的监控项配置文件,用于自定义 key
vim /etc/zabbix/zabbix_agent2.conf
#可以将自定义的监控项配置文件创建在 zabbix_agent2.d 目录中
Include=/etc/zabbix/zabbix_agent2.d/*.conf #281行
#自定义监控项的格式如下
Format: UserParameter=<key>,<shell command> #321行
cd /etc/zabbix/zabbix_agent2.d/
vim UserParameter_login.conf
UserParameter=login.user,who|wc -l
systemctl restart zabbix-agent2
服务端验证
2.在 Web 页面创建自定义监控项模板
(1)创建模板
(2)创建监控项
(3)创建触发器
当监控项获取到监控的值后和触发器预设的值进行对比,判断是否报警
(4)创建图形
(5)将主机与模板关联起来
(6)验证告警
(7)设置邮件报警
1)在zabbix服务端Web管理页面【管理】-【媒介】中创建 报警媒介类型 和 消息模板
2)在【用户设置】-【配置】-【报警媒介】中设置 邮件接收人 启用时间 严重级别
3)在【配置】-【动作】-【触发器动作】创建 动作,设置 动作条件 操作细节
4)测试验证