readme

其实上一篇文章已经把如何操作，基本上是写全了（因为是从本文精炼出来的）本文可能更多的是补充一些关于 Prometheus 和 Grafana 的理论，关系等。

操作标签：是必看，要操作的。
非必要看标签：是非必看，是关于软件的各种理论。
PS：下文最先运行的应该是 node_exporter，然后是Prometheus，最后是Grafana。
总体架构图：

如上图，通过 mysql_exporter 获取 MySQL 的监控数据，通过 node_exporter 获得 Linux 服务器的监控数据。将获得的监控数据传到 Prometheus 中，最终通过 Grafana 展示出来，效果如下图：

0. Prometheus简介（非必要看）

多维度数据模型。灵活的查询语言。不依赖分布式存储，单个服务器节点是自主的。通过基于HTTP的pull方式采集时序数据。可以通过中间网关进行时序列数据推送。通过服务发现或者静态配置来发现目标服务对象。支持多种多样的图表和界面展示，比如Grafana等。

Prometheus架构图（非必要看）

说明:prometheus 直接或通过pushgateway抓取数据。将数据存储在本地，并对这些数据运行规则，以便从现有数据聚合和记录新时间序列，或者生成警报。grafana等可用于可视化数据。

Prometheus组件说明（非必要看）

prometheus Server: 根据配置完成数据采集，服务发现以及数据存储。

Push Gateway : 为应对部分push场景提供的插件，监控数据先推送到 Push Gateway 上，然后再由 Prometheus Server 端采集 pull 。用于存在时间较短，可能在 Prometheus 来 pull 之前就消失了的 jobs （若 Prometheus Server 采集间隔期间，Push Gateway 上的数据没有变化， Prometheus Server 将采集到2次相同的数据，仅时间戳不同）

Exporters（探针）: 是Prometheus的一类数据采集组件的总称。它负责从目标处搜集数据，并将其转化为Prometheus支持的格式。与传统的数据采集组件不同的是，它并不向中央服务器发送数据，而是等待中央服务器主动前来抓取。

Alertmanager: Prometheus server 主要负责根据基于PromQL的告警规则分析数据，如果满足PromQL定义的规则，则会产生一条告警，并发送告警信息到Alertmanager，Alertmanager则是根据配置处理告警信息并发送。

**常见的接收方式有：**电子邮件，webhook 等。Alertmanager三种处理告警信息的方式：分组，抑制，静默。

1. 下载和安装Prometheus（操作）

首先，你需要下载和安装Prometheus。你可以从Prometheus的官方网站（https://prometheus.io/）下载最新版本的二进制文件。下载好后，你需要将Prometheus解压到你的计算机上。

关于监控（非必要看）

监控系统（非必要看）

监控什么（非必要看）

配置Prometheus（操作）

在解压Prometheus之后，你需要配置Prometheus以监控你的应用程序。在Prometheus的根目录下，你会找到一个名为prometheus.yml的文件。这个文件包含了Prometheus的配置信息。

你需要编辑这个文件，添加你要监控的目标。在这个文件中，你需要定义一个或多个job。每个job表示你要监控的目标。对于每个job，你需要指定一个target，它表示你要监控的应用程序的地址和端口号。

例如，假设你要监控一个名为myapp的应用程序，它运行在localhost上的8080端口，那么你的prometheus.yml文件应该如下所示：

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'myapp'
    scrape_interval: 5s
    static_configs:
      - targets: ['localhost:8080']

在这个配置中，我们定义了一个名为myapp的job，它每隔5秒钟就会监控一次localhost:8080这个目标。

通过配置 scrape_interval 和 evaluation_interval 设置采样时间和评估时间，以控制指标的精度和延迟。

连接我自己云服务器的样例（操作）

这个9100端口是下面下载后运行在云服务器上的默认端口。

-----------------------------------

添加远程主机（连接linux云服务器）（监控云服务器）（操作）

1.官网下载node_exporter安装包,官网下载地址如下: https://prometheus.io/download/

将 node_exporter 传到需要监控的 MySQL 机器上，进行解压：

sdo utar -zxvf node_exporter-1.5.0.linux-amd64.tar.gz -C /opt/

创建软链接：

sudo ln -s /opt/node_exporter-1.5.0.linux-amd64/ /opt/node_exporter

启动

sudo nohup /opt/node_exporter/node_exporter &（下载完了就可以运行了，运行在Prometheus之前）

运行Prometheus（操作）

在完成了配置之后，你可以启动Prometheus。在Prometheus的根目录下，运行以下命令：

./prometheus (.exe)

这将启动Prometheus，并开始监控你在配置文件中指定的目标。

查看监控数据（操作）

一旦Prometheus开始监控你的应用程序，它就会收集各种指标数据，并将这些数据（启动后，您可以在浏览器中输入 http://localhost:9090/，访问 Prometheus 的 UI 界面，在其中可以看到已经可以采集到的指标。）

此时如果这里报错：get context deadline exceeded，就是说明没有开放此端口，我是在阿里云上开放了就可以了

浏览器输入：http://192.168.150.123:9100/metrics，如果有类似如下数据，则表示 node_exporter 部署完成。

-----------------------------------

添加远程主机（连接mysql服务器）（监控mysql服务器）（操作）

部署 mysqld_exporter 组件（操作）

首先在https://prometheus.io/download/中找到对应的 mysqld_exporter 版本。

将 mysqld_exporter 传到需要监控的 MySQL 机器上，进行解压：

sudo tar zxvf mysqld_exporter-0.14.0.linux-amd64.tar.gz -C /opt

创建软链接

sudo ln -s /opt/mysqld_exporter-0.14.0.linux-amd64/ /opt/mysqld_exporter

在 MySQL 上创建监控用户

create user ‘exporter’@‘localhost’ IDENTIFIED BY ‘112233lml!’;

GRANT SELECT, PROCESS, SUPER, REPLICATION CLIENT, RELOAD ON . TO ‘exporter’@‘localhost’;

新建一个配置文件：

sudo vim /opt/mysqld_exporter/mysqld_exporter.cnf

配置 MySQL 监控用户信息：

[client]
user=exporter
password=112233lml!

启动 mysqld_exporter

sudo nohup /opt/mysqld_exporter/mysqld_exporter --config.my-cnf=/opt/mysqld_exporter/mysqld_exporter.cnf &

浏览器输入：http://192.168.150.123:9104/metrics，可获得 MySQL 监控数据，如下图（部分数据）：

配置 Prometheus 获取监控数据（操作）

重启 prometheus

-----------------------------------

配置Prometheus的告警规则（文章最后面有详细设置）

Prometheus支持基于指标的告警规则，以便在监控数据达到特定阈值时发送告警通知。你可以通过Prometheus的prometheus.yml文件来配置告警规则，并通过Alertmanager来发送告警通知。在告警规则中，你可以设置阈值、告警级别和告警通知方式等。

分隔符 || 集成Prometheus和Grafana（非必要看）

Prometheus和Grafana是两个常用的监控和分析工具，它们可以很好地协同工作来实现更高效的监控和分析。你可以通过Prometheus提供的API来将监控数据传递给Grafana，并利用Grafana的可视化工具来展示和分析数据。通过Prometheus和Grafana的集成，你可以更好地了解你的系统运行情况，并及时采取措施来解决问题和风险。

总之，Prometheus是一个功能强大的监控和分析工具，可以帮助你实时监控和分析系统的性能和运行情况。通过Prometheus，你可以更好地了解你的系统，并及时采取措施来解决潜在问题和风险。

Prometheus的监控展现图通常是基于Grafana进行展示的。Grafana是一款开源的数据可视化工具，它可以方便地将Prometheus收集到的监控数据展示为各种形式的图表。

2. Grafana简介（非必要看）

Grafana是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，你只需要提供你需要监控的数据，它就可以帮你生成各种可视化仪表,并且带有告警功能。

Grafana 不对数据源作假设，它支持以下各种数据，也就是说如果你的数据源是以下任意一种，它都可以帮助生成仪表

（不管你用什么语言）。

Grafana 支持的数据源（非必要看）

Prometheus 本文中的例子，你没听过也没关系不影响阅读，把它想象成带时间戳的 MySQL 就好
Graphite
OpenTSDB
InfluxDB
MySQL/PostgreSQL
Microsoft SQL Server
等等

特点（非必要看）

①可视化：快速和灵活的客户端图形具有多种选项。面板插件为许多不同的方式可视化指标和日志。

②报警：可视化地为最重要的指标定义警报规则。Grafana将持续评估它们，并发送通知。

③通知：警报更改状态时，它会发出通知。接收电子邮件通知。

④动态仪表盘：使用模板变量创建动态和可重用的仪表板，这些模板变量作为下拉菜单出现在仪表板顶部。

⑤混合数据源：在同一个图中混合不同的数据源!可以根据每个查询指定数据源。这甚至适用于自定义数据源。

⑥注释：注释来自不同数据源图表。将鼠标悬停在事件上可以显示完整的事件元数据和标记。

⑦过滤器：过滤器允许您动态创建新的键/值过滤器，这些过滤器将自动应用于使用该数据源的所有查询。

3. 安装和使用Grafana（操作）

下载和安装Grafana（操作）

首先，你需要从Grafana的官方网站（https://grafana.com/grafana/download）下载最新版本的二进制文件。下载好后，你需要将Grafana解压到你的计算机上。（我下载的windows的）

启动Grafana（操作）

在解压Grafana之后，你需要启动Grafana。在Grafana的根目录下，运行以下命令：

./bin/grafana-server web

这将启动Grafana，并将其运行在默认端口3000上。你可以在浏览器中访问http://localhost:3000来访问Grafana的Web界面。

(

默认端口：3000

地址：http://ip:3000

初始管理员账号：admin，密码：admin

)

配置数据源（操作）

在访问Grafana的Web界面之后，你需要配置Grafana的数据源。数据源是Grafana用来获取监控数据的来源。在Grafana的Web界面中，选择左侧菜单栏的“Configuration” -> “Data Sources”，然后点击“Add data source”按钮来添加你的数据源。

Grafana支持多种数据源，包括Prometheus、InfluxDB、Graphite等。选择你要使用的数据源，并填写相应的配置信息。例如，如果你要使用Prometheus作为数据源，那么你需要填写Prometheus的地址和端口号。

创建仪表盘（详文请跳转到后面 – 构建你的第一个仪表盘）（操作）

在配置好数据源之后，你可以开始创建你的第一个仪表盘了。在Grafana的Web界面中，选择左侧菜单栏的“Create” -> “Dashboard”，然后点击“Add panel”按钮来添加你的图表。

在添加图表时，你可以选择不同的展示形式，如折线图、柱状图、饼图等。你还可以选择你要展示的指标和时间范围。

查看监控数据（非必要看）

一旦你创建了你的仪表盘,在你创建了仪表盘之后，你可以查看监控数据并进行分析。在Grafana的Web界面中，你可以选择左侧菜单栏的“Dashboard”来查看你的仪表盘。

在仪表盘中，你可以看到你所选择的监控数据的可视化图表以及相应的指标。你可以根据需要对图表进行调整和修改，以便更好地展示你所关注的指标和数据。

此外，Grafana还提供了各种可视化工具和插件，以便用户自定义和扩展监控数据的展示方式。你可以在Grafana的官方网站上查找和下载这些插件，以便更好地满足你的需求。

总之，Grafana是一个功能强大的监控和分析工具，可以帮助你实时监控和分析系统的性能和运行情况。通过Grafana，你可以更好地了解你的系统，并及时采取措施来解决潜在问题和风险。

-----------------------------------

构建你的第一个仪表盘（操作）

常见问题（非必要看）

服务监控到底咋配置？怎样保证数据安全？
保证健康的服务到底应该监控些什么？
配置好后的仪表盘为啥消失了？
查询 Query 又该咋写？

注意，在之后的所有步骤中，你的 docker 应该处于运行状态。

在这里我们启动了三个服务（非必要看）

Prometheus 普罗米修斯时序数据库，用来存储和查询你的监控数据
Promethues-exporter 一个模拟数据源，用来监控你本机的状态，比如有几个 CPU，CPU 的负载之类
Grafana 本尊

到这里，你的 Grafana 就已经搭起来了。注意到 Docker 的配置文件中我们创建了三个服务，这三个服务之间分别有什么关系呢？

或者说，Grafana 和时序数据库，数据源之间有什么关系呢？请看下文 Grafana 工作原理

Grafana 工作原理（非必要看）

上面说到，Grafana 是一个仪表盘，而仪表盘必然是用来显示数据的。

Grafana 本身并不负责数据层，它只提供了通用的接口，让底层的数据库可以把数据给它。而我们起的另一个服务，叫 Prometheus （中文名普罗米修斯数据库）则是负责存储和查询数据的。

也就是说，Grafana 每次要展现一个仪表盘的时候，会向 Prometheus 发送一个查询请求。

那么配置里的另一个服务 Prometheus-exporter 又是什么呢？

这个就是你真正监测的数据来源了，Prometheus-exporter 这个服务，会查询你的本地电脑的信息，比如内存还有多少、CPU 负载之类，然后将数据导出至普罗米修斯数据库。

在真实世界中，你的目的是监控你自己的服务，比如你的 Web 服务器，你的数据库之类。

那么你就需要在你自己的服务器中把数据发送给普罗米修斯数据库。当然，你完全可以把数据发送给 MySQL (Grafana 也支持)，但普罗米修斯几乎是标配的时序数据库，强烈建议你用。

用一张图来说明它们之间的关系：

这里，最左边的 Docker 服务会将服务的数据发送给中间的普罗米修斯（对应上文的 Prometheus-exporter），而最右边的 Grafana 会查询中间的普罗米修斯，来展示仪表盘。

搭建你的第一个仪表盘（操作）

第 1 步 - 设置数据源（操作）

之后设置数据源 URL。请注意，Promethues 的工作原理是通过轮询一个 HTTP 请求来获取数据的，而 Grafana 在获取数据源的时候也是通过一个 HTTP 请求，因此这个地方你需要告诉 Grafana 你的 Prometheus 的数据端点是什么。

这里我们填入 http://prometheus:9090 就可以了。

//这里可能有问题？（我是用的localhost）（目前没问题）

（为什么不是 localhost:9090 呢？原因是，我们用了 docker-compose 起的三个服务，可以把它们想象成三台独立的服务器，因此需要用一个域名来互相通信。我们在 docker-compose.yml 中设置的普罗米修斯服务器的名字就叫 prometheus，因此这里需要用前者。）

点确认时一定要确认出现 Data source is working 这个检测，这时表明你的 Grafana 已经跟普罗米修斯说上话了。（直接save）

第 2 步 - 导入 Dashboard（操作）

在 Grafana 里，仪表盘的配置可以通过图形化界面进行，但配置好的仪表盘是以 JSON 存储的。这也就是说，如果你把你的 JSON 数据分享出去，别人导入就可以直接导入同样的仪表盘（前提是你们的监测数据一样）。

对于我们的例子来说，回忆一下，因为我们用了 prometheus-exporter 也就是本机的系统信息监控，那么我们可以先找一个同样用了这个数据源的仪表盘。在 Grafana 网站上，你其实可以找到很多别人已经做好的仪表，可以用来监测非常多标准化的服务。

Grafana 的仪表盘市场：https://grafana.com/grafana/dashboards

比如说针对以下一些服务的标准仪表盘就可以在这里找到

JVM
Spring Boot
MySQL 监控
Laravel 监控

那么，这里我们就用一个标准的仪表盘：https://grafana.com/grafana/dashboards/1860

在左侧的加号里，点 Import 即导入，在出现的界面中填入 1860（下面还有一个11074 可能更详细（下面有图））即我们要导入的仪表盘编号即可。

然后填入你需要的信息，比如仪表盘名字等

确认之后 Grafana 就会根据你的本机信息，生成类似 CPU 负载，内存和 I/O 之类的信息。我的磁盘状况如图（监测的我自己的云服务器）：

第 2 步 - 导入 Dashboard（操作）

把上面的import 改成11074

-----------------------------------（非必要看起始位置）

第 3 步 - 生成和创建新的仪表盘（目前就用了上面默认的）（操作）

最后，在上面导入信息的基础上，你就可以开始创建和你的服务、业务相关的仪表盘了。

但在这步之前，你需要先在你的服务中开始记录一些数据。

如何用 Prometheus 查询数据（目前就用了上面默认的）（操作）

普罗米修斯包括所有其它时序数据库通常都会定义一个查询语言，比如说 PromQL。

cpu使用率:
100 - (avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance) * 100)
 
内存使用率:
100-(node_memory_MemFree_bytes+node_memory_Buffers_bytes+node_memory_Cached_bytes)/node_memory_MemTotal_bytes*100
 
磁盘使用率:
100 - (node_filesystem_free_bytes{mountpoint="/data01",fstype=~"ext4|xfs"} / node_filesystem_size_bytes{mountpoint="/data01",fstype=~"ext4|xfs"} * 100)
 
下载带宽:（指定某一个网卡）
irate(node_network_receive_bytes_total{device='eth0'}[5m])
 
上传带宽:（指定某一个网卡）
irate(node_network_transmit_bytes_total{device='eth0'}[5m])
 
服务器负载:
node_load1
node_load5
node_load15

如何手动生成一个仪表盘（操作）

假设你已经按上面的步骤生成了一个基本的仪表盘，那么现在可以开始手动添加仪表盘了。同样是点左侧的加号，点 Dashboard 就可以进入添加仪表盘的界面。

这里我们选择一个数据叫 scrape_duration_seconds，先不用管它的含义是什么，就当它是双 11 的销售额好了：

-----------------------------------（非必要看结束位置）

配置Mysql数据源（操作）

Grafana支持多种数据源，Mysql，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch和KairosDB等。

1 配置数据源（操作）

一样是他，我们这里都是用的promethus

2 Grafana 展示 MySQL 的监控数据

在 “Import via grafana.com” 下方输入 7362：

或者在 https://grafana.com/grafana/dashboards/7362 页面下载 JSON 模板，然后点击 “Upload JSON file” 导入，然后会显示如下信息（目前还有其他一些模板，比如 https://github.com/percona/grafana-dashboards，有兴趣的可以尝试一下）：

在 prometheus 选项选择之前创建的 Prometheus 数据源，点击 “Import”，会自动跳转到如下界面：

到这里，完成了 Grafana 展示 Prometheus 中 MySQL 的监控数据。

告警配置

通常在正式环境上，需要监控服务器资源的使用情况，当达到使用率超过多少时，进行告警运维人员。

此时用到grafana的Alerting功能，进行定时检查/监控指标。并根据规则去发送警告信息，集成到企业微信/钉钉等办公软件

警告形式

1、添加群机器人

创建一个钉钉/企业微信群–>添加机器人–>添加机器人后，有一个webhook地址

2、grafana 里面配置告警渠道

2.1、添加告警渠道

2.2、将该告警方式配置为默认方式

具体告警规则配置

1、选定要告警的目标

在监控面板中，点击监控指标的下拉按钮–>选择Edit

2、添加警告规则

点击Edit后，下方出现添加告警规则按钮，点击添加

3、告警规则配置

最后点击保存，例如配置的规则是每分钟进行一次检查。当CPU超过3%（具体自己根据需要配置）时，进入pengding状态，持续2分钟超过3%，则会告警通知

添加告警后，可以在列表或者监控面板，查看监控状态

企业微信对应接收到告警通知

参考文章

设置端口：
firewall-cmd --list-ports ##列出开放的端口
firewall-cmd --add-port=9090/tcp --permanent #永久添加 9090 端口
firewall-cmd --add-port=9100/tcp --permanent #永久添加 9100 端口
firewall-cmd --add-port=9104/tcp --permanent #永久添加 9104 端口
firewall-cmd --list-ports #列出开放的端口
systemctl stop firewalld #关闭防火墙
systemctl start firewalld #开启防火墙
systemctl status firewalld #查看防火墙状态
systemctl restart firewalld #重启防火墙

参考文章：https://blog.csdn.net/liyanbin1214/article/details/125373510

参考文章：https://blog.csdn.net/easylife206/article/details/114312284

参考文章：https://blog.csdn.net/ok_shuai/article/details/128950355

参考文章：https://blog.csdn.net/weixin_43997319/article/details/124983451

参考文章：https://blog.csdn.net/qq_38571773