1、Prometheus、Metrics Server与Kubernetes监控体系

简介： Prometheus 项目与 Kubernetes 项目一样，也来自于 Google 的 Borg 体系，它的原型系统，叫作 BorgMon，是一个几乎与 Borg 同时诞生的内部监控系统

Prometheus 项目工作的核心，是使用 Pull （抓取）的方式去搜集被监控对象的 Metrics 数据（监控指标数据），然后，再把这些数据保存在一个 TSDB （时间序列数据库，比如 OpenTSDB 、 InfluxDB 等）当中，以便后续可以按照时间进行检索。

Pushgateway ：允许被监控对象以 Push 的方式向Prometheus 推送 Metrics 数据

Alertmanager ：可以根据 Metrics 信息灵活地设置报警

Grafana ：对外暴露出的、可以灵活配置的监控数据可视化界面

1.1、Metrics 数据的来源

• 第一种 Metrics，是宿主机的监控数据
  • 这部分数据的提供，需要借助一个由 Prometheus 维护的Node Exporter 工具，就是代替被监控对象来对Prometheus 暴露出可以被“抓取”的 Metrics 信息的一个辅助进程。
• 第二种 Metrics ，是来自于 Kubernetes 的 API Server 、kubelet 等组件的 /metrics API
  • 除了常规的 CPU 、内存的信息外，这部分信息还主要包括了各个组件的核心监控指标。比如，对于 API Server 来说，它就会在 /metrics API 里，暴露出各个 Controller 的工作队列（ Work Queue ）的长度、请 求的 QPS 和延迟数据等等。这些信息，是检查
    Kubernetes 本身工作情况的主要依据。​​​​​​​
• 第三种 Metrics ，是 Kubernetes 相关的监控数据
  • ​​​​​​​ 这部分数据，一般叫作 Kubernetes 核心监控数据（core metrics ）。这其中包括了 Pod 、 Node 、容器、Service 等主要 Kubernetes 核心概念的Metrics。
  • 这里提到的 Kubernetes 核心监控数据，其实使用的是 Kubernetes 的一个非常重要的扩展能力，叫作Metrics Server。在社区的定位，是用来取代Heapster。

• 利用率（Utilization），资源被有效利用起来提供服务的平均时间占比；
• 饱和度（Saturation），资源拥挤的程度，比如工作队列的长度；
• 错误率（Errors），错误的数量。