1. MySQL
https://github.com/prometheus/mysqld_exporter
可用性
表示MySQL实例是否已停机 mysql_up
表示数据库正常运行的时长,通常使用该指标配置告警,监控运行少于半小时的MySQL实例mysql_global_status_uptime
数据库连接
连接错误是数据库中的主要错误之一,通过该指标可以查看到具体连接错误信息以及错误连接次数。mysql_global_status_connection_errors_total
MySQL实例请求已经连接的线程数。mysql_global_status_threads_connected
MySQL实例请求运行中的线程数。mysql_global_status_threads_running
MySQL实例最大连接记录统计。mysql_global_status_max_used_connections
MySQL实例的最大连接数,若超过该连接数之后有新的请求到来,就会拒绝连接。mysql_global_variables_max_connections
异常中断的连接(尝试连接)。mysql_global_status_aborted_connects
异常中断的连接(超时)。mysql_global_status_aborted_clients
查询
MySQL实例慢查询统计 mysql_global_status_slow_queries
MySQL实例当前查询QPS mysql_global_status_queries
流量
入站流量 mysql_global_status_bytes_received
出站流量 mysql_global_status_bytes_sent
文件
正在打开的文件统计 mysql_global_status_opened_files
MySQL已经打开的文件统计 mysql_global_status_open_files
允许打开的文件统计 mysql_global_variables_open_files_limit
Innodb打开的文件统计 mysql_global_status_innodb_num_open_files
https://blog.csdn.net/qq_31555951/article/details/109496622
https://help.aliyun.com/zh/prometheus/use-cases/monitor-mysql-databases
2. Redis
https://github.com/oliver006/redis_exporter
Redis实例是否可用 redis_up
连接的客户端数 redis_connected_clients
内存使用率 100 * (redis_memory_used_bytes / redis_memory_max_bytes )
命令执行QPS rate(redis_commands_processed_total[1m])
cache命中QPS irate(redis_keyspace_hits_total[5m])
cache未命中QPS irate(redis_keyspace_misses_total[5m])
网络入流量 rate(redis_net_input_bytes_total[5m])
网络出流量 rate(redis_net_output_bytes_total[5m])
db中的key数量 sum(redis_db_keys) by (db)
db中的过期key数量 sum(redis_db_keys_expiring) by (db)
每一种命令的QPS topk(5, irate(redis_commands_total[1m]))
3. MongoDB
https://github.com/percona/mongodb_exporter
https://github.com/raffis/mongodb-query-exporter
服务器是否在线 mongodb_up
客户端连接数 mongodb_ss_connections{conn_type=“current”}
collection 全部文档的体积,单位 bytes mongodb_collstats_storageStats_size
collection 读操作的数量(每分钟) delta(mongodb_collstats_latencyStats_reads_ops[1m])
collection 读操作的延迟(每分钟),单位为微秒 delta(mongodb_collstats_latencyStats_reads_latency[1m])
collection 的 index 数量 mongodb_collstats_storageStats_nindexes
collection 的 index 占用的磁盘空间 mongodb_collstats_storageStats_totalIndexSize
https://www.cnblogs.com/yangmeichong/p/18156069
4. Kafka
https://github.com/danielqsj/kafka_exporter
https://github.com/prometheus/jmx_exporter
https://cloud.tencent.com/document/product/1416/111833
https://developer.aliyun.com/article/1578308
5. elasticsearch
https://github.com/prometheus-community/elasticsearch_exporter
https://www.cnblogs.com/qianyuliang/p/15410892.html
https://cloud.tencent.com/developer/article/1765046
集群健康和节点可用性
集群状态,green( 所有的主分片和副本分片都正常运行)、yellow(所有的主分片都正常运行,但不是所有的副本分片都正常运行)red(有主分片没能正常运行) elasticsearch_cluster_health_status
集群节点数/数据节点数 elasticsearch_cluster_health_number_of_nodes
活跃的主分片总数 elasticsearch_cluster_health_active_primary_shards
活跃的分片总数(包括复制分片) elasticsearch_cluster_health_active_shards
当前节点正在迁移到其他节点的分片数量,通常为0,集群中有节点新加入或者退出时该值会增加 elasticsearch_cluster_health_relocating_shards
正在初始化的分片 elasticsearch_cluster_health_initializing_shards
未分配的分片数,通常为0,当有节点的副本分片丢失该值会增加 elasticsearch_cluster_health_unassigned_shards
只有主节点能处理集群级元数据的更改(创建索引,更新映射,分配分片等),通过pending-tasks API可以查看队列中等待的任务,绝大部分情况下元数据更改的队列基本上保持为零 elasticsearch_cluster_health_number_of_pending_tasks
主机级别的系统和网络指标
CPU使用率 elasticsearch_process_cpu_percent
磁盘可用空间 elasticsearch_filesystem_data_free_bytes
ES进程打开的文件描述符 elasticsearch_process_open_files_count
ES节点之间网络入流量 elasticsearch_transport_rx_packets_total
ES节点之间网络出流量 elasticsearch_transport_tx_packets_total
JVM内存和垃圾回收
垃圾搜集数 elasticsearch_jvm_gc_collection_seconds_count
垃圾回收时间 elasticsearch_jvm_gc_collection_seconds_sum
最大使用内存限制 elasticsearch_jvm_memory_committed_bytes
内存使用量 elasticsearch_jvm_memory_used_bytes
6. Zookeeper
#比较老旧不推荐
https://github.com/dabealu/zookeeper-exporter
https://github.com/carlpett/zookeeper_exporter/
#jmx方式
https://github.com/prometheus/jmx_exporter/blob/main/example_configs/zookeeper.yaml
https://bbs.huaweicloud.com/blogs/166278
为了更加方便的集成prometheus,建议使用3.6.0以后的版本,因为这个版本以后zookeeper加入了prometheus集成监控,只需要开启zookeeper的指标配置即可。在这个版本之前的zookeeper,可能需要通过JMX进行监控。
启用以下三个属性值即可
##Metrics Providers
#https://prometheus.io Metrics Exporter
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true
7. Nginx
https://github.com/nginxinc/nginx-prometheus-exporter/
https://cloud.tencent.com/document/product/1416/111838
存活状态1正常 0异常 nginx_up
nginx已接受的连接 nginx_connections_accepted
nginx连接活动数 nginx_connections_active
nginx已处理的连接 nginx_connections_handled
nginx连接_读取 nginx_connections_reading
nginx连接_等待 nginx_connections_waiting
nginx连接_写入 nginx_connections_writing
nginx请求总数 nginx_http_requests_total
8. k8s集群node-exporter
https://github.com/prometheus/node_exporter
cpu、内存相关的指标
过去 1 分钟的系统平均负载 node_load1
系统总内存量(以字节为单位) node_memory_MemTotal_bytes
系统当前可用的内存量(以字节为单位) node_memory_MemAvailable_bytes
系统缓存使用的内存(以字节为单位) node_memory_Cached_bytes
用于缓冲使用的内存(以字节为单位) node_memory_Buffers_bytes
计算可用内存百分比 node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes * 100
计算已用内存百分比 (node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes *100
磁盘相关指标
文件系统大小(以字节为单位) node_filesystem_size_bytes
文件系统可用空间(以字节为单位 ) node_filesystem_avail_bytes
计算可用空间百分比 node_filesystem_avail_bytes / node_filesystem_size_bytes * 100
计算已用空间百分比 (node_filesystem_size_bytes - node_filesystem_avail_bytes ) / node_filesystem_size_bytes * 100
磁盘IO吞吐量相关核心指标
从给定设备读取的总字节数。(以字节为单位)。(使用irate可以得到每秒写入大小) node_disk_read_bytes_total
向给定设备写入的总字节数 node_disk_written_bytes_total
磁盘IOPS相关核心指标
磁盘设备完成的读操作总数。(使用irate可以得到每秒读操作的平均数) node_disk_reads_completed_total
磁盘设备完成的写操作总数。(使用irate可以得到每秒读操作的平均数) node_disk_writes_completed_total
网络核心指标
网络接口接收到的总字节数。(以字节为单位) node_network_receive_bytes_total
网络接口发送出去的总字节数。(以字节为单位) node_network_transmit_bytes_total
连接追踪核心指标
系统正在跟踪的网络连接的数量。这包括所有类型的连接,例如 TCP, UDP、ICMP等node_nf_conntrack_entries
系统conntrack 能够跟踪的网络连接的最大数量node_nf_conntrack_entries_limit
TCP与其他相关指标
当前已断开的TCP连接数node_tcp_connection_states{state=“time_wait”}
当前建立的TCP连接数node_tcp_connection_states{state=“established”}
https://www.volcengine.com/docs/6731/189369