Prometheus监控Kubernetes ETCD

news2024/11/14 13:52:36

文章目录

  • 一、kubeadm方式部署etcd
    • 1.修改etcd指标接口监听地址
    • 2.prometheus中添加etcd的服务发现配置
    • 3.创建etcd的service
    • 4.grafana添加etcd监控模版
  • 二、二进制方式部署k8s etcd
    • 1.将etcd服务代理到k8s集群
    • 2.创建etcd证书的secrets
    • 3.prometheus挂载etcd证书的secrets
    • 4.prometheus添加采集etcd配置
    • 5.grafana添加etcd监控面板

一、kubeadm方式部署etcd

对于使用kubeadm工具搭建的kubernetes集群，etcd组件默认以静态pod方式将其部署在master节点上。通过它的静态pod资源文件"/etc/kubernetes/manifests/etcd.yaml"，可以得到以下信息

  • 部署在kube-system命名空间内；
  • pod标签带有"component=etcd"；
  • 指标接口服务监控本地的2381端口；
  • Pod以hostNetwork模式运行，共享宿主机网络命名空间；

综上所述，可以在master节点上通过curl工具访问"http://127.0.0.1:2381/metrics"来查看etcd的指标数据。


1.修改etcd指标接口监听地址

指标接口服务默认监听"127.0.0.1"，为了实现外部可以抓取数据，需要将监听地址修改为"0.0.0.0"，即在pod资源文件中将"–listen-metrics-urls"参数的值改为"http://0.0.0.0:2381"。

[root@k8s-master ~]# vim /etc/kubernetes/manifests/etcd.yaml 
  containers:
  - command:
    ...
    - --listen-metrics-urls=http://0.0.0.0:2381
    ...

在这里插入图片描述
修改完后不需要重新apply，会自动重启生效的

2.prometheus中添加etcd的服务发现配置

[root@k8s-master prometheus]# vim prometheus-configmap.yaml
    - job_name: kubernetes-etcd
      kubernetes_sd_configs:
      - role: endpoints
      # 仅保留kube-system命名空间名为etcd的service
      relabel_configs:
      - action: keep
        regex: kube-system;etcd
        source_labels:
        - __meta_kubernetes_namespace
        - __meta_kubernetes_service_name

上述配置添加了一个名为"kubernetes-etcd"的作业，然后使用了endpoints类型自动发现etcd endpoints对象关联的pod并将其添加为监控目标。在此过程中，仅保留kube-system命名空间中名为etcd的service。

3.创建etcd的service

使用endpoints类型的前提是需要存在service，而默认情况下不会创建etcd。因此为它创建一个名为"etcd"的service

[root@k8s-master prometheus]# vim etcd-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: etcd
  namespace: kube-system 
spec:
  selector:
    # 这里使用标签选择器来匹配你的 etcd Pods  
    component: etcd
  ports:
  - name: metrics
    port: 2381
    targetPort: 2381

创建完成后，就能在prometheus Web UI中看到etcd pod的监控目标了
在这里插入图片描述

4.grafana添加etcd监控模版

grafana模版中心 etcd监控模版：https://grafana.com/grafana/dashboards/9733-etcd-for-k8s-cn/

或者直接下载我修改好的
https://download.csdn.net/download/qq_44930876/89682777

或者直接导入 grafana模版中心的etcd监控模板ID：9733
在这里插入图片描述



二、二进制方式部署k8s etcd

kubeadm方式部署k8s，etcd以pod的方式运行 在默认开启暴露metrics数据的，不过一般etcd都是部署在集群外部的，如二进制部署的k8s 并且其暴露的借口是基于https协议的，为了方便统一监控管理，我们需要将etcd服务代理到k8s集群中，然后使用prometheus的k8s动态服务发现机制，自动查找到带有指定label标签的etcd service服务；

https://blog.csdn.net/qq_44930876/article/details/126686599
继之前二进制部署k8s时安装的etcd集群来配置接下来的监控
如下：对于开启tls的etcd 需要指定客户端证书后，查看本机/metrics etcd的指标数据

[root@k8s-master1 ~]# cd /hqtbj/hqtwww/etcd/ssl
[root@k8s-master1 ssl]# curl -Lk --cert ./ca.pem --key ca-key.pem https://172.32.0.11:2379/metrics

1.将etcd服务代理到k8s集群

实现prometheus第一步，需要创建etcd的service和endpoint资源，将etcd代理到k8s集群内部，然后给etcd service添加指定labels的标签，这样prometheus就可以通过k8s服务发现机制 查到带有指定标签的service关联的应用列表

apiVersion: v1
kind: Service
metadata:
  name: etcd-k8s
  namespace: ops
  labels:
    #Kubernetes 会根据该标签和 Endpoints 资源关联
    k8s-app: etcd
    #Prometheus 会根据该标签服务发现到该服务
    app.kubernetes.io/name: etcd
spec:
  type: ClusterIP
  #设置为 None,不分配 Service IP
  clusterIP: None
  ports:
  - name: port
    port: 2379
    protocol: TCP
---
apiVersion: v1
kind: Endpoints
metadata:
  name: etcd-k8s
  namespace: ops
  labels:
    k8s-app: etcd
subsets:
#etcd的节点IP地址列表
- addresses:
  - ip: 172.32.0.11
  - ip: 172.32.0.12
  - ip: 172.32.0.13
  #etcd 端口
  ports:
  - port: 2379

在这里插入图片描述

2.创建etcd证书的secrets

由于etcd是基于https协议，prometheuss采集指标数据时需要使用到tls证书，所以我们将etcd的证书文件挂在到k8s的configmap中；

[root@k8s-master1 ~]# kubectl create secret generic etcd-certs \
 --from-file=/hqtbj/hqtwww/etcd/ssl/etcd-server.pem \
 --from-file=/hqtbj/hqtwww/etcd/ssl/etcd-server-key.pem \
 --from-file=/hqtbj/hqtwww/etcd/ssl/ca.pem \
 -n ops
secret/etcd-certs created

在这里插入图片描述

3.prometheus挂载etcd证书的secrets

[root@k8s-master1 prometheus]# vim prometheus-deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus 
  namespace: ops
  labels:
    k8s-app: prometheus
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: prometheus
  template:
    metadata:
      labels:
        k8s-app: prometheus
    spec:
      serviceAccountName: prometheus
      initContainers:
      - name: "init-chown-data"
        image: "busybox:latest"
        imagePullPolicy: "IfNotPresent"
        command: ["chown", "-R", "65534:65534", "/data"]
        volumeMounts:
        - name: prometheus-data
          mountPath: /data
          subPath: ""
      containers:
        #负责热加载configmap配置文件的容器
        - name: prometheus-server-configmap-reload
          image: "jimmidyson/configmap-reload:v0.1"
          imagePullPolicy: "IfNotPresent"
          args:
            - --volume-dir=/etc/config
            - --webhook-url=http://localhost:9090/-/reload
          volumeMounts:
            - name: config-volume
              mountPath: /etc/config
              readOnly: true
          resources:
            limits:
              cpu: 10m
              memory: 10Mi
            requests:
              cpu: 10m
              memory: 10Mi

        - name: prometheus-server
          image: "prom/prometheus:v2.45.4"
          imagePullPolicy: "IfNotPresent"
          args:
            - --config.file=/etc/config/prometheus.yml
            - --storage.tsdb.path=/data
            - --web.console.libraries=/etc/prometheus/console_libraries
            - --web.console.templates=/etc/prometheus/consoles
            - --web.enable-lifecycle
          ports:
            - containerPort: 9090
          readinessProbe:
            httpGet:
              path: /-/ready
              port: 9090
            initialDelaySeconds: 30
            timeoutSeconds: 30
          livenessProbe:
            httpGet:
              path: /-/healthy
              port: 9090
            initialDelaySeconds: 30
            timeoutSeconds: 30
          resources:
            limits:
              cpu: 500m
              memory: 1500Mi
            requests:
              cpu: 200m
              memory: 1000Mi
            
          volumeMounts:
            - name: config-volume
              mountPath: /etc/config
            - name: prometheus-data
              mountPath: /data
              subPath: ""
            - name: prometheus-rules
              mountPath: /etc/config/rules
            #将etcd的secrets挂载至prometheus的/etc/config/etcd-certs
            - name: prometheus-etcd
              mountPath: /var/run/secrets/kubernetes.io/etcd-certs
            - name: timezone
              mountPath: /etc/localtime
      volumes:
        - name: config-volume
          configMap:
            name: prometheus-config
        - name: prometheus-rules
          configMap:
            name: prometheus-rules
        - name: prometheus-data
          persistentVolumeClaim:
            claimName: prometheus
        #将etcd的secrets挂载至prometheus的/etc/config/etcd-certs
        - name: prometheus-etcd
          secret:
            secretName: etcd-certs
        - name: timezone
          hostPath:
            path: /usr/share/zoneinfo/Asia/Shanghai
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: prometheus
  namespace: ops
spec:
  storageClassName: "managed-nfs-storage"
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: Service
metadata: 
  name: prometheus
  namespace: ops
spec: 
  type: NodePort
  ports: 
    - name: http 
      port: 9090
      protocol: TCP
      targetPort: 9090
      nodePort: 30090
  selector: 
    k8s-app: prometheus
---
#授权prometheus访问k8s资源的凭证
apiVersion: v1
kind: ServiceAccount
metadata:
  name: prometheus
  namespace: ops
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus
rules:
  - apiGroups:
      - ""
    resources:
      - nodes
      - nodes/metrics
      - services
      - endpoints
      - pods
    verbs:
      - get
      - list
      - watch
  - apiGroups:
      - ""
    resources:
      - configmaps
    verbs:
      - get
  - nonResourceURLs:
      - "/metrics"
    verbs:
      - get
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: prometheus
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: prometheus
subjects:
- kind: ServiceAccount
  name: prometheus
  namespace: ops

在这里插入图片描述

4.prometheus添加采集etcd配置

[root@k8s-master1 prometheus]# vim prometheus-configmap.yaml
...
    - job_name: kubernetes-etcd
      # 基于k8s服务自动发现
      kubernetes_sd_configs:
       # 指定 ETCD Service 所在的Namespace名称
      - role: endpoints
        namespaces:
          names: ["ops"]
      relabel_configs:
       # 指定从 app.kubernetes.io/name 标签等于 etcd 的 service 服务获取指标信息
       - action: keep
         source_labels: [__meta_kubernetes_service_label_app_kubernetes_io_name]
         regex: etcd
      scheme: https
      tls_config:
        # 配置 ETCD 证书所在路径(Prometheus 容器内的文件路径)
        ca_file: /var/run/secrets/kubernetes.io/etcd-certs/ca.pem
        cert_file: /var/run/secrets/kubernetes.io/etcd-certs/etcd-server.pem
        key_file: /var/run/secrets/kubernetes.io/etcd-certs/etcd-server-key.pem
        insecure_skip_verify: true   
 ...

在这里插入图片描述

重启prometheus，我在deployment添加了修改configmap自动重启，稍等片刻查看prometheus web ui中etcd的采集项状态
在这里插入图片描述


5.grafana添加etcd监控面板

grafana模版中心 etcd监控模版：https://grafana.com/grafana/dashboards/21473-etcd-cluster-overview/

或者直接下载我修改好的：https://download.csdn.net/download/qq_44930876/89682778

或者直接导入 grafana模版中心的etcd监控模板ID：21473
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2079925.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

63. 不同路径 II -dp7

63. 不同路径 II -dp7

63. 不同路径 IIhttps://leetcode.cn/problems/unique-paths-ii/ 输入：obstacleGrid [[0,0,0],[0,1,0],[0,0,0]] 输出：2 解释：3x3 网格的正中间有一个障碍物。 从左上角到右下角一共有 2 条不同的路径： 1. 向右 -> 向右 ->…
阅读更多...
Chrome 中的 RCE 会在 JIT 编译器中产生不正确的副作用

Chrome 中的 RCE 会在 JIT 编译器中产生不正确的副作用

此类漏洞通常是“一键式”攻击的起点，当受害者访问恶意网站时，该漏洞会危害受害者的设备。Chrome 中的渲染器 RCE 允许攻击者危害 Chrome 渲染器进程并执行任意代码。但是，渲染器进程的权限有限，因此攻击者需要将此类漏洞与第二个“沙盒逃逸”漏洞串联起来：Chrome 浏览器进…
阅读更多...
C#WinFrom 中实现可自定义按钮和事件的消息提示框

C#WinFrom 中实现可自定义按钮和事件的消息提示框

实现效果： public partial class CustomMessageBox : Form {// 声明按钮和标签控件private Button btnOption1;private Button btnOption2;private Label lblMessage;// 自定义属性用于获取对话框的结果public DialogResult DialogResult1 { get; private set; }// …
阅读更多...
一文弄懂SQL事务隔离级别

一文弄懂SQL事务隔离级别

SQL 事务隔离级别 在多用户数据库系统中，为了保证数据的完整性和一致性，SQL 标准提出了四种事务隔离级别，以规避脏读、不可重复读和幻读等问题。以下是四种隔离级别的简要介绍： 读未提交（read uncommitted&#xff09…
阅读更多...
产业报告 | 2024年中国低空经济产业研究报告

产业报告 | 2024年中国低空经济产业研究报告

低空经济是指以各种有人驾驶和无人驾驶航空器的各类低空飞行活动为牵引，辐射带动航空器研发、生产、销售以及低空飞行活动相关的基础设施建设运营、飞行保障、衍生综合服务等领域产业融合发展的综合经济形态。 基于启信产业大脑的海量数据与专业研判模型&#xff0…
阅读更多...
【Linux C++】log4cpp日志库的安装和使用详解

【Linux C++】log4cpp日志库的安装和使用详解

log4cpp 是一个开源的 C 日志库，灵感来源于 Java 的 log4j。它提供了灵活的日志记录功能，可以帮助开发者在 C 应用程序中记录、管理和格式化日志信息。log4cpp 支持多种日志记录策略和输出目标，可以满足各种不同的需求。 1.安装 下载压缩包…
阅读更多...
2.2.2 Posix API与网络协议栈2

2.2.2 Posix API与网络协议栈2

接上回2.2.2 posix api 2 传输数据 四线一⚪，kernel 协议栈 send- write， recv-read 如何知道send成功？ 如果返回整数，只能证明data从user copy到内核kernel wmemory了 就是数据传输是异步的，send是从application cop…
阅读更多...
二叉树的层序遍历 C++

二叉树的层序遍历 C++

给你二叉树的根节点 root ，返回其节点值的 层序遍历 。 （即逐层地，从左到右访问所有节点）。 示例 1： 输入：root [3,9,20,null,null,15,7] 输出：[[3],[9,20],[15,7]]示例 2： 输入&…
阅读更多...
李宏毅 机器学习与深度学习【2022版】 02

李宏毅 机器学习与深度学习【2022版】 02

文章目录 一、机器学习任务攻略二、优化失败1、梯度很小的情况2、Batch and Momentum 三、自适应学习率 Adaptive Learning Rate四、分类问题简述五、重温神奇宝贝和数码宝贝分类器六、深度学习的优化 一、机器学习任务攻略 因为在训练集中，56层的network一定至少和…
阅读更多...
等保测评（三级）服务器和终端-测评项及整改措施（详细）

等保测评（三级）服务器和终端-测评项及整改措施（详细）

本文按照三级等保标准进行测评，可参考进行加固。 等保测评是信息安全等级保护工作的基本制度、基本策略和基本方法。 等保测评是信息安全等级保护工作的基本制度、基本策略和基本方法。信息系统运营、使用单位应选择符合国家要求的测评机构，依据《信息…
阅读更多...
Java中常用的API

Java中常用的API

具体的例子就不再列出了 自己尝试 // 注意第三个方法 1.如果数据源数组和目的地数组都是基本数据类型，那么两者的类型必须保持一致，否则会报错 2.如果数据源数组和目的地数组都是引用数据类型，那么子类类型可以赋值给父类类型 public cl…
阅读更多...
并发服务器---IO多路复用

并发服务器---IO多路复用

单循环服务器：同一时刻只能处理一个客户端任务 并发服务器： 同一时刻，只能处理多个客户端的任务 实现方法：多进程 多线程 IO多路复用 IO多路复用： 1.阻塞io（fgets scanf recv getchar read&#x…
阅读更多...
【python计算机视觉编程——1.基本的图像操作和处理】

【python计算机视觉编程——1.基本的图像操作和处理】

python计算机视觉编程——1.基本的图像操作和处理 1.基本的图像操作和处理1.1 PIL:Python图像处理类库1.1.1 转换图像格式1.1.2 创建缩略图1.1.3 复制和粘贴图像区域1.1.4 调整尺寸和旋转 1.2 Matplotlib1.2.1绘制图像、点和线1.2.2 图像轮廓和直方图 1.3 Numpy1.3.1 图像数组表…
阅读更多...
【STM32】DMA

【STM32】DMA

描述 大部分图片来源：正点原子HAL库课程 专栏目录：记录自己的嵌入式学习之路-CSDN博客 目录 0 概述 1 原理（用于个人理解的，非常重要！） 1.1 DMA请求 1.2 循环模式与DMA请求的关系 1.3 …
阅读更多...
以科研为本 创新突破的品牌理念 朵拉朵尚荣获2023年度影响力品牌奖

以科研为本 创新突破的品牌理念 朵拉朵尚荣获2023年度影响力品牌奖

以科研为本 创新突破的品牌理念 朵拉朵尚荣获2023年度影响力品牌奖 随着国内美妆行业经过数十年的快速发展，已经形成了数千亿规模的产业链，在产业集聚、行业新技术不断涌现、产业链持续优化等背景下，美妆行业该如何通过科技创新，…
阅读更多...
流量太炸裂了！一键AI替换视频人物，几分钟极速制作爆款视频！

流量太炸裂了！一键AI替换视频人物，几分钟极速制作爆款视频！

目录 一、案例分析 二、制作教程 1.1、通义千问APP——角色扮演 1.2、Motionshop 1.3、Wonder Studio 1.4、Viggle 三、结束语 最近网上火了一种新玩法：用AI技术，一键就能把视频里的人物换成机器人或者任何你想要的角色。就像之前那些视频&#x…
阅读更多...
二叉树高频题目-上-不含树型dp

二叉树高频题目-上-不含树型dp

二叉树高频题目-上-不含树型dp 题目1 : 二叉树的层序遍历 测试链接 : https://leetcode.cn/problems/binary-tree-level-order-traversal/ 思路 自己使用数组实现队列, 在队列中进行广度优先遍历先将根结点进队, 如果队列里还有东西, 按照队列大小进行循环, 让队列里的结点进…
阅读更多...
创建一个最简单的FastAPI

创建一个最简单的FastAPI

如何生成一个最简单的 FastAPI 文件？ FastAPI官方文档：https://fastapi.tiangolo.com/zh/tutorial/first-steps/ # -*- coding: utf-8 -*-""" file: main.py author: CSDN-北极的三哈 time: 2024/8/27 22:11 email:flymeawei163.com so…
阅读更多...
【自动驾驶】控制算法（六）前馈控制与航向误差

【自动驾驶】控制算法（六）前馈控制与航向误差

写在前面： 🌟 欢迎光临 清流君 的博客小天地，这里是我分享技术与心得的温馨角落。📝 个人主页：清流君_CSDN博客，期待与您一同探索 移动机器人 领域的无限可能。 🔍 本文系 清流君 原创之作&…
阅读更多...
Python爬虫使用实例_1

Python爬虫使用实例_1

Python爬虫使用实例 —— 续 IDE: Pycharm or Jupyter Notebook 6. 网易云歌榜 🥝 获取地址 记得把#/去掉就好，一定要记得，否则没用。 热歌榜的url是 https://music.163.com/discover/toplist?id3778678 ，同理可得其他榜的ur…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023