IoT 边缘集群基于 Kubernetes Events 的告警通知实现（二）：进一步配置

news2024/10/3 4:39:21

上一篇文章

IoT 边缘集群基于 Kubernetes Events 的告警通知实现

目标

  1. 告警恢复通知 - 经过评估无法实现
    1. 原因: 告警和恢复是单独完全不相关的事件, 告警是 Warning 级别, 恢复是 Normal 级别, 要开启恢复, 就会导致所有 Normal Events 都会被发送, 这个数量是很恐怖的; 而且, 除非特别有经验和耐心, 否则无法看出哪条 Normal 对应的是 告警的恢复.
  2. 未恢复进行持续告警 - 默认就带的能力, 无需额外配置.
  3. 告警内容显示资源名称，比如节点和pod名称
  4. 可以设置屏蔽特定的节点和工作负载并可以动态调整
    1. 比如，集群001中的节点worker-1做计划性维护，期间停止监控，维护完成后重新开始监控。

配置

告警内容显示资源名称

典型的几类 events:

apiVersion: v1
count: 101557
eventTime: null
firstTimestamp: "2022-04-08T03:50:47Z"
involvedObject:
  apiVersion: v1
  fieldPath: spec.containers{prometheus}
  kind: Pod
  name: prometheus-rancher-monitoring-prometheus-0
  namespace: cattle-monitoring-system
kind: Event
lastTimestamp: "2022-04-14T11:39:19Z"
message: 'Readiness probe failed: Get "http://10.42.0.87:9090/-/ready": context deadline
  exceeded (Client.Timeout exceeded while awaiting headers)'
metadata:
  creationTimestamp: "2022-04-08T03:51:17Z"
  name: prometheus-rancher-monitoring-prometheus-0.16e3cf53f0793344
  namespace: cattle-monitoring-system
reason: Unhealthy
reportingComponent: ""
reportingInstance: ""
source:
  component: kubelet
  host: master-1
type: Warning

apiVersion: v1
count: 116
eventTime: null
firstTimestamp: "2022-04-13T02:43:26Z"
involvedObject:
  apiVersion: v1
  fieldPath: spec.containers{grafana}
  kind: Pod
  name: rancher-monitoring-grafana-57777cc795-2b2x5
  namespace: cattle-monitoring-system
kind: Event
lastTimestamp: "2022-04-14T11:18:56Z"
message: 'Readiness probe failed: Get "http://10.42.0.90:3000/api/health": context
  deadline exceeded (Client.Timeout exceeded while awaiting headers)'
metadata:
  creationTimestamp: "2022-04-14T11:18:57Z"
  name: rancher-monitoring-grafana-57777cc795-2b2x5.16e5548dd2523a13
  namespace: cattle-monitoring-system
reason: Unhealthy
reportingComponent: ""
reportingInstance: ""
source:
  component: kubelet
  host: master-1
type: Warning
apiVersion: v1
count: 20958
eventTime: null
firstTimestamp: "2022-04-11T10:34:51Z"
involvedObject:
  apiVersion: v1
  fieldPath: spec.containers{lb-port-1883}
  kind: Pod
  name: svclb-emqx-dt22t
  namespace: emqx
kind: Event
lastTimestamp: "2022-04-14T11:39:48Z"
message: Back-off restarting failed container
metadata:
  creationTimestamp: "2022-04-11T10:34:51Z"
  name: svclb-emqx-dt22t.16e4d11e2b9efd27
  namespace: emqx
reason: BackOff
reportingComponent: ""
reportingInstance: ""
source:
  component: kubelet
  host: worker-1
type: Warning
apiVersion: v1
count: 21069
eventTime: null
firstTimestamp: "2022-04-11T10:34:48Z"
involvedObject:
  apiVersion: v1
  fieldPath: spec.containers{lb-port-80}
  kind: Pod
  name: svclb-traefik-r5p8t
  namespace: kube-system
kind: Event
lastTimestamp: "2022-04-14T11:44:59Z"
message: Back-off restarting failed container
metadata:
  creationTimestamp: "2022-04-11T10:34:48Z"
  name: svclb-traefik-r5p8t.16e4d11daf0b79ce
  namespace: kube-system
reason: BackOff
reportingComponent: ""
reportingInstance: ""
source:
  component: kubelet
  host: worker-1
type: Warning

{
  "metadata": {
    "name": "event-exporter-79544df9f7-xj4t5.16e5c540dc32614f",
    "namespace": "monitoring",
    "uid": "baf2f642-2383-4e22-87e0-456b6c3eaf4e",
    "resourceVersion": "14043444",
    "creationTimestamp": "2022-04-14T13:08:40Z"
  },
  "reason": "Pulled",
  "message": "Container image \"ghcr.io/opsgenie/kubernetes-event-exporter:v0.11\" already present on machine",
  "source": {
    "component": "kubelet",
    "host": "worker-2"
  },
  "firstTimestamp": "2022-04-14T13:08:40Z",
  "lastTimestamp": "2022-04-14T13:08:40Z",
  "count": 1,
  "type": "Normal",
  "eventTime": null,
  "reportingComponent": "",
  "reportingInstance": "",
  "involvedObject": {
    "kind": "Pod",
    "namespace": "monitoring",
    "name": "event-exporter-79544df9f7-xj4t5",
    "uid": "b77d3e13-fa9e-484b-8a5a-d1afc9edec75",
    "apiVersion": "v1",
    "resourceVersion": "14043435",
    "fieldPath": "spec.containers{event-exporter}",
    "labels": {
      "app": "event-exporter",
      "pod-template-hash": "79544df9f7",
      "version": "v1"
    }
  }
}

我们可以把更多的字段加入到告警信息中, 其中就包括:

  • 节点: {{ Source.Host }}
  • Pod: {{ .InvolvedObject.Name }}

综上, 修改后的event-exporter-cfg yaml 如下:

apiVersion: v1
kind: ConfigMap
metadata:
  name: event-exporter-cfg
  namespace: monitoring
  resourceVersion: '5779968'
data:
  config.yaml: |
    logLevel: error
    logFormat: json
    route:
      routes:
        - match:
            - receiver: "dump"      
        - drop:
            - type: "Normal"
          match:
            - receiver: "feishu"                     
    receivers:
      - name: "dump"
        stdout: {}
      - name: "feishu"
        webhook:
          endpoint: "https://open.feishu.cn/open-apis/bot/v2/hook/..."
          headers:
            Content-Type: application/json
          layout:
            msg_type: interactive
            card:
              config:
                wide_screen_mode: true
                enable_forward: true
              header:
                title:
                  tag: plain_text
                  content: xxx测试K3S集群告警
                template: red
              elements:
                - tag: div
                  text: 
                    tag: lark_md
                    content: "**EventID:**  {{ .UID }}\n**EventNamespace:**  {{ .InvolvedObject.Namespace }}\n**EventName:**  {{ .InvolvedObject.Name }}\n**EventType:**  {{ .Type }}\n**EventKind:**  {{ .InvolvedObject.Kind }}\n**EventReason:**  {{ .Reason }}\n**EventTime:**  {{ .LastTimestamp }}\n**EventMessage:**  {{ .Message }}\n**EventComponent:**  {{ .Source.Component }}\n**EventHost:**  {{ .Source.Host }}\n**EventLabels:**  {{ toJson .InvolvedObject.Labels}}\n**EventAnnotations:**  {{ toJson .InvolvedObject.Annotations}}"

屏蔽特定的节点和工作负载

比如，集群001中的节点worker-1做计划性维护，期间停止监控，维护完成后重新开始监控。

继续修改event-exporter-cfg yaml 如下:

apiVersion: v1
kind: ConfigMap
metadata:
  name: event-exporter-cfg
  namespace: monitoring
data:
  config.yaml: |
    logLevel: error
    logFormat: json
    route:
      routes:
        - match:
            - receiver: "dump"      
        - drop:
            - type: "Normal"
            - source:
                host: "worker-1"
            - namespace: "cattle-monitoring-system"
            - name: "*emqx*"
            - kind: "Pod|Deployment|ReplicaSet"
            - labels:
                version: "dev"
          match:
            - receiver: "feishu"                     
    receivers:
      - name: "dump"
        stdout: {}
      - name: "feishu"
        webhook:
          endpoint: "https://open.feishu.cn/open-apis/bot/v2/hook/..."
          headers:
            Content-Type: application/json
          layout:
            msg_type: interactive
            card:
              config:
                wide_screen_mode: true
                enable_forward: true
              header:
                title:
                  tag: plain_text
                  content: xxx测试K3S集群告警
                template: red
              elements:
                - tag: div
                  text: 
                    tag: lark_md
                    content: "**EventID:**  {{ .UID }}\n**EventNamespace:**  {{ .InvolvedObject.Namespace }}\n**EventName:**  {{ .InvolvedObject.Name }}\n**EventType:**  {{ .Type }}\n**EventKind:**  {{ .InvolvedObject.Kind }}\n**EventReason:**  {{ .Reason }}\n**EventTime:**  {{ .LastTimestamp }}\n**EventMessage:**  {{ .Message }}\n**EventComponent:**  {{ .Source.Component }}\n**EventHost:**  {{ .Source.Host }}\n**EventLabels:**  {{ toJson .InvolvedObject.Labels}}\n**EventAnnotations:**  {{ toJson .InvolvedObject.Annotations}}"

默认的 drop 规则为: - type: "Normal", 即不对 Normal 级别进行告警;

现在加入以下规则:

            - source:
                host: "worker-1"
            - namespace: "cattle-monitoring-system"
            - name: "*emqx*"
            - kind: "Pod|Deployment|ReplicaSet"
            - labels:
                version: "dev"
  • ... host: "worker-1": 不对节点worker-1 做告警;
  • ... namespace: "cattle-monitoring-system": 不对 NameSpace: cattle-monitoring-system 做告警;
  • ... name: "*emqx*": 不对 name(name 往往是 pod name) 包含 emqx 的做告警
  • kind: "Pod|Deployment|ReplicaSet": 不对 Pod Deployment ReplicaSet 做告警(也就是不关注应用, 组件相关的告警)
  • ...version: "dev": 不对 label 含有 version: "dev" 的做告警(可以通过它屏蔽特定的应用的告警)

最终效果

如下图:

Event 告警包含更多信息

Event 告警包含更多信息-2

🎉🎉🎉

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/352346.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【重排重绘】从输入url到浏览器展示页面发生了什么？

【重排重绘】从输入url到浏览器展示页面发生了什么？

目录步骤如下：一、用户在浏览器搜索栏中输入url地址二、浏览器解析域名得到服务器ip地址浏览器解析域名得到服务器ip地址有哪些过程？三、TCP三次握手建立客户端和服务器的连接四、客户端发送HTTP请求获取服务器端的静态资源五、服务器发送HTTP响应报文给…
阅读更多...
程序员深度体验一周ChatGPT发现竟然....

程序员深度体验一周ChatGPT发现竟然....

程序员深度体验一周ChatGPT发现竟然… 周一打卡上班，老板凑到我跟前：“小李啊，这周有个新需求交给你做一下，给我们的API管理平台新增一个智能Mock的功能…”。我条件反射般的差点脱口而出：“这个需求做不了…”。不过…
阅读更多...
【软件测试】资深测试总结的几个自动化测试点，提升跨越一大步......

【软件测试】资深测试总结的几个自动化测试点，提升跨越一大步......

目录：导读前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜）前言 自动化的软件测试与…
阅读更多...
PostgreSQL查询引擎——SELECT STATEMENTS SelectStmt

PostgreSQL查询引擎——SELECT STATEMENTS SelectStmt

SelectStmt: select_no_parens %prec UMINUS| select_with_parens %prec UMINUS select_with_parens:( select_no_parens ) { $$ $2; }| ( select_with_parens ) { $$ $2; } 该规则返回单个SelectStmt节点或它们的树，表示集合操作树(set-operation tree…
阅读更多...
JAVA线程池的使用

JAVA线程池的使用

一、池化思想和JAVA线程池 池化是很重要的思想；池化的好处是提供缓冲和统一的管理。这个笔者在本人的数据库连接池的博客中已经提到过了（JAVA常用数据库连接池_王者之路001的博客-CSDN博客 ）。 线程池是另一种池化思想的运用，把…
阅读更多...
MySQL 派生表产生关联索引auto_key0导致SQL非常的慢

MySQL 派生表产生关联索引auto_key0导致SQL非常的慢

相同的SQL在maridb运行0.5秒，在MySQL8.0.26中运行要19秒 官方MySQL在处理子查时，优化器有个优化参数derived_merge，MySQL7开启添加，默认on.很多情况可以自动优化派生表，避免创建临时索引auto_key0和生成临时表数据做…
阅读更多...
C++入门：函数重载

C++入门：函数重载

目录 一. 函数重载的概念和分类 1.1 什么是函数重载 1.2 函数重载的分类 1.3 关于函数重载的几点注意事项 二. C实现函数重载的底层逻辑（为什么C可以实现函数重载而C语言不能） 2.1 编译器编译程序的过程 2.2 为什么C可以实现函数重载而C语言不能 …
阅读更多...
内网安装管家婆软件如何实现外网访问？内网穿透的几种方案教程

内网安装管家婆软件如何实现外网访问？内网穿透的几种方案教程

管家婆软件从网络架构上分两种版本：web（浏览器http端口）访问的版本和客户端（211固定端口sqlserver数据库）访问的版本。公司库管经常用仓库登录管家婆，一旦需要在公司外部登陆访问管家婆客户端，就…
阅读更多...
微信中如何接入机器人才比较正常

微信中如何接入机器人才比较正常

大家好，我是雄雄，欢迎关注微信公众号：雄雄的小课堂。 前言 为什么会有这个话题？大家都知道最近有个AI机器人很火，那就是AI机器人，关于它的介绍，大家可以自行百度去，我这边就不多介绍了。 好多人嫌网页版玩的不过瘾，就把这个机器人接入到了QQ上，接入到了钉钉上，TG …
阅读更多...
Go语言基础知识学习笔记

Go语言基础知识学习笔记

环境准备 下载安装Golang：https://golang.google.cn/dl/ 因为国外下载速度较慢，我们需要配置国内代理 # 开启包管理工具 go env -w GO111MODULEon # 设置代理 go env -w GOPROXYhttps://goproxy.cn,direct # 设置不走 proxy 的私有仓库，多…
阅读更多...
Ajax？阿贾克斯？

Ajax？阿贾克斯？

一、Ajax简介 AJAX Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）。 AJAX 不是新的编程语言，而是一种使用现有标准的创新方法。 AJAX 最大的优点是在不重新加载整个页面的情况下，可以与服务器交换数据并更新部分网…
阅读更多...
供应链挑战迎刃而解！桑迪亚国家实验室使出“量子杀手锏”

供应链挑战迎刃而解！桑迪亚国家实验室使出“量子杀手锏”

桑迪亚国家实验室的科学家Alicia Magann（右），Kenneth Rudinger（左上），Mohan Sarovar（左下）和Matthew Grace（未附图）开发了基于反馈的量子优化算法&#xff08…
阅读更多...
“太极”如何利用混部资源，助力腾讯广告降本增效

“太极”如何利用混部资源，助力腾讯广告降本增效

编者按：近年来， 随着大模型在NLP领域横扫各种大数据磅单取得巨大成功之后，大数据加大模型成为了AI领域建模的标准范式。搜索、广告、推荐的建模也不例外，动辄千亿参数，上T大小的模型成为各大预估场景的标配&#xff0c…
阅读更多...
人脸识别——景联文科技提供3D头模数据采集业务！

人脸识别——景联文科技提供3D头模数据采集业务！

“拿起手机刷脸解锁、上下班考勤、支付订单，刷脸已极大地便利了我们的生活。清华大学新闻学院教授沈阳表示，中国人平均每天要暴露在各种摄像头下超过500次。人脸识别已成了我们生活中重要的一部分。由于2D人脸识别容易受到姿态、表情、光照等因素影响&am…
阅读更多...
痛苦面具，140天备战阿里巴巴，一个疏忽让我前功尽弃...

痛苦面具，140天备战阿里巴巴，一个疏忽让我前功尽弃...

面试是走的内推途径，因为内推的简历通过率远高于其他方式;我的内推的途径有：联系我在字节跳动工作的一个大学学长。 在线面试，有个线上文本编辑器，类似leetcode那种，可以在线编程。然而有点紧张，视频面试网…
阅读更多...
C#开发的OpenRA游戏加载界面的实现

C#开发的OpenRA游戏加载界面的实现

C#开发的OpenRA游戏加载界面的实现 游戏的UI是一个游戏必备， 但是游戏的UI都是自己处理的，不能使用像Windows自带的UI。 这样游戏的UI，其实也是使用游戏的方式来显示的， 只不过使用了低帧率的方式来显示。 比如OpenRA游戏界面，就会显示如下： 游戏的界面有很多，先从一个简…
阅读更多...
2023美赛F题全部代码+数据+结果 数学建模

2023美赛F题全部代码+数据+结果 数学建模

2023年美赛F题全部思路 数据代码都已完成 全部内容见链接：https://www.jdmm.cc/file/2708700/ 1.根据文献选的GGDP的指标，发现GGDP与水资源等有关，由此可以筛选出影响GGDP的所有因子，并可以用所有因子利用层次分析法建立评价体…
阅读更多...
小白指南：手把手教你用低代码开发一个应用页面

小白指南：手把手教你用低代码开发一个应用页面

一、什么是低代码开发 在了解低代码开发之前，我们先看看使用低代码开发的效果。 低代码开发效果示例 低代码开发是DevEco Studio为HarmonyOS开发者提供的可视化页面的开发方式，具备丰富的UI页面编辑能力，开发者可以在图形化的用户界面上自由拖…
阅读更多...
项目质量要怎么保持？ 如何借助系统软件进行管理

项目质量要怎么保持？ 如何借助系统软件进行管理

对于任何项目型的企业总是很关心项目成本的话题，但不知从什么时候开始，高质量等于高成本成了各个企业的一种潜意识。 如果交付的项目产品不符合质量标准，即使企业使用最好的项目管理工具或者每个里程碑都达到并在预算范围内完成项目&#xf…
阅读更多...
基于springboot的餐饮管理系统

基于springboot的餐饮管理系统

摘 要本设计以真实场景的菜品信息及相关餐桌预定为设计依据，结合了餐饮管理系统的需求及反映的问题，对系统做出合理的需求分析和界面设计。同时本系统使用了JAVA语言、Springboot框架以及MYSQL作为后台数据库进行开发。从系统描述、系统设计及系统实现等…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023