《企业实战分享 · 常用运维中间件》

news2024/11/18 18:33:53

📢 大家好,我是 【战神刘玉栋】,有10多年的研发经验,致力于前后端技术栈的知识沉淀和传播。 💗
🌻 近期刚转战 CSDN,会严格把控文章质量,绝不滥竽充数,如需交流,欢迎留言评论。👍

文章目录

    • 写在前面的话
    • Rancher (K8S服务管理)
    • Nacos(注册&配置中心)
    • SB Admin(健康检查)
    • Kibana(ES面板)
    • Prometheus(业务资源监控)
    • Grafana(资源监控看板)
    • Zipkin(链路追踪)
    • Skywalking(链路追踪)
    • Kafka(消息中间件)
    • 总结陈词

写在前面的话

笔者所在公司(下文简称“公司”),开发采用前后端分离模式,后端技术栈SpringCloud,前端技术栈Vue/Nuxt
由于整体涉及较多前端和后端服务,因此才采用K8S进行容器编排部署,同时为保障各项服务更好的运维监测,也配套了诸多中间件。
本篇博文鉴于此背景,挑选几个较为常见的中间件,简单加以分享说明,期望与君共勉。


Rancher (K8S服务管理)

【技术简介】
公司采用Kubernetes作为微服务部署方案,Kubernetes (简称 K8S)是一个开源的容器编排平台,旨在简化容器化应用程序的部署、管理和自动化运维。
Rancher 是一个完整的容器管理平台,它提供了对Kubernetes等多种容器编排引擎的支持,同时提供了额外的功能和工具,用于简化容器集群的部署、管理和运维。

【能做什么】
简单理解,Rancher是可视化操控K8S服务部署的管理页面,下面就介绍一下Rancher的常用操作,操作包含但不限于查看服务状态、查看容器日志和执行命令行、服务的启动停止等。
这些操作可以理解为,把传统的Centos服务器上做的一些操作可视化了,对开发人员更加友好。

【实操:执行命令&查看日志】
Rancher00

【实操:重新部署应用】
重新部署应用一般用于业务出错时或者刚发布后业务无法访问时使用。
Rancher00

【增加应用副本】
当grafna上面的pods内存使用率过高是,可以增加对应应用的副本数,
查看容器日志01

注意:增加副本可以随时增加,但是减少副本要等没什么业务的时候再减少。

查看容器日志 - 命令行方式】

  1. 进入装有kubectl的k8s节点服务器,以查看收费后端容器日志为例,它的容器名称为onelink-micro-charge(一般和项目名、镜像名是一致的),所属namespace为onelink(不同环境的namespace可能不一样,这个要和运维确认),先查看pod列表
kubectl get pod -n onelink | grep onelink-micro-charge

查看容器日志02

  1. 选择其中一个pod,查看日志
# 最常用!!!
# 从最近100行开始,持续监控容器日志
kubectl logs -f --tail=100 onelink-micro-charge-6cd766567f-ngptx -n onelink

# 查看容器的全量日志
kubectl logs onelink-micro-charge-6cd766567f-ngptx -n onelink

# 持续监控容器的全量日志
kubectl logs -f onelink-micro-charge-6cd766567f-ngptx -n onelink

# 查看最近1小时的容器日志
kubectl logs --since=1h onelink-micro-charge-7ccb64db88-7wss5 -n onelink

# 查看2022-09-09 14:04:40之后的容器日志,这个时间是UTC时间
kubectl logs --since-time="2022-09-09T14:04:40+00:00" onelink-micro-charge-7ccb64db88-7wss5  -n onelink

【查看容器日志 - Rancher方式】

  1. 进入所在项目

Rancher02

  1. 查看pod列表

Rancher01

  1. 查看pod日志

Rancher02


Nacos(注册&配置中心)

【技术简介】
公司由于后端技术栈为SpringCloudAlibaba,因此采用Nacos作为注册中心和配置中心,经常需要和 Nacos后台界面打交道,上去看服务注册状态和常见配置信息等等。

【Nacos 能做什么】
注册中心能查看健康服务实例情况,进行服务的上线/下线。
配置中心能查看当前的配置情况,并支持做出相应的调整。
Nacos操作太简单了,傻瓜式的,具体不展开了,有使用的开发基本可以理解。

Tips:可以比对实例数是否跟K8S的PODS数不一致,如果不一致可能是开发调试程序注册上来了。

Nacos


SB Admin(健康检查)

【技术简介】
Spring Boot Admin 是一个用于监控和管理 Spring Boot 应用程序的开源项目。它提供了一个直观的 Web 界面,用于监控多个 Spring Boot 应用程序的运行状态、健康状况、配置信息等,并提供了一些管理功能,如日志查看、应用程序重启等。
Spring Boot Admin 是建立在 Spring Boot Actuator 基础之上的,它利用 Actuator 提供的监控和管理功能,并在此基础上提供了更加直观和友好的界面,帮助用户更方便地监控和管理 Spring Boot 应用程序。因此,Spring Boot Admin 可以看作是 Actuator 的一个扩展和增强。
Spring Boot Admin 是一个非常实用的工具,可以帮助开发团队更好地监控和管理 Spring Boot 应用程序,提高应用程序的稳定性和可靠性。

【SB Admin 能做什么】

实时监控:Spring Boot Admin 可以实时监控多个 Spring Boot 应用程序的运行状态和性能指标,如内存使用情况、线程数、GC 日志等。
健康检查:Spring Boot Admin 可以检查每个应用程序的健康状况,并提供可视化的健康报告,帮助用户快速识别出问题所在。
配置管理:Spring Boot Admin 可以查看和修改每个应用程序的配置信息,包括环境变量、配置文件等,方便用户动态调整应用程序的配置。
日志查看:Spring Boot Admin 可以查看每个应用程序的日志文件,支持实时日志输出和搜索功能,方便用户快速定位和解决问题。
事件通知:Spring Boot Admin 支持事件通知机制,当应用程序出现异常或状态变化时,可以通过邮件、Slack 等方式通知管理员。
多租户支持:Spring Boot Admin 支持多租户模式,可以为不同的用户或团队提供独立的监控和管理界面。

换通俗一点的话来说,可以全局监控服务健康情况,也可以查看单个服务的健康详情,更多用法,参考网上资料即可。

【展示效果】
SBA01
SBA02

【拓展 - 如何代码自定义指标】
1、实质是运行在监控服务的,如下图所示:
自定义指标01
2、应用的监控指标扩展信息可以通过实现InfoContributor自定义,如下图:
自定义指标02

Tips:更多用法,参考网上资料即可。


Kibana(ES面板)

【技术简介】
Kibana是一个开源的数据可视化工具,用于实时分析和可视化大规模数据集。它是 Elastic Stack 中的一个组件,主要用于展示和分析 Elasticsearch 中的数据。
公司虽然单独开发了日志查阅界面,用于查阅ES日志数据,但毕竟编码阶段考虑有限。此时就可以直接使用Kibana中应用日志界面能看到的日志数据,这边能看到更全,利用的更好。

【Kibana 能做什么】
Kibana 能用在挺多地方,包含但不限于如下:
1、Discover 数据探索 – 快速检索ES索引数据,比应用日志更灵活
2、Dev Tools 开发工具 - 手动写JSON查询
3、Visualize 可视化 – 导出最慢的N个接口
4、Dashboard 仪表盘 – 用的较少
下面附上两个功能截图,这块可以实操一下,先不展开介绍,有需要另行补充。
Kibana查询02
Kibana查询02


Prometheus(业务资源监控)

【技术描述】
Prometheus 是一个开源的系统监控和报警工具包,专为可靠性和可扩展性设计,适用于动态的云原生环境。它最初由 SoundCloud 开发,并于 2012 年开源。作为云原生计算基金会(CNCF)的重要项目之一,Prometheus 在现代微服务和分布式系统中得到了广泛应用。

【实战运用】
笔者所在公司采用Prometheus监控所有服务、还包含各个中间件的状态。
框架层面也封装了自定义指标,例如数据库和HTTP请求相关指标,更多指标来源于各SpringBoot服务的/actuator/prometheus接口。
当生产环境遇到服务指标异常的时候,可以打开Prometheus,查看相应的指标信息。更复杂的指标,推荐使用Grafana看板查看仪表盘。

【示例效果 - 查询自定义指标】
利用Prometheus排查收费服务的连接数。
Prometheus


Grafana(资源监控看板)

【技术描述】
1、将Prometheus的采集指标数据,可视化展示出来;
2、可以添加网上现场的模板库,参考Grafana官网文档库,也可以自己做一些看板;

【查看仪表盘】
image.png
image.png
image.png
image.png
image.png
image.png


Zipkin(链路追踪)

【技术简介】
Zipkin 是一个开源的分布式跟踪系统,用于收集、存储、搜索和可视化跨多个服务的跟踪数据。
Zipkin 主要负责收集整合所有服务生成的跟踪信息,提供全局视图和跨服务的调用链分析功能。
Zipkin 接收由 Sleuth 生成的跟踪数据,并将这些数据存储在后端存储系统中(如 Elasticsearch、MySQL 等),并提供了一个用户界面用于查询和可视化这些数据。
参考:《企业实战分享 · Sleuth + Zipkin 实现链路追踪》

【实战运用】
笔者所在公司将日志数据采集后,统一存储在ES中,并自研日志查询页面,如下图:
应用日志查询
通过点击对应请求日志的链路追踪操作按钮,可以跳转到Zipkin的展示页,如下图:
Zipkin


Skywalking(链路追踪)

【技术简介】
Apache SkyWalking 是一个开源的应用性能监控和分布式追踪系统,主要用于监控、追踪和诊断分布式系统中的应用程序。它支持云原生、微服务和容器化环境,帮助开发者和运维人员对系统的性能和行为进行全面的监控和分析。

Tips:和Zipkin同为链路追踪产品。

【实战说明】
笔者所在公司,其中的运维部门采用的链路追踪产品,可以通过在服务器上安装Agent的方式,从整体层面监控全局日志,可覆盖所有产品线。
效果如下图:Skywalking界面


Kafka(消息中间件)

【技术简介】
Kafka是一个开源的分布式事件流平台(Event Streaming Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
笔者所在公司采用Kafka开发了消息中心,基于事件驱动机制管理系统内部消息交互,本板块涉及内容较多,后续另起专题介绍,暂不展开。

【监控插件效果】
Kafka监控插件01
Kafka监控插件02

【自研监控页面】
自研监控界面


总结陈词

上文简单介绍了几款公司当前在使用的运维中间件,帮助大家学习。
作为普通开发人员,可以不用熟悉全部的中间件,但至少应该知道什么场景需要使用什么工具。
当然,如果作为对技术有热情的,可以单独一个个深入了解,这里仅仅抛砖引玉。

💗 后续会逐步分享企业实际开发中的实战经验,有需要交流的可以联系博主。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1888037.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【第三版 系统集成项目管理工程师】第5 章 软件工程

持续更新。。。。。。。。。。。。。。。 【第三版】第五章 软件工程 5.1软件工程定义练习 5.2软件需求5.2.1雾求的层次1.业务需求-P2032.用户需求-P2033.系统需求-P203 5.2.2质量功能部署 P2035.2.3需求获取 P2045.2.4需求分析1.结构化分析-P2042.面向对象分析-P207 5.2.5号求…

IDEA中Maven的配置

目录 1. 安装maven 2. 配置环境变量 3. IDEA中配置Maven 4. 配置仓库目录 1. 安装maven 官网下载地址:Maven – Download Apache Maven 下载后,将zip压缩包解压到某个目录即可。 2. 配置环境变量 变量名称随意,通常为M2_HOME&#xff…

DLS平台:运价持续上涨,未来航运市场何去何从?

摘要: 近期,上海出口集装箱结算运价指数(SCFIS)欧洲航线连续10周上涨,涨幅高达151%。随着多家航运公司宣布涨价,市场供应紧张导致运价居高不下。本文将详细分析当前运价上涨的原因、航运市场的变化及未来运…

精打细算:建设酒吧或小酒馆

开设一家酒吧或小酒馆,不仅仅是一场对美酒的浪漫追求,更是一次深思熟虑的投资决策过程。在这个过程中,选择合适的酿造设备是至关重要的一步,它直接关系到酒吧的运营效率、产品品质乃至最终的盈利能力。本文天泰小编将从多个维度出…

『Z-MeetUP』 6月29日线下活动——跨越Web3基础设施边界

Meetup In Hangzhou ZJUBCA 2024 求是 创新 TIME:2024/06/29 ADD:浙江大学紫金港校区 概述 / OVERVIEW 悠闲午后,感谢大家积极参与此次社区聚会,我们共同探讨了跨越Web3基础设施边界,发掘技术前沿,领略链上生态的无限可能。 让我…

Qt Creator13配置Android开发环境

QT Creator13是目前(2024年)最新版本,配置Android开发环境有一些不一样,走了一些弯路,记录如下。 1、安装JDK和SDK 下载安装JDK和SDK,建议安装在无空格和中文字符的目录下。 具体安装步骤不再赘述&#…

TongRDS2214手动部署版指引(by lqw+sy)

文章目录 前言准备工作单机版集群版哨兵版多个中心节点配置 前言 由于一些特殊原因(例如服务器没有联网,没有办法直接更新和下载unzip指令,从而导致控制台版本安装节点之后,会报file not found的错误,或者使用不了rds…

CQ 社区版2.13.3 | 支持全局开启OTP登录、文本导入功能可独立控制……

又到一月一度的 CloudQuery 发版时间啦! 本次版本更新,对多个模块进行了功能的优化和完善,比如将文本导入与 insert 权限脱离使文本导入可单独控制;将工具权限与权限等级脱离,使其能独立授权和提权;操作模…

项目实战--Spring Boot + Minio文件切片上传下载

1.搭建环境 引入项目依赖 <!-- 操作minio的java客户端--> <dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>8.5.2</version> </dependency> <!-- jwt鉴权相应依赖--> &…

初试总分409分,专业课143,西电821专业

非常感谢自己考研409分上岸西安电子科技大学&#xff0c;杭州研究院&#xff0c;专业课143分&#xff0c;跟的研梦&#xff0c;讲课以及答疑还是非常专业的。 821专业课课本总共有四本&#xff0c;都在官网考纲的参考书里写了&#xff0c;不过主要参考其中两本&#xff0c;一本…

机器学习笔记 LightGBM:理解算法背后的数学原理

一、简述 在一次数据科学的比赛中&#xff0c;我有机会使用 LightGBM&#xff0c;这是一种最先进的机器学习算法&#xff0c;它极大地改变了我们处理预测建模任务的方式。我对它在数千个数据点上进行训练的速度感到着迷&#xff0c;同时保持了其他算法难以达到的准确性。LightG…

EasyExcel4导入导出数据(基于MyBatisPlus)

一、POM依赖 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><m…

OK527N-C开发板-简单的性能测试

OK527N-C CoreMark 获取CoreMark源码 首先使用Git克隆仓库&#xff1a; git clone https://github.com/eembc/coremark.git cd coremark修改Makefile 首先复制文件夹 cp -rf posix ok527之后修改ok527文件夹下的core_portme.mak文件&#xff0c;将CC修改如下 CC aarch6…

uniapp地图点击获取位置

主页面 <view class"right-content" click.stop"kilometer(item)"><view class"km">{{item.distance||0}}km</view><image src"../../static/map.png" mode""style"width: 32rpx; height: 32rpx…

模块电源(九):DC-DC工作模式和调制方法

DC-DC 需要在一定的开关频率下工作&#xff0c;并需要一个控制电路配合来稳定 DCDC 的输出电压。因此&#xff0c;针对不同的控制方案&#xff0c;需要设计不同的 DC-DC 工作模式和调制方法来使其稳定工作。 一、工作模式 一个 DC-DC 电路中&#xff0c;开关管导通阶段的电感电…

【前端】HTML+CSS复习记录【5】

文章目录 前言一、padding、margin、border&#xff08;边框边距&#xff09;二、样式优先级三、var&#xff08;使用 CSS 变量更改多个元素样式&#xff09;四、media quary&#xff08;媒体查询&#xff09;系列文章目录 前言 长时间未使用HTML编程&#xff0c;前端知识感觉…

【高中数学/基本不等式】已知a,b皆为正实数,且a+b=2 求:1/a+4/b的最小值?(2011年重庆理科卷第七题)

【题目】 已知a,b皆为正实数&#xff0c;且ab2 求&#xff1a;1/a4/b的最小值&#xff1f; 【解答】 解法一&#xff1a;基本不等式法 由ab2可推知a/2b/21 1/a4/b(a/2b/2)/a(2a2b)/b1/2b/2a2a/b22.5b/2a2a/b >2.52倍根号下&#xff08;b/2a*2a/b&#xff09;2.52*14.…

力扣双指针算法题目:双数之和,三数之和,四数之和

目录 一&#xff1a;双数之和 1.题目&#xff1a; 2.思路解析 3.代码 二&#xff1a;三数之和 1.题目 2.思路解析 3&#xff0c;代码 三&#xff1a;四数字之和 1.题目 2.思路解析 3.代码 一&#xff1a;双数之和 1.题目&#xff1a; 输入一个递增排序的数组和一…

基于Java的家政预约系统设计与实现

作者介绍&#xff1a;计算机专业研究生&#xff0c;现企业打工人&#xff0c;从事Java全栈开发 主要内容&#xff1a;技术学习笔记、Java实战项目、项目问题解决记录、AI、简历模板、简历指导、技术交流、论文交流&#xff08;SCI论文两篇&#xff09; 上点关注下点赞 生活越过…