【腾讯云 Finops Crane 集训营】基于 Kubernetes 实现云资源分析与成本优化平台

news2024/11/24 4:07:04

基于 Kubernetes 实现云资源分析与成本优化平台

  • 一、基本介绍
    • 1.主要功能
    • 2.整体架构
  • 二、基于 Kubernetes 实现云资源分析与成本优化平台
    • 1.准备工作
    • 2.安装 Prometheus/Grafana 软件包
    • 3.安装 Crane 软件包
    • 4. 使用智能弹性 EffectiveHPA
    • 4.配置集群
  • 三、功能验证
    • 1.成本展示
    • 2.资源推荐
    • 3.副本数推荐
  • 四、总结

前言：

为推进云原生用户在确保业务稳定性的基础上做到真正的极致降本，腾讯云推出了国内第一个基于云原生技术的成本优化开源项目 Crane（Cloud Resource Analytics and Economics）。Crane 遵循 FinOps 标准，旨在为云原生用户提供云成本优化一站式解决方案。

一、基本介绍

Crane 是一个基于 FinOps 的云资源分析与成本优化平台。它的愿景是在保护客户应用运行质量的前提下实现极致的降本。

  • 官网地址
  • GitHub 地址

1.主要功能

在这里插入图片描述

1）成本可视化和优化评估

  • 提供一组 Exporter 计算集群云资源的计费和账单数据并存储到你的监控系统，比如 Prometheus。
  • 多维度的成本洞察，优化评估。通过 Cloud Provider 支持多云计费。

2）推荐框架

  • 提供了一个可扩展的推荐框架以支持多种云资源的分析，内置了多种推荐器：资源推荐，副本推荐，HPA 推荐，闲置资源推荐。

3）基于预测的水平弹性器

  • EffectiveHorizontalPodAutoscaler 支持预测驱动的弹性；
  • 基于社区的 HPA 做底层的弹性控制，支持更丰富的弹性触发策略（预测，观测，周期），让弹性更加高效，并保障了服务的质量。

4）负载感知的调度器

  • 动态调度器根据实际的节点利用率构建了一个简单但高效的模型，并过滤掉那些负载高的节点来平衡集群。

5）拓扑感知的调度器

  • Crane Scheduler 与 Crane Agent 配合工作，支持更为精细化的资源拓扑感知调度和多种绑核策略，使得资源得到更合理高效的利用。

6）基于 QOS 的混部

  • QOS 相关能力保证了运行在 Kubernetes 上的 Pod 的稳定性。
  • 具有多维指标条件下的干扰检测和主动回避能力，支持精确操作和自定义指标接入；
  • 具有预测算法增强的弹性资源超卖能力，复用和限制集群内的空闲资源；
  • 具备增强的旁路 cpuset 管理能力，在绑核的同时提升资源利用效率。

2.整体架构

Crane 的整体架构如下：
在这里插入图片描述

Craned 是 Crane 的最核心组件，它管理了 CRDs 的生命周期以及 API。 Craned 通过 Deployment 方式部署且由两个容器组成：

  • Craned：运行了 Operators 用来管理 CRDs，向 Dashboard 提供了 WebAPI，Predictors 提供了 TimeSeries API；
  • Dashboard：基于 TDesign’s Starter 脚手架研发的前端项目，提供了易于上手的产品功能。

Fadvisor 提供一组 Exporter 计算集群云资源的计费和账单数据并存储到你的监控系统， 比如 Prometheus。

  • Fadvisor 通过 Cloud Provider 支持了多云计费的 API。

Metric Adapter 实现了一个 Custom Metric Apiserver。

  • Metric Adapter 读取 CRDs 信息并提供基于 Custom/External Metric API 的 HPA Metric 的数据。
  • Crane Agent 通过 DaemonSet 部署在集群的节点上。

二、基于 Kubernetes 实现云资源分析与成本优化平台

1.准备工作

  • Kubernetes 1.16+：二进制安装传送门
  • Helm 3.7+

1）安装 Helm

[root@k8s-master01 ~]# wget https://get.helm.sh/helm-v3.7.2-linux-amd64.tar.gz
[root@k8s-master01 ~]# tar zxf helm-v3.7.2-linux-amd64.tar.gz
[root@k8s-master01 ~]# mv linux-amd64/helm /usr/local/bin
[root@k8s-master01 ~]# helm version
version.BuildInfo{Version:"v3.7.2", GitCommit:"663a896f4a815053445eec4153677ddc24a0a361", GitTreeState:"clean", GoVersion:"go1.16.10"}

2.安装 Prometheus/Grafana 软件包

1）安装 Prometheus

[root@k8s-master01 ~]# helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
[root@k8s-master01 ~]# helm install prometheus -n crane-system --version 19.6.1 \
--set pushgateway.enabled=false \
--set alertmanager.enabled=false \
--set server.persistentVolume.enabled=false \
-f https://raw.githubusercontent.com/gocrane/helm-charts/main/integration/prometheus/override_values.yaml \
--create-namespace  prometheus-community/prometheus

2）安装 Grafana

[root@k8s-master01 ~]# helm repo add grafana https://grafana.github.io/helm-charts
[root@k8s-master01 ~]# helm install grafana --version 6.11.0 \
-f https://raw.githubusercontent.com/gocrane/helm-charts/main/integration/grafana/override_values.yaml \
-n crane-system \
--create-namespace grafana/grafana

3.安装 Crane 软件包

1）安装 Crane 和 Fadvisor

[root@k8s-master01 ~]# helm repo add crane https://gocrane.github.io/helm-charts
[root@k8s-master01 ~]# helm install crane -n crane-system --create-namespace crane/crane
[root@k8s-master01 ~]# helm install fadvisor -n crane-system --create-namespace crane/fadvisor

2）验证安装是否成功

[root@k8s-master01 ~]# kubectl get pod,deploy -n crane-system

在这里插入图片描述
3）修改 Craned 服务的 ConfigMap 配置，调整反向代理的地址

[root@k8s-master01 ~]# kubectl get service craned -n crane-system -o yaml > 1.yaml
[root@k8s-master01 ~]# sed -i 's/type: ClusterIP/type: NodePort/g' 1.yaml 
[root@k8s-master01 ~]# sed -i '/targetPort: 9090/a\    nodePort: 30080' 1.yaml
[root@k8s-master01 ~]# kubectl apply -f 1.yaml
[root@k8s-master01 ~]# kubectl edit cm nginx-conf -n crane-system
:%s/craned.crane-system:8082/127.0.0.1:8082/g

[root@k8s-master01 ~]# kubectl get pod -n crane-system | awk '/^craned/{print $1}' | xargs kubectl delete pod -n crane-system
  • 因为 Dashboard 和 Craned 服务都在同一个 Pod 里，而 Dashboard 容器是通过 Service 加端口的方式代理到 Craned 服务上的；
  • 但是 Pod 并不能直接通过 Service 加 端口的方式访问到本身，所以我们这里通过 127.0.0.1（Lo）的方式进行代理。

在这里插入图片描述

4. 使用智能弹性 EffectiveHPA

Kubernetes HPA 支持了丰富的弹性扩展能力，Kubernetes 平台开发者部署服务实现自定义 Metric 的服务，Kubernetes 用户配置多项内置的资源指标或者自定义 Metric 指标实现自定义水平弹性。

EffectiveHorizontalPodAutoscaler（简称 EHPA）是 Crane 提供的弹性伸缩产品，它基于社区 HPA 做底层的弹性控制，支持更丰富的弹性触发策略（预测，观测，周期），让弹性更加高效，并保障了服务的质量。

  • 提前扩容，保证服务质量： 通过算法预测未来的流量洪峰提前扩容，避免扩容不及时导致的雪崩和服务稳定性故障。
  • 减少无效缩容： 通过预测未来可减少不必要的缩容，稳定工作负载的资源使用率，消除突刺误判。
  • 支持 Cron 配置： 支持 Cron-based 弹性配置，应对大促等异常流量洪峰。
  • 兼容社区： 使用社区 HPA 作为弹性控制的执行层，能力完全兼容社区。

1）安装 Metrics Server

[root@k8s-master01 ~]# wget https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.6.3/components.yaml
[root@k8s-master01 ~]# sed -i '/- args:/a\        - --metric-resolution=15s' components.yaml
[root@k8s-master01 ~]# sed -i 's@image:.*@image: docker.io/gocrane/metrics-server:v0.6.3@g' components.yaml
[root@k8s-master01 ~]# kubectl apply -f components.yaml

2）创建测试应用

[root@k8s-master01 ~]# kubectl apply -f https://raw.githubusercontent.com/gocrane/crane/main/examples/autoscaling/php-apache.yaml
[root@k8s-master01 ~]# kubectl apply -f https://raw.githubusercontent.com/gocrane/crane/main/examples/analytics/nginx-deployment.yaml

3）创建 EffectiveHPA

[root@k8s-master01 ~]# kubectl apply -f https://raw.githubusercontent.com/gocrane/crane/main/examples/autoscaling/effective-hpa.yaml

在这里插入图片描述
4）增加负载，查看应用是否能够正常扩容

[root@k8s-master01 ~]# kubectl run -i --tty load-generator --rm --image=busybox:1.28.4 --restart=Never -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"

在这里插入图片描述
在这里插入图片描述

  • 可以看到随着请求增多，CPU 利用率会不断提升，通过 EffectiveHPA 会自动扩容实例。

4.配置集群

访问：http://192.168.1.1:30080

在这里插入图片描述

三、功能验证

1.成本展示

Crane Dashboard 提供了各式各样的图表展示了集群的成本和资源用量。
在这里插入图片描述
在这里插入图片描述

2.资源推荐

Kubernetes 用户在创建应用资源时常常是基于经验值来设置 request 和 limit，通过资源推荐的算法分析应用的真实用量推荐更合适的资源配置，你可以参考并采纳它提升集群的资源利用率。该推荐算法模型采用了 VPA 的滑动窗口（Moving Window）算法进行推荐：

  • 通过监控数据，获取 Workload 过去一周（可配置）的 CPU 和内存的历史用量。
  • 算法考虑数据的时效性，较新的数据采样点会拥有更高的权重。
  • CPU 推荐值基于用户设置的目标百分位值计算，内存推荐值基于历史数据的最大值。

1）使用资源推荐
在这里插入图片描述
在这里插入图片描述

3.副本数推荐

Kubernetes 用户在创建应用资源时常常是基于经验值来设置副本数。通过副本数推荐的算法分析应用的真实用量推荐更合适的副本配置，同样可以参考并采纳它提升集群的资源利用率。

其实现的基本算法是基于工作负载历史 CPU 负载，找到过去七天内每小时负载最低的 CPU 用量，计算按 50%（可配置）利用率和工作负载 CPU Request 应配置的副本数。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、总结

整体操作体验下来，安装相对比较简单，通过使用 Helm 工具实现便捷安装。安装完成后，便可以通过提供的 Dashboard 面板来进行访问。界面简单明了，易上手，同时在功能层面上实现了实时监控成本、应用资源使用量、资源推荐、智能弹性等功能。

  • 实时监控成本：Crane 提供每小时、每天、每周和每月的费用概览，并且可以按集群、命名空间和工作负载分解成本。
  • 资源监控：通过调用 Prometheus 和 Grafana 实现资源监控以及可视化 UI。
  • 资源推荐：使用 VPA 算法模型，先分析出应用的真实用量，再通过计算得出应用的最佳资源配置。
  • 智能弹性：基于社区 HPA 做底层的弹性控制，支持更加丰富的弹性触发策略，让弹性更加高效，并保证服务的质量。

因此，我们可以通过 Crane 服务提供的成本计算、资源使用率，以及上述功能，来观察是否需要对云服务器进行资源扩容或减配。避免出现资源不足或资源浪费的情况，达到真正意义上的降本增效。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/535302.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

3分钟了解FactoryBean的作用和底层工作原理

3分钟了解FactoryBean的作用和底层工作原理

大家好，我是冰点，本节我们通过对FactoryBean 接口源码解析，以及使用示例剖析，让大家3分钟了解FactoryBean的作用和底层工作原理。以及FactoryBean的使用场景，学以致用。 FactoryBean是Spring框架中的一个接口&#xf…
阅读更多...
基于 resnet 对 CIFAR-10 图片进行分类和网络微调

基于 resnet 对 CIFAR-10 图片进行分类和网络微调

本文基于李沐老师的 实战 Kaggle 比赛：图像分类 (CIFAR-10) 文章目录 数据格式数据加载标签转化划分数据集查看数据搭建网络主训练函数网络训练 数据格式 CIFAR-10 下载地址：https://www.kaggle.com/competitions/cifar-10/data 下拉到最下面有一个 Do…
阅读更多...
JavaScript中的Event（事件）详解

JavaScript中的Event（事件）详解

Event 对象 Event 对象代表事件的状态，比如事件在其中发生的元素、键盘按键的状态、鼠标的位置、鼠标按钮的状态。 事件通常与函数结合使用，函数不会在事件发生前被执行！ 事件句柄 (Event Handlers) HTML 4.0 的新特性之一是能够使 HTML 事…
阅读更多...
Maven uber-jar（带依赖的打包插件）maven-shade-plugin

Maven uber-jar（带依赖的打包插件）maven-shade-plugin

文章目录 最基础的 maven-shade-plugin 使用生成可执行的 Jar 包 和 常用的资源转换类包名重命名打包时排除依赖与其他常用打包插件比较 本文是对 maven-shade-plugin 常用配置的介绍，更详细的学习请参照 Apache Maven Shade Plugin 官方文档 通过使用 maven-shade…
阅读更多...
BetaFlight飞控启动运行过程简介疑问跟踪

BetaFlight飞控启动运行过程简介疑问跟踪

BetaFlight飞控启动&运行过程简介疑问跟踪 1. 源由2. 【已解存疑】问题一：6.1 Why desiredPeriodCycles is so important to Betaflight task?3. 【已解】问题二：6.2 What root cause has made gyro task to been overrun, so scheduler has to ski…
阅读更多...
轮式机械臂小车实现语音控制

轮式机械臂小车实现语音控制

1. 功能说明 本文实例将实现语音控制R214e样机运动（前进、后退、左转、右转、拿起、放下）的功能。 2. 电子硬件 在这个示例中，我们采用了以下硬件，请大家参考： 主控板 Basra主控板（兼容Arduino Uno&#x…
阅读更多...
港科夜闻｜推进湾区产学研融合发展,香港科大(广州)—广州市属国企校企合作专题交流会圆满举行...

港科夜闻｜推进湾区产学研融合发展,香港科大(广州)—广州市属国企校企合作专题交流会圆满举行...

关注并星标 每周阅读港科夜闻 建立新视野 开启新思维 1、推进湾区产学研融合发展，香港科大(广州)—广州市属国企校企合作专题交流会圆满举行。本次交流会由香港科大(广州)、广州市人民政府国有资产监督管理委员会主办，越秀集团协办，旨在充分发…
阅读更多...
springboot+jsp网上图书商城销售系统java

springboot+jsp网上图书商城销售系统java

开发环境 开发语言：Java 框架：springboot 技术：JSP JDK版本：JDK1.8 服务器：tomcat7 数据库：mysql 数据库工具：Navicat11 开发软件：eclipse/myeclipse/idea Maven包：Maven…
阅读更多...
ubuntu 20.04虚拟内存

ubuntu 20.04虚拟内存

ubuntu 20.04虚拟内存 1. 查看自己的虚拟内存 使用top命令或者使用free命令 2. 创建虚拟内存配置文件 # 新建文件夹 cd ~ mkdir swap cd swap# bs 为块的大小，count 创建多少个块 sudo dd if/dev/zero ofswapfile bs1M count2048# 修改权限 sudo chmod 0600 …
阅读更多...
系统分析师：六、企业信息化战略与实施 练习题

系统分析师：六、企业信息化战略与实施 练习题

目录 1、十二五的七大国家战略新兴产业体系 2、标准化的三个方面 3、信息的属性 4、电子政务描述 5、数据产品管理 6、企业门户 7、企业应用集成 8、电子商务标准体系 9、电子商务标准范畴 10、知识管理显性和隐形知识 11、决策支持系统 12、CRM解决方案 13、CRM核…
阅读更多...
用Vue写教务系统学生管理

用Vue写教务系统学生管理

文章目录 一.首先创建新的Demo二.在APP里面绑定DemoStudent三.源码附上四.效果图&#xff08;新增记录还未实现&#xff09; 一.首先创建新的Demo 二.在APP里面绑定DemoStudent <template><img alt"Vue logo" src"./assets/logo.png"><!--…
阅读更多...
华为OD机试真题 Java 实现【最小的调整次数】【2023Q1 100分】

华为OD机试真题 Java 实现【最小的调整次数】【2023Q1 100分】

一、题目描述 有一个特异性的双端队列&#xff0c;该队列可以从头部或尾部添加数据&#xff0c;但是只能从头部移出数据。 小A依次执行2n个指令往队列中添加数据和移出数据。 其中n个指令是添加数据 (可能从头部添加、也可能从尾部添加)&#xff0c;依次添加1到n&#xff0c…
阅读更多...
超稳定ChatGPT镜像网站，小白适用，赶紧收藏【持续更新中】

超稳定ChatGPT镜像网站，小白适用，赶紧收藏【持续更新中】

&#x1f482;作者简介&#xff1a; THUNDER王&#xff0c;一名热爱财税和SAP ABAP编程以及热爱分享的博主。目前于江西师范大学会计学专业大二本科在读&#xff0c;同时任汉硕云&#xff08;广东&#xff09;科技有限公司ABAP开发顾问。在学习工作中&#xff0c;我通常使用偏后…
阅读更多...
无代码开发引路，重塑企业数字生产力

无代码开发引路，重塑企业数字生产力

互联网时代&#xff0c;信息的传递与共享成为企业运营的核心环节。传统的软件开发模式已经不能满足企业数字化转型的需要&#xff0c;而无代码开发平台可以在不改变底层技术架构的前提下&#xff0c;提供一种高效、低成本、灵活、易用的软件开发解决方案。相较于传统代码编写&a…
阅读更多...
[山海关crypto 训练营 day13]

[山海关crypto 训练营 day13]

日常鼓励自己&#xff1a;世界上只有想不通的人&#xff0c;没有走不通的路。 [长安杯 2021]checkin 题目代码和数据 from Crypto.Util.number import * from secret import flag p getPrime(1024) q getPrime(16) n p*q m bytes_to_long(flag) for i in range(1,p-q):m…
阅读更多...
事务AOP

事务AOP

事务&AOP 事务管理 在数据库中我们已经学过事务了。 事务是一组操作的集合&#xff0c;它是不可再分的工作单位。事务会把所有的操作作为一个整体&#xff0c;一起向数据库提交或者撤销操作请求。所以这组操作要么是同时成功&#xff0c;要么同时失败。 事务的操作主要…
阅读更多...
【共用体和枚举】

【共用体和枚举】

共用体 一种构造类型的数据结构 共用体和结构体类似&#xff0c;也是一种构造类型的数据结构。 既然是构造类型的&#xff0c;就需要先定义出类型&#xff0c;然后用类型定义变量。 定义共用体类型的方法和结构体非常相似&#xff0c;把struct 改成union 就可以了。 在进行某…
阅读更多...
美颜SDK的应用与优化：一次全面探究

美颜SDK的应用与优化：一次全面探究

在直播过程中&#xff0c;美颜技术可以帮助主播实现更好的视觉效果&#xff0c;从而吸引更多的关注和粉丝。因此&#xff0c;直播美颜SDK的应用和优化已经成为了直播行业中的一个重要研究方向。 一、直播美颜SDK的应用 1. 美颜滤镜 美颜滤镜是直播美颜SDK中最常用的一种技术…
阅读更多...
【Mybatis】Mybatis处理一对多、多对多关系映射-四

【Mybatis】Mybatis处理一对多、多对多关系映射-四

唠嗑部分 上篇文章我们说了Mybatis中ORM映射的几种方式&#xff0c;相关文章&#xff1a; 【Mybatis】简单入门及工具类封装-一 【Mybatis】如何实现ORM映射-二 【Mybatis】Mybatis的动态SQL、缓存机制-三 这篇文章我们来说说Mybatis如何处理一对一、一对多、多对多的关系映射…
阅读更多...
Linux下网络编程（2）——socket的函数们

Linux下网络编程（2）——socket的函数们

accept()函数 服务器调用 listen()函数之后&#xff0c;就会进入到监听状态&#xff0c;等待客户端的连接请求&#xff0c;使用 accept()函数获取客户端的连接请求并建立连接。函数原型如下所示&#xff1a; int accept(int sockfd, struct sockaddr *addr, socklen_t *addrle…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023