文章目录
- Crane 助力云原生用户充分发挥云上资源的最大价值,帮助企业降本增效之利器
- 前言
- 云上资源成本虚高的现状
- 一、云原生的崛起:服务上云
- 二、服务上云的魔咒:服务健壮了,钱袋子却空了
- 三、钱都去哪了:云资源无序投入的背后急需明晰账单
- 四、钱又回来了:划去糊涂账单,资源极致利用
- Crane 云上资源极致利用,降本增效之四大必杀技
- 一、全方面拥抱云原生
- 二、无与伦比的高性价比
- 1. Crane 能力全景图
- 2. Crane 核心能力图
- 三、实时动态的可观测监控
- 1. 成本洞察展示
- 四、高效智能的资源利用预测
- 1. 智能推荐展示
- Crane 环境快速搭建及功能验证:小试牛刀 -5- 分钟
- 搭建环境
- 图化步骤
- 清理环境
- 附录
Crane 助力云原生用户充分发挥云上资源的最大价值,帮助企业降本增效之利器
前言
19年疫情至今,互联网业务高增速、强创收的局面已是昨日黄花。在面对疫情、国际局势、人口规模趋势、基尼效应、经济形势 等多种复杂的因素下,互联网企业的日子相对窘迫。严峻的环境倒逼着企业进行 “开源节流”、“降本增效”,捂紧钱袋子,应对充满未知的 “寒冬”。
本文将围绕 “FinOps“ 思想,介绍 “通过 Crane 手段进行优化应用资源配置“,以达到业务增效降本的目的。欢迎感兴趣的同学,参考、学习。
云上资源成本虚高的现状
一、云原生的崛起:服务上云
-
1998 年亚马逊发布论文:《分布式计算宣言》,分布式、微服务架构初现雏形;
-
20 年代传入中国,以阿里、腾讯为代表首先进行服务 ”单体拆分至微服务“ 的架构演化;
-
在云技术成熟之后,架构演进的阶段来到了云原生时代。
-
2017 年,Crane 项目开源,旨在为云原生用户提供云成本优化一站式解决方案;
-
2022 年,中国电子技术节能协会2022年“云计算中心科技奖”正式颁布,腾讯云Crane荣获“云计算中心科技奖卓越奖”,成为国内首个获得该国家级奖项的云原生解决方案;
-
…
为何架构演进的历程会青睐云原生技术?具体原因可参看《云原生的崛起 一 :市场竞争中真正敏捷力量 !》 这里不做过多介绍。
二、服务上云的魔咒:服务健壮了,钱袋子却空了
上云会提供给服务足够的弹性,当流量在节假日、业务活动,等大规模洪峰到来时,能够快速的横向扩展,保障服务的健壮性;当呈现在流量峰谷时,服务可进行收缩;实现资源、服务的自主弹性。
那么在上述弹性的过程中,云上资源的调度是十分关键的。因为我们在采购资源时,一般是按定价 + 折旧的方式进行计费,如何在适当的时机占用适当的资源,对出纳的资源购置费用影响是举足轻重的。
如果对资源的调度模糊、不透明、或者粒度豪放,那么最终的结果就是:服务健壮了,钱袋子却空了!
三、钱都去哪了:云资源无序投入的背后急需明晰账单
在服务调性/流量模型中的不同阶段,我们需要对资源的调度进行观测,以明晰具体的资源利用率,判定其投入是否合理。
在不同业务调性、不同混部资源之间,如何做可靠的观测性方案、以及如何通过观测数据进行科学判定,是此环节的重大难题!
四、钱又回来了:划去糊涂账单,资源极致利用
当有明晰的账单及科学的资源利用判定,我们需要进行科学、合理的资源调度,以使其利用率最大,从而节省目标投入资金,让钱流回来。
如何在保障服务健壮的前提下,给出最优的调度方案,是此阶段的待解之题!
Crane 云上资源极致利用,降本增效之四大必杀技
Crane 依托于云原生技术,结合监控可视化、水平弹性、负载及拓扑感知 等多项硬核科技,将优化措施应用到云成本的多个关键环节,从而辅助用户决策、简化运维效率、提升系统稳态、全面降本增效。
一、全方面拥抱云原生
Crane 是国内第一个基于云原生技术的成本优化开源项目,全球范围内首个开源的FinOps认证解决方案。遵循 FinOps 标准,旨在为云原生用户提供云成本优化一站式解决方案,帮助企业降本增效。
目前,Crane 已经在腾讯、网易、小红书、思必驰、酷家乐、明源云、等多家互联网科技公司实现部署应用。
- 开源地址:https://github.com/gocrane/crane
二、无与伦比的高性价比
Crane 支持 FinOps 解决方案 全能力,以开源形式提供服务支撑。
通过对云计算成本进行可视化和分析,让企业管理者更好地了解云计算的成本结构和开支情况,从而更好地控制和优化云计算成本。具体包括以下方面:
- 成本可视化:可以通过图表和报表等方式,将云计算成本可视化,让企业管理者可以更好地了解云计算的成本结构和变化情况。
- 成本分析:可以对云计算成本进行分析,比如对不同业务部门的成本进行分析,对不同时间段的成本进行分析,从而更好地了解云计算成本的变化趋势和影响因素。
- 成本控制:可以帮助企业管理者制定云计算成本控制策略,比如通过优化资源配置、采用更加经济高效的云计算服务等方式,降低云计算成本。
- 成本优化:可以通过对云计算成本进行分析和控制,帮助企业优化云计算成本,提高企业的效益和竞争力。
1. Crane 能力全景图
2. Crane 核心能力图
三、实时动态的可观测监控
Crane 依托 Prometheus 监控组件,提供一组 Exporter 计算集群云资源的计费和账单数据。
进行多维度的成本洞察,优化评估,并通过 Cloud Provider 支持多云计费。
1. 成本洞察展示
- 通过图形化视图动态呈现当前资源调度分布情况,及成本分布现状。
四、高效智能的资源利用预测
基于可观测手段刮擦到的 负载、拓扑、QOS、Pod 等元数据,Crane 利用 强悍的算法模型进行业务流量模型、资源调度预测,资源配置变更等多种策略构建。在确保服务稳定的前提下,使得资源利用最大化,投入成本最低化。
-
算法模型赋能于弹性:EffectiveHorizontalPodAutoscaler
- 提前扩容,保证服务质量:通过算法预测未来的流量洪峰提前扩容,避免扩容不及时导致的雪崩和服务稳定性故障。
- 减少无效缩容:通过预测未来可减少不必要的缩容,稳定工作负载的资源使用率,消除突刺误判。
- 支持 Cron 配置:支持 Cron-based 弹性配置,应对大促等异常流量洪峰。
- 兼容社区:使用社区 HPA 作为弹性控制的执行层,能力完全兼容社区。
-
算法模型赋能于推荐:Recommender
- 更合适的资源配置:采用 VPA - 滑动窗口算法,分析应用的真实用量,推荐更合适的资源配置,提升集群的资源利用率。
- 更合适的负载配置:采用 HPA 算法,分析应用的真实用量,推荐更合适的副本配置,提升集群的资源利用率。
- 其实现的基本算法是基于工作负载历史 CPU 负载,找到过去七天内每小时负载最低的 CPU 用量,计算按 50%(可配置)利用率和工作负载 CPU Request 应配置的副本数。
1. 智能推荐展示
Crane 环境快速搭建及功能验证:小试牛刀 -5- 分钟
Crane 提供了极简的环境搭建方法,5 分钟足以完成 Demo 的搭建及功能验证。感兴趣的同学,欢迎 尝试、学习、借鉴。
- 注意:末尾含删除环境指令,无需担心清理问题。
下面是总结的步骤,需要工具:
- 一台 mac 电脑 💻【有网,win 也可】
- 无特殊硬件要求
搭建环境
- 云原生环境搭建:安装 k8s、helm、kind ,用于快速构建一个 demo 集群
- Crane 系统搭建及操作:构建安装 crane 依赖服务组件
- 预设集群链接与分析:启动 crane 并 视图展示 demo 数据效果
//云原生环境搭建:安装 k8s、helm、kind ,用于快速构建一个 demo 集群
brew reinstall kubernetes-cli
brew install helm
brew install kind
//Crane 系统搭建及操作:构建安装 crane 依赖服务组件
curl -sf https://raw.githubusercontent.com/gocrane/crane/main/hack/local-env-setup.sh | sh -
bash installation/local-env-setup.sh
export KUBECONFIG=${HOME}/.kube/config_crane
//预设集群链接与分析:启动 crane 并 视图展示 demo 数据效果
kubectl get deploy -n crane-system
get pod -n crane-system
kubectl -n crane-system port-forward service/craned 9090:9090
export KUBECONFIG=${HOME}/.kube/config_crane
kubectl -n crane-system port-forward service/grafana 8082:8082
图化步骤
清理环境
kind delete cluster --name=crane
附录
在技术日新月异的今天,面对竞争日益激烈的环境,拥有 Crane 降本增效的利器,意味着具备了**强悍且敏捷的竞争力!**无论是个人还是公司企业,都将是一笔 “无以比拟” 的巨大财富。