您的监控策略是否可扩展?

news2024/10/1 7:45:56

家公司都在努力更好地了解其运营效率,但他们都遇到了同样的问题:规模。那么,可扩展的监控策略是什么样的?您如何防范可观察性中最重要的问题?

什么是可扩展监控策略?

我们将从确定受规模影响最大的两件事开始:成本和性能。成本可以分解为存储和计算。很明显,要容纳更多数据,就需要更多存储空间,但是计算能力呢?这很重要,因为查询需要搜索更多数据——因此需要使用更多计算能力——才能返回结果。

这会在性能和成本效益之间进行权衡。随着数据集的增加,立即解决查询变得越来越具有挑战性,因此工程师通常只会容忍性能下降。这进一步影响了系统的可用性和一般用途。如果解决每个查询需要 10 秒,那么您只是将数据发现效率降低了 10 倍。

扩展意味着性能和成本效益

为了扩展监控策略,明智的架构师需要打破性能和成本之间的僵局,并像数据科学家一样处理问题。可扩展的监控策略从一个简单的问题开始:这些数据的用例是什么?

有些数据只会因为可能需要而被摄取。它的整个生命周期都不受干扰,并最终被压缩或删除。另一方面,有些数据每天每分钟都在查询,而且是不可或缺的。了解数据的使用方式意味着工程师可以决定该数据的价值。

 在创建可扩展监控策略的战斗中,有一个三步法。

第一步:跟踪数据使用情况

哪些数据被摄取但从未被查询过?哪些数据从不休息?构建数据消耗频率的地图,以便根据用例做出任何战略选择。

最常见的做法是将数据分为三种不同的用例:

频繁访问– 经常被查询并且需要在接到通知后立即可用的数据。

监控——驱动仪表板或训练机器学习模型但在处理后基本无用的数据。

合规性——保留以备不时之需的数据,但只是有时会查询。例如,审计日志。

第二步:优化存储和消耗

一旦了解了数据的用例(无论是日志、指标还是跟踪),下一阶段就是优化。这意味着为我们上面看到的不同用途创建不同的存储和查询解决方案。

频繁访问——可以优化和调整的快速查询。OpenSearch是一个不错的选择,尽管管理开销可能很痛苦,尤其是在规模上。

监控——这主要是关于转换数据。例如,摄取日志,将其转化为指标并删除原始日志。这是非常强大的,因为指标占用的空间比日志少得多,并且可以更经济高效地存储。

合规性——像 Amazon S3 这样的低成本存储是一个不错的选择,但这些数据必须仍然可以访问,即使只是通过重新索引。

建立这些能力有多容易?

创建 OpenSearch 集群很简单,但大规模管理它却极具挑战性。同样,将日志转换为指标很简单,但以高性能的方式大规模执行此操作很复杂。由于合规性日志的规模接近无限大,因此很难保留合规性日志,而在处理大量数据时,重新索引这些数据是一项非常重要的操作。

但是,从该分析中得出的关键结论应该是,如果任何组织打算扩展其监控解决方案,这些都是他们应该具备的能力。如果它们可以通过SaaS 供应商获得,那么这是一个值得考虑的严肃选择,因为它使公司能够立即利用此功能,而无需前期、不可预测且通常持续的内部工程成本。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/585317.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

生态系统NPP及碳源、碳汇模拟、土地利用变化、未来气候变化、空间动态模拟实践技术应用

由于全球变暖、大气中温室气体浓度逐年增加等问题的出现,“双碳”行动特别是碳中和已经在世界范围形成广泛影响。碳中和可以从碳排放(碳源)和碳固定(碳汇)这两个侧面来理解。陆地生态系统在全球碳循环过程中有着重要作…

SpringBootWeb---分层解耦

3. 分层解耦 3.1 三层架构 3.1.1 介绍 在我们进行程序设计以及程序开发时,尽可能让每一个接口、类、方法的职责更单一些(单一职责原则)。 单一职责原则:一个类或一个方法,就只做一件事情,只管一块功能。…

前端网络、JavaScript优化以及开发小技巧

一、网络优化 YSlow有23条规则,中文可以参考这里。这几十条规则最主要是在做消除或减少不必要的网络延迟,将需要传输的数据压缩至最少。 1)合并压缩CSS、JavaScript、图片,静态资源CDN缓存 通过构建工具Gulp,可以在…

PDPS教程:机器人工作站导出为JT格式文件操作方法

目录 功能简介 功能注意事项 导出JT格式文件操作 导出JT格式文件查看 功能简介 PDPS软件不仅能够从外部导入JT格式的模型文件,还能够将创建好的机器人工作站/生产线导出为JT格式的模型文件。这个能够导出JT格式文件的功能就是“Export JT”命令。 使用“Expor…

零尽其用,尾随不落——探究力扣题目“移除字符串中的尾随零”的解题思路

本篇博客会讲解力扣“2710. 移除字符串中的尾随零”的解题思路,这是题目链接。 先来审题: 以下是示例: 以下是提示: 本题的思路是: 先遍历字符串,找到字符串末尾的\0。从\0开始,向前遍历&a…

如何写一篇让人挑不出毛病的产品需求文档?

需求”这个词是产品经理工作中的常客,产品需求文档也贯穿于整个产品经理的日常工作中,本周小编将通过什么是产品需求文档,产品需求文档的作用、如何写好产品需求文档等方面分享如何写出一篇让你挑不出毛病的PRD,让需求文档助力产品…

30分钟开发微信小程序并部署

30分钟开发微信小程序并部署 首先,今天我们会使用到腾讯为我们提供的云平台来协助我们小程序的开发和部署。 环境准备: 微信开发者账号(自己在微信公众号平台注册一个账号):https://mp.weixin.qq.com/,同时…

arp欺骗(http)与dns欺骗

Arp欺骗 win7: ip:192.168.127.147 mac:00-0C-29-4F-1C-36 kali: ip:192.168.127.133 mac:00:0c:29:4c:4d:92 arp -a 获取网关 网关:ip:192.168.127.0 mac:00-0c-29-4c-4d-92 fping -g 192.168.127.0/24 192.168.127.1…

在华为眼里,ICT行业今年还有啥搞头?

大家好,我是老杨。 不知道你们有没有研究年报的习惯,一些超大厂是会每年发布年报的,而从年报里,你能看出很多行业趋势出来。 以最热门的华为举例: 每年,华为都会发布全年财报,对自己今年的整…

什么是低代码?国内常见的低代码平台有哪些?

一、什么是低代码开发? 低代码也称之为无代码或是 aPaas。要想了解低代码是什么,我们先来讨论低代码本质? 它是一种可视化软件开发方法,通过最少的编码更快地交付应用程序。 图形用户界面和拖放功能使开发过程的各个方面自动化…

【大数据之Hive】三、Linux下安装MySQL8.0.33

1 安装MySQL (1)解压MySQL安装包: tar -xf mysql-8.0.33-1.el7.x86_64.rpm-bundle.tar -C /opt/module/mysql(2)卸载系统自带的mariadb: sudo rpm -qa | grep mariadb | xargs sudorpm -e --nodeps(3&am…

快速上手 SpringBoot 单元测试

✏️作者:银河罐头 📋系列专栏:JavaEE 🌲“种一棵树最好的时间是十年前,其次是现在” 目录 什么是单元测试?单元测试有哪些好处SpringBoot 单元测试使用单元测试的实现步骤生成单元测试类添加单元测试代码 …

rsync+inotfy实时同步

rsyncinotfy实时同步 目录 一、服务器端 二、客户端 一、服务器端 1、安装网站服务,启动,但是不写首页文件 yum -y install httpd 2、安装raync服务 yum -y install rsync 3、修改主配置文件 (/etc/rsyncd.conf) uid root gi…

transformer的dataset下载失败load_dataset(“glue“,“mrpc“)

下载的时候会报错https://huggingface.co/datasets/glue/resolve/main/glue.py这个路径无法下载,但是浏览器是可以打开的 所以,先去官网手动下载文件 然后让模型去读取,默认是会读取TRANSFORMERS_CACHE中的内容,不过在c盘&#x…

Ex-ChatGPT本地部署+Azure OpenAI接口配置+服务器部署

Ex-ChatGPT项目分为 Ex-ChatGPT 和 WebChatGPTEnhance 两部分,Ex-ChatGPT启动后是个web服务,通过访问ip端口体验; WebChatGPTEnhance可编译生成一个浏览器插件,Chrome或者Microsoft edge浏览器可以安装该插件,点击该插…

【Python入门篇】——Python中循环语句(循环中断break和continue)

作者简介: 辭七七,目前大一,正在学习C/C,Java,Python等 作者主页: 七七的个人主页 文章收录专栏: Python入门,本专栏主要内容为Python的基础语法,Python中的选择循环语句…

MyBatis-Plus 可视化代码生成器来啦,让你的开发效率大大提速!!

前言 在基于Mybatis的开发模式中,很多开发者还会选择Mybatis-Plus来辅助功能开发,以此提高开发的效率。虽然Mybatis也有代码生成的工具,但Mybatis-Plus由于在Mybatis基础上做了一些调整,因此,常规的生成工具生成的代码…

【系统工具】Rundll32:Windows系统中的神奇工具,你知道吗?

▒ 目录 ▒ 🛫 问题描述环境 1️⃣ Rundll32的使用使用方法 - cmd使用方法 - 运行窗口/任务管理器/资源管理器 2️⃣ 常见应用场景运行js或vbs的脚本代码执行命令绕过杀毒软件的作法?修改注册表增加一个服务修复Internet Explorer其它常见命令 3️⃣ 原理…

使用LoRA对大语言模型LLaMA做Fine-tune

使用LoRA对大语言模型LLaMA做Fine-tune 前言下载配置环境模型的训练 Fine-tune模型的使用 Inference参考 前言 目前有大量对LLM(大语言模型)做Fine-tune的方式,不过需要消耗的资源非常高,例如 Stanford Alpaca: 对LLaMA-7B做Fine-…

springboot + vue3实现视频播放Demo(video.js Vue3-video-play)

文章目录 学习链接前言ffmpeg安装ffmpeg配置环境变量分割视频文件 后台配置WebConfig 前端代码video.js示例安装依赖视频播放组件效果 Vue3-video-play示例安装依赖main.js中使用视频播放组件效果 学习链接 ffmpeg官网 长时长视频java存储及vue播放解决方法 【 攻城略地 】vue…