【CLS数据淘金第四期】网络流日志-云联网日志分析

news2024/11/15 13:28:03

导语

云联网(Cloud Connect Network,CCN)云联网覆盖全球 20+ 地域,提供云上私有网络间(VPC)、VPC 与本地数据中心间(IDC)内网互联的服务,具备全网多点互联、路由自学习、链路选优及故障快速收敛等能力。

用户可使用日志服务(Cloud Log Service,CLS)更快速便捷的采集云联网流日志,并通过 CLS 提供的检索分析、仪表盘、告警等功能发现与定位云联网问题,支撑业务服务。

云联网流日志分析场景

预警业务问题

小秦是某在线教育产品的运维人员。在线教育师生遍布多地域,VPC 众多,要求直播平台搭建覆盖多地域的高质量互联,保证在跨地域传输视频和语音清晰、无延迟。

在这种情况下,云联网服务成为了不二选择。

使用云联网后,远隔两地的的老师和同学,终于可以无延迟的沟通了。但是在课程高峰期,因为带宽限制,还是会有部分同学出现卡顿。为了保证服务质量,需要在流量激增时及时发现并扩大带宽。

为此,小秦通过 CLS 日志服务对云联网流日志进行监控告警。监控被拒绝流量的占比情况。

如图所示,每隔 5 分钟,查询近 5 分钟内被拒绝流量的占比情况。当占比大于 1% 时,触发告警。语句如下:

log-status:OK | select round(sum(case when action = 'REJECT' then 1.00 else 0.00 end) / cast(count(*) as double) * 100,2) as "reject占比(%)"

定位并解决业务问题

转眼又是一个开学季,这天小秦的手机、邮箱,相继收到云联网被拒绝流量的占比告警通知。

小秦打开 CLS 的 CCN 流日志_高级分析仪表盘,在顶部过滤出流量类型为 REJECT(被拒绝)的流日志。

然后查看被拒绝流量的线路分布,发现集中在 ap-guangzhou 与 ap-shanghai 两个地域间。

分析语句如下:

log-status:OK | select concat(concat('srcRegion : ',srcregionid, ' , dstRegion : '), dstregionid) as region, sum(bytes) as bytes group by region order by bytes desc limit 20

小秦再查看被拒绝流量的源目 IP 分布,IP 对占比分布状况均匀,排除了个别 IP 恶意挤占带宽的情况。

分析语句如下:

log-status:OK | select sum(bytes) as total, concat(concat('srcIP : ',srcaddr, ' , dstIP : '), dstaddr) as region_ip group by region_ip order by total desc limit 20

接下来小秦又查看了被拒绝流量的协议与端口分布,协议与端口占比没有集中在某一类上,排除因协议与端口原因导致被拒的情况。

分析语句如下:

log-status:OK | select sum(bytes) as bytes,concat(concat(concat(cast(protocol as varchar),' srcport:'),srcport,' dstport:'),dstport) as protocol group by protocol limit 10

最后,小秦认为,此次被拒绝流量占比增加,是该线路正常使用的用户激增导致的,需要进行带宽的扩容。

于是小秦查看了该线路的带宽趋势。发现 ap-guangzhou TO ap-shanghai 线路与 ap-shanghai TO ap-guangzhou 线路当前峰值都在 7Gb/s 左右。

分析语句如下:

log-status:OK | select histogram(cast(__TIMESTAMP__ as timestamp), interval 1 MINUTE) as time, sum(bytes)/60.00*8 as bandwidth, concat(concat('srcRegion : ',srcregionid, ' , dstRegion : '), dstregionid) as region_ip group by time, region_ip limit 10000

带着以上结论,小秦登录腾讯云云联网控制台,调整了两条线路的带宽上限,快速解决了本次业务问题!让同学们获得了高质量的学习体验。

Demo 体验

CLS 日志服务提供免费的 CCN 云联网流日志 Demo 快速体验,一键开箱即可使用,全景体验 CCN 检索分析、预置仪表盘、实时告警等功能。


更多日志服务相关前沿技术与实现、产品动态,可关注腾讯云 CLS 公众号。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/31908.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Hypermesh三维网格划分技能,以汽车发动机连杆结构为例

作者:米条老师,仿真秀专栏作者 Hypermesh三维单元的划分功能还是非常的丰富和灵活的,通常掌握主要的几个命令基本就能够满足大部分的网格划分工作。首先我们先了解一下在hypermesh中实现三维网格划分的基本步骤: 几何部件分组及…

finereport开发者需要关注的问题

版本问题 如果使用高版本开发,则无法在低版本的设计使用与发布, 所以第一件事情就是要把设计器的版本弄好。 请使用v10.0.0(本地版本需要与当前的中台版本一致),目前官方已没有直接下载到v10.0.0完整包的地址了,例如:下图为当前的…

大佬指明方向!使用微服务的最佳实践以及如何避免采用微服务架构可能带来的复杂性陷阱

什么是微服务 微服务应用是与单体应用区分开来的. 当一个单体项目随着业务的发展会越来越膨胀,变得更加难维护,从一开始仅需一两个人到需要两三个团队,多个团队维护同一个项目无疑是一场灾难,沟通成本大大增加,技术协同也会十分困难. 举个例子,我在上一家公司维护过一个后台项…

IP地址虚拟网络与虚拟机网络配置

欢迎关注博主 Mindtechnist 或加入【Linux C/C/Python社区】一起探讨和分享Linux C/C/Python/Shell编程、机器人技术、机器学习、机器视觉、嵌入式AI相关领域的知识和技术。 IP地址虚拟网络与虚拟机网络配置1. IP地址与子网划分☞IP地址☞特殊IP地址☞IP地址申请☞子网掩码☞子…

spider

大家好 我是Yhen 今天给大家分享一下 如何爬取卡塔尔世界杯球员榜 数据来源:百度体育 https://tiyu.baidu.com/match/%E4%B8%96%E7%95%8C%E6%9D%AF/tab/%E7%90%83%E5%91%98%E6%A6%9C/current/0 文章目录一.需求分析二.思路分析三.代码实战四.源码获取一.需求分析…

强强联合 加速科技“牵手”清华大学达成深度战略合作

近日,清华大学集成电路学院成功采购了加速科技ST2500系列高性能数模混合测试机(浙江省首台套装备)。加速科技“牵手”清华大学,共同推进集成电路自主技术的创新升级,就集成电路学科教学科研、人才培养展开深度合作。 清…

Java Spring后处理器

Java Spring后处理器 在Spring框架中,交给Spring管理的类信息都会被Spring底层自动加载被封装成对应的BeanDefinition对象存储在beanDefinitionMap的Map集合中去,那么除了直接将类信息配置的方式外,还有别的方式可以对想要交给Spring管理的类…

matlab在管理学中的应用简matlab基础【二】

1、MATLAB语言概述 1.1 MATLAB语言的发展 matlab语言是由美国的Clever Moler博士于1980年开发的 MATLAB Matrix Laboratory 它将一个优秀软件的易用性与可靠性、通用性与专业性 、一般目的的应用与高深的科学技术应用有机的结合 MATLAB是一种直译式的高级语言,比…

【安装Ubuntu18.04遇到的问题】未找到WIFI适配器

大家好,我是小政。好久没有更新文章,近期开始陆续分享一些研究生阶段正在学习的知识和遇到的一些问题。 联想拯救者Y9000P关于安装Ubuntu未找到WIFI适配器的解决方法1.Ubuntu18.042.网卡信息3.解决方法(1)用手机USB连接电脑提供网…

如何判断对象是否该被回收(引用计数法、可达性分析算法)

👨‍💻个人主页: 才疏学浅的木子 🙇‍♂️ 本人也在学习阶段如若发现问题,请告知非常感谢 🙇‍♂️ 📒 本文来自专栏: JVM 🌈 算法类型:Hot100题 &#x1f30…

计算机的应用领域

文章目录计算机的应用领域1、商业2、银行业3、保险行业4、教育行业5、市场营销6、卫生保健7、工程设计8、军事9、通讯10、政府计算机的应用领域 本节,我将带领您了解计算机在各个领域的应用。 1、商业 计算机的功能丰富,极高的计算能力,计…

sqli-labs/Less-56

这一关的欢迎界面提示我们还是以id作为注入点 我们仍然有14次尝试机会 首先我们还是先来判断一下是否属于数字型注入 输入如下 id1 and 12 回显如下 正确回显 属于字符型 接着输入1 查看回显 这个回显说明两件事情 一个是我们后面不能使用报错注入进行注入了 一个是我们这个…

Elasticsearch:使用反向地理编码在地图上显示自定义区域统计数据

在实际的许多应用中,我们可能并不一定按照行政区来进行划分区域,比如我们常说江浙一代,我们可以理解江苏和浙江这两个省合在一起,而不是把它们分开。我们有时也说长江三角区,它可能是跨几个省市的一个区域,…

每隔一段时间自动敲键盘的的vbs脚本

1. 上代码 set wscreateobject("wscript.shell") do ws.sendkeys "{TAB}" WScript.Sleep Int(6 *Rnd1)*1000 loop2. 代码解释 每隔1~6秒,按一次TAB键 2.1 循环执行操作代码 do ....操作..... loop2.2 按下Tab键 ws.sendkeys "{TAB}" 即…

HTML5期末大作业商城网页设计与实:(手表 3页)HTML+CSS

⛵ 源码获取 文末联系 ✈ Web前端开发技术 描述 网页设计题材,DIVCSS 布局制作,HTMLCSS网页设计期末课程大作业 | 在线商城购物 | 水果商城 | 商城系统建设 | 多平台移动商城 | H5微商城购物商城项目 | HTML期末大学生网页设计作业 HTML:结构 CSS&#…

python中字典的循环遍历的方式

python开发中经常会用到对于字典、列表等数据的循环遍历,但是python中对于字典的遍历对于很多初学者来讲非常陌生,今天就来讲一下python中字典的循环遍历的两种方式。 注意: python2和python3中,下面两种方法都是通用的。 1、只…

两种数据提取框架的比较(scrapy和webmagic)

背景: 最近北京疫情有点严重,状态是居家办公,又是买菜做饭又是核酸检测心情是无比的烦躁还总是会议,无需发言的会议就边听边写写csdn记录一下。这几天在用Java写一个数据抓取的程序,用于数据分析等等。第一是因为原项目…

十二、虚拟 DOM 和 render() 函数(2)

本章概要 用普通 JavaScript 代替模板功能 v-if 和 v-forv-modelv-on事件和按键修饰符插槽 JSX实例:帖子列表 12.3 用普通 JavaScript 代替模板功能 原先在模板中可以使用的一些功能在 render() 函数中没有再提供,需要自己编写 JavaScript 代码来实现…

docker-Cgroups的资源限制

一、Cgroup的介绍 cgroups,是一个非常强大的linux内核工具,他不仅可以限制被namespace 隔离起来的资源,还可以 为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。 cpu时间片的概念 …

atoi函数的介绍和模拟实现

今天我来介绍atoi函数和模拟实现atoi函数。 目录atoi和与其功能相似的函数的介绍atoi函数的模拟实现atoi和与其功能相似的函数的介绍 atoi函数是一个将字符串转换为整数值的函数。 由msdn查询可以得知,atoi函数的返回类型是int类型,参数类型是const ch…