《分布式技术原理与算法解析》学习笔记Day26

news2024/11/15 19:55:35

流量控制

什么是流量控制?

网络传输中的流量控制就是让发送方发送数据的速度不要太快,这样可以让接收方来得及接收数据,通常使用滑动窗口的方式来实现。

滑动窗口是指在任意时刻,发送方都维持一个连续的允许发送的数据大小,称为发送窗口,接收方也会维持一个连续的允许接收的数据大小,称为接收窗口,每次发送方给接收方发送数据后,必须收到接收方返回的确认消息,发送窗口才可以向后移动,发送新的数据。

分布式系统中的流量控制是指控制每个服务器接收的请求数,以保证服务器来得及处理这些请求,尽可能保证用户请求持续地被处理,而不是让大量的用户请求“阻塞”在服务器中,等待被执行。

分布式系统流量控制策略

一般有两种流量控制策略:

  1. 漏桶策略
  2. 令牌桶策略

漏桶策略

漏桶策略是指无论用户请求有多少,无论请求速率有多大,“漏桶”都会接收下来,但是从漏桶出来的请求是固定速率的,保证服务器可以处理的游刃有余。当“漏桶”因为容量限制放不下更多请求时,就会选择丢弃部分请求,是一种“宽进严出”的策略。

漏桶策略的好处是做到了流量整形,即无论流量多大,即使是突发的大流量,输出依旧是一个稳定的流量。缺点是对于突发流量的情况,因为服务器处理速度与正常流量的处理速度一致,会丢弃比较多的请求。

漏桶策略适用于间隔性突发流量且流量不用即时处理的场景,这样可以在流量较小的“空闲期”,处理大流量时流入漏桶的流量。它不适用于流量需要即时处理的场景。

令牌桶策略

令牌桶策略是指有一个容器来盛放令牌,请求只有拿到令牌后,才会被分发到服务器进行处理。

令牌桶的优点是当有突发大流量时,只要令牌桶中有足够多的令牌,请求就会被迅速执行。令牌桶容量的设置,可以接近服务器处理的极限,这样就可以有效利用服务器的资源。

令牌桶策略适用于有突发特性的流量,且流量需要即时处理的场景。

漏桶策略和令牌桶策略的详细比较如下。
在这里插入图片描述

Sentinel流量控制原理

Sentinel的核心是监控应用的并发线程数或者QPS,当达到设置的阈值时,Sentinel才去一定的策略对流量进行控制,避免应用被瞬时高流量击垮,保证应用高可靠。

在Sentinel中,有两种流量控制方式:

  1. 通过并发线程数进行流量控制
  2. 通过QPS进行流量控制

在分布式系统中,每个请求都会由一个线程去处理,当请求太多系统处理不过来时,线程池可能已经被耗尽,因此当请求过多时,执行请求的并发线程数自然会随之增加,当超过一定阈值,需要采取策略进行流量控制。

在Sentinel中,采用了直接拒绝的方式,即新来的请求会被直接拒绝。

针对QPS,Sentinel提供了三种不同的流量控制策略:

  1. 直接拒绝,这与并发线程数流量控制采取的方式一直。
  2. 预热,看上去像一种特殊的令牌桶:放令牌的速率保持一个较低的水平,当流量突增时,放令牌的速率不会一下子提高到最高水平,而是慢慢增加,直到增加到最大速率,适用于具有突发特性的流量,且流量可以即时处理的场景。
  3. 匀速排队,本质是漏桶策略,严格控制系统每秒处理的请求数,当请求数很多时,请求之间的间隔也保持一致。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/382359.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

全国CSM敏捷教练认证将于2023年3月25-26开班,报名从速!

CSM,即Certified Scrum Master,是Scrum联盟发起的Scrum认证。 CSM可以帮助团队正确使用Scrum,从而提高项目整体成功的可能性。 CSM深刻理解Scrum的价值观、实践以及Scrum框架。 CSM是“服务型领导”,帮助Scrum团队一起紧密合作。 …

QT案例 Qt Creator 使用QuaZIP加密压缩解压ZIP文件

QT开发中部分项目可能会涉及对项目数据的一些指定文件的打包压缩以及指定目录下的解压,此时也需要对数据数据进行加密以确保数据的安全性。此时就可以使用Quazip实现相关功能。 QuaZIP是使用Qt,C对ZLIB进行简单封装的用于压缩ZIP以及解压缩ZIP的开源库。…

Hive表-----数据清洗

以下内容所需要的环境 :hive 、beeline、Zeppelin(可视化界面如何操作表格) 一、准备表格 1、上传csv表格至linux目录中 百度网盘自取:链接:https://pan.baidu.com/s/1xd5MdXiBDLBUtP07kpgl5Q?pwd2ema 提取码&…

python+appium+夜神模拟器(app抓包爬虫)

安装模块 pip install appium-python-client 安装andriodSDK 官网下载:https://android-sdk.en.softonic.com/download 自动下载一个压缩包,解压后就是一个文件夹放各种需要的文件,将解压的路径配置到环境变量中。 然后添加到path中。 下…

带你了解“函数递归”

目录 1. 什么是递归? 2. 函数递归的必要条件 2.1 接收一个整型值(无符号),按照顺序打印它的每一位。 代码如下: 2.2 编写一个函数,不用临时变量求字符串长度 代码如下: 2.3 递归与迭代 …

爬虫之Selenium,Phantomjs,Chrome handless

爬虫之模拟浏览器前言1. Selenium1.1 Selenium介绍1.2 安装selenium1.3 Selenium访问京东1.4 Selenium元素定位1.5 seleniu访问元素信息1.6 selenium交互2. Phantomjs2.1 介绍Phantomjs2.1 使用Phantomjs3. Chrome handless3.1 Chrome handless的系统要求3.2 Chrome handless的…

STM32 E18-D80NK红外检测

本文代码使用 HAL 库。 文章目录前言一、E18-D80NK 红外传感器:1. E18-D80NK 的介绍2. 电器特性二、红外检测小实验代码讲解三、实验现象总结前言 这篇文章介绍 如何使用 STM32 控制 E18-D80NK 进行红外检测。 一、E18-D80NK 红外传感器: 1. E18-D80N…

Qt学习笔记-Qt程序中的调试日志

Qt学习笔记-Qt程序中的调试日志环境说明Qt程序中调试日志使用案例对于一门好的编程语言或者开发框架来说,便捷的调试日志功能是必不可少的。QT作为一个跨平台的开发工具,内置了便捷的调试日志功能,本文就对其做一个简介。环境说明 操作系统&…

测试好工具fiddler,手机抓包,查看手机app请求了哪些接口

领导让我接收一个项目,但是这个项目是安卓的,安卓我一窍不通,我们只做过web页面的。身为一个大数据程序员,要接手同事的项目,给我了代码,但是我完全不知道,这个代码对应,安卓机里面的…

Serverless 时代开启,云计算进入业务创新主战场

作者:于洪涛 “我们希望让用户做得更少而收获更多,通过 Serverless 化,让企业使用云服务像用电一样简单。” Serverless 化正在成为全新的软件研发范式,阿里云将坚定推进核心产品全面 Serverless 化,帮助客户更好的实现…

Jetpack Compose 深入探索系列五:State Snapshot System

Jetpack Compose 有一种特殊的方式来表示状态和传播状态变化,从而驱动最终的响应式体验:状态快照系统(State snapshot system)。这种响应式模型使我们的代码更加强大和简洁,因为它允许组件根据它们的输入自动重组&…

Zookeeper3.5.7版本——Zookeeper的概述、工作机制、特点、数据结构及应用场景

目录一、Zookeeper的概述二、Zookeeper的工作机制三、Zookeeper的特点四、Zookeeper的数据结构五、Zookeeper的应用场景5.1、统一命名服务5.2、统一配置管理5.3、统一集群管理5.4、服务器动态上下线5.5、软负载均衡一、Zookeeper的概述 Zookeeper 是一个开源的分布式的&#x…

飞桨全量支持业内AI科学计算工具——DeepXDE!

AI技术在跨学科融合创新方面扮演着日益重要的角色,特别是在Al for Science领域,AI技术的发展为跨学科、跨领域的融合创新带来了巨大的机会。AI已成为一个关键的研究工具,改变了基础科学的研究范式。依托AI技术开发的科学计算工具,…

【教学类-07-06】20230302《破译电话号码-图形篇(图形固定列不重复)》(两款输入版)

效果展示1、适合中班默写学号——有姓名 有班级,无学号,适合中班幼儿2、适合大班幼儿默写名字——有学号,有班级,无姓名,适合初学者描字(小班、中班、大班)——名字、学号、班级都有&#xff08…

Java面试总结(三)

类加载的流程 类从被加载到虚拟机内存中开始,到卸载出内存为止,它的整个生命周期包括:加载、验证、准备、解析、初始化、使用和卸载7个阶段。其中验证、准备、解析3个部分统称为连接。 如果想要详细了解类加载的过程,可以参考我…

【同步工具类:CyclicBarrier】

同步工具类:CyclicBarrier介绍源码分析CyclicBarrier 基于ReetrantLock Condition实现。构造函数await() 函数业务场景方案一:代码实现测试截图方案二代码实现测试打印总结介绍 官方介绍: 一种同步辅助工具,允许一组线程都等待对方到达共同的障碍点。CyclicBarrie…

完全彻底卸载Oracle

一、停止使用Oracle的服务停用oracle服务,进入计算机管理,在服务中,找到oracle开头的所有服务,右击选择停止。二、打开Universal Installer工具运行卸载Oracle数据库程序(1)、一般情况运行Oracle自带的卸载…

代谢组学:Microbiome又一篇!绘制重症先天性心脏病新生儿肠道微生态全景图谱

文章标题:Mapping the early life gut microbiome in neonates with critical congenital heart disease: multiomics insights and implications for host metabolic and immunological health 发表期刊:Microbiome 影响因子:16.837…

热烈祝贺|酒事有鲤盛装亮相2023中国(山东)精酿啤酒产业发展创新论坛暨展览会

酒事有鲤(济南)品牌管理有限公司是一家致力于将世界顶级精酿啤酒技术和理念与“ 在地”文化有机融合,做世界认 可的多元化好啤酒,通过精致 舒适的家门口酒馆,让啤酒的 世界观更为完整。 中国生物发酵产业协会联合齐鲁…

Gitlab普通用户转管理员

GitLab是常用的分部式代码库版本开源软件,默认系统中只有一个管理员。在工作中,如果有多个项目,则需要多个管理员分别管理各个的代码仓库,需要把多个普通用户配置成管理员,在Gitlab页面上,不能直接通过操作…