【数据结构】Disruptor环形数组无锁并发框架阅读

news2025/1/19 14:28:50

Disruptor 是苹国外厂本易公司LMAX开发的一个高件能列,研发的初夷是解决内存队列的延识问顾在性能测试中发现竟然与10操作处于同样的数量级),基于Disruptor开发的系统单线程能支撑每秒600万订单,2010年在QCn演讲后,获得了业界关注,201年,企业应用软件专家Martin Fower专门撰写长文介绍。同年它还获得了Oradle官方的Duke大奖。目前,包括Apache StomCame、 L0g4 2在内的很多知名项目都应用了Disrupior以获取高性能。注意,这里所说的队列是系统内部的内存队列,而不是Kaka这样的分布式队列。
Github: https://github.com/LMAX-Exchange/disruptor
Disruptor实现了队列的功能并且是一个有界队列,可以用于生产者-消费者模型。

Disruptor的设计方案

Disruptor通过以下设计来解决队列速度慢的问题:

环形数组结构


为了避免垃圾回收,采用数组而非链表。同时,数组对处理器的缓存机制更加友好(空间局部性原理)。

元素位置定位

数组长度2n,通过位运算,加快定位的速度,下标采取递增的形式,不用担心index溢出的问题。index是ong类型,即使100万QPS的处理速度,也需要30万年才能用完.

无锁设计


每个生产者或者消费者线程,会先申请可以操作的元素在数组中的位置,申请到之后,直接在该位置写入或者读取数据。


利用缓存行填充解决了伪共享的问题

利用缓存行填充,定义了可为null的七个元素填充一个空的缓存行。
​​​​​​​protected long p1, p2, p3, p4, p5, p6, p7;


实现了基于事件驱动的生产者消费者模型 (观察者模式)


消费者时刻关注着队列里有没有消息,一旦有新消息产生,消费者线程就会立刻把它消费

RingBuffer数据结构


使用RinaBufer来作为队列的数据结构,RinaBuffer就是一个可自定义大小的环形数组。除数组外还有一个席列号(seouence),用以指向下一个可用的元素,供生产者与消费者使用,原理图如下:

 

Disrupior要求没置数组长度为2的次幕。

在知道索引(ndex)下标的情况下,存与取数组上的元素时间复杂度只有0(1),而这个index我们可以通过序列号与数组长度取模来计算得出,index=sequence % entries.length。也可以用位运算来计算效率更高,此时aray.length必须是2的幂次方, index=sequeoe&(entres.length-1)

当所有位置都放满了,再放下一个时,就会把0号位置覆盖掉。

问题: 能覆盖数据是否会导致数据丢失呢?
要覆盖数据时,会执行一个策略,Disruptor给提供多种策略,比较常用的:


1,BlockingWaistrategy策路

常见且默认的等待策略,当这个队列里满了,不执行覆盖,而是阻塞等待,使用ReenranLock+Condition实现阻塞,最节省COU,但高并发场景下性能最差。适合CPU资源紧缺,吞吐量和延迟并不重要的场景。


2,Sleepinowaitstraterv策略

会在循环中不新等待数先进行自等待如果不功,则使用Thread,veld让出CPU 并最终使用LockSuppor.parkNanos(1L)进行线程休眠,以确保不占用太多的CPU资源。因此这个策略会产生比较高的平均延时。典型的应用场景就是异步日志。

3,YeldingWaistrate策略

这个策略用于低延时的场合。消费者线程会不新循环监控缓中区变化,在循环内部使用Thread,yed0让出CPU别的线理执行时间。如果要一个高性能的系统,并且对延时比较有严格的要求,可以考虑这种策略。

4,BusySpinwaitstrategy策略

 采用死盾环,消费者线程会尽最大努力监控缓冲区的变化。对证时北常苛刻的场是使用。CPU核数以须大于消费者线理数量。推荐在线程绑定到固定的CPU的场景下使用。

Disruptor 核心概概念


RingBuffer (环形缓冲区): 基于数组的内存级别缓存,是创建sequencer(序号)与定义WaitStrategy(拒绝策略)的入口。
Disruptor (总体执行入口): 对RingBuffer的封装,持有RingBuffer、消费者线程池Executor、消费之集合ConsumerRepositorv等引用。
Sequence (序号分配器) :
对RingBufer中的元素进行序号标记,通过顺序递增的方式来管理进行交换的数据(事件EVent),一个Sequence可以跟踪标识某个事件的处理
进度,同时还能消除伪共享。
Sequencer (数据传输器) :Sequencer里面包含了Sequence,是Disruptor的核心,Seauencer有两个实现类: SingleProducerSequencer(单生产者实现)MultiProducerSeguencer(多生产者实现),Seguencer主要作用是实现生产者和消费者之间快速、正确传递数据的并发算法SequenceBarier(消费者屏): 用于控制RingBufer的Producer和Consumer之间的平衡关系,并且决定了Consumer是否还有可处理的事件的逻辑。WaitStrategy(消费者等待策略): 决定了消费者如何等待生产者将Event生产进Disruptor,WaitStrategy有多种实现策略Event: 从生产者到消费者过程中所处理的数据单元,Event由使用者自定义。
EventHandler: 由用户自定义实现,就是我们写消费者逻辑的地方,代表了Disruptor中的一个消费者的接口。
EventProcessor:这是个事件处理器接口,实现了Runnable,处理主要事件循环,处理Event,拥有消费者的Sequence 。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/843119.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C++ 的 string 是用什么编码方式储存字符串的

代码 创建一个文件,用二进制的方式将字符串写入文件中 FileStream fs("test.txt", FileMode::Create);string str("测试文本");fs.Write((uint8_t *)str.c_str(), 0, str.length());return 0;其中 FileStream 是我对 fstream 的封装。 打开文…

p7付费课程笔记6:CMS GC

目录 前言 工作步骤 缺点 问题 前言 上一章节我们讲了串/并行GC,这一章节说下CMS GC。看前思考一个问题,并行GC与CMS GC的区别在哪里。 什么是CMS收集器 CMS(Concurrent Mark-Sweep)是以牺牲吞吐量为代价来获得最短回收停顿时间的垃圾回收器。对于…

2023年8月实时获取地图边界数据方法,省市区县街道多级联动【附实时geoJson数据下载】

首先,来看下效果图 在线体验地址:https://geojson.hxkj.vip,并提供实时geoJson数据文件下载 可下载的数据包含省级geojson行政边界数据、市级geojson行政边界数据、区/县级geojson行政边界数据、省市区县街道行政编码四级联动数据&#xff0…

PHP8条件控制语句-PHP8知识详解

我们昨天说了流程控制的结构有顺序结构、选择结构和循环结构。选择结构就是条件结构。 条件控制语句就是对语句中不同条件的值进行判断,进而根据不同的条件执行不同的语句。 在本文中,学习的是if语句、if…else语句、if…elseif语句和switch语句。 1、…

配置固定二级子域名远程访问内网群晖NAS 7.X版 【内网穿透】——“cpolar内网穿透”

配置固定二级子域名远程访问内网群晖NAS 7.X版 【内网穿透】 文章目录 配置固定二级子域名远程访问内网群晖NAS 7.X版 【内网穿透】前言1. 创建一条固定数据隧道2. 找到“保留二级子域名”栏位3. 重新编辑之前建立的临时数据隧道4. 进入“在线隧道列表”页面5. 在其他浏览器访问…

【山河送书第五期】:《码上行动:利用Python与ChatGPT高效搞定Excel数据分析》参与活动,送书三本!!

《码上行动:利用Python与ChatGPT高效搞定Excel数据分析》 前言内容提要本书亮点购买链接参与方式往期赠书回顾: 前言 在过去的 5 年里,Python 已经 3 次获得 TIOBE 指数年度大奖,这得益于数据科学和人工智能领域的发展&#xff0…

【MapGIS精品教程】010:空间叠置分析案例教程

文章目录 一、叠置分析介绍(一) 什么是叠加分析(二)叠加分析的分类二、叠加分析操作一、叠置分析介绍 (一) 什么是叠加分析 叠加分析是依靠把分散在不同层上的空间属性信息按相同的空间位置加到一起,合为新的一层。该层的属性由被叠加层各自的属性组合而成,这种组合可…

迈瑞监护仪ePM系列协议解析

ePM10 ePM12 ePM10M ePM12M等数据协议解析 生理参数解析如下: 波形数据解析如下:

100G光模块的应用案例分析:电信、云计算和大数据领域

100G光模块是一种高速光模块,由于其高速率和低延迟的特性,在电信、云计算和大数据领域得到了广泛的应用。在本文中,我们将深入探讨100G光模块在这三个领域的应用案例。 一、电信领域 在电信领域,100G光模块被广泛用于构建高速通…

SSL VPN

SSL工作过程 SSL(Secure Sockets Layer,安全套接层)是一种常用的加密协议 客户端发起连接请求:客户端向服务器发送连接请求,请求建立一个安全的SSL连接。 服务器响应:服务器接收到客户端的连接请求后&…

科技云报道:财税数字化时代,财务人实现RPA自由了吗?

企业数字化转型,财务是一个重要的切入点。随着数字化业务不断展开,新的系统、流程和数据源被不断引入,财务部门面临的是不断暴增的对账、处理报表、审计等日常工作。 如此大的工作量,即使是经验丰富的资深财务,也难免…

彩色CAD怎么转为黑白PDF?这些转换技巧了解一下

怎么将彩色CAD转换成黑白PDF格式呢?CAD文件方便编辑,但是不方便阅读和查看,将其转换成黑白色的PDF文件格式,浏览起来会更加方便,此外,黑白对比度高,使得其他人在查看或分享图纸时更容易阅读&…

【暑期每日一练】 Epilogue

目录 选择题(1)解析: (2)解析: (3)解析: (4)解析: (5)解析: 编程题题一描述输入描述:输…

科幻高大上的人脸识别接口

一、人脸登录系统特征识别🍉 采用人脸识别进行登陆验证,之后可选择步态识别数据录入或者在已经录入步态数据的情况下进行步态特征识别。这样的双重验证使得门禁系统更安全。 用户进入人脸识别区域后,系统将进行目标人物的人脸特征数据识别。…

前端js--剪刀石头布

效果图 代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><linkrel"stylesheet"href"ht…

智橙全力打造智慧云端,云PDM和BOM系统强强结合

领略现代制造业的无限魅力&#xff0c;云PDM&#xff08;产品数据管理&#xff09;与BOM系统&#xff08;物料清单&#xff09;于智慧云端融汇贯通&#xff0c;一路飞跃&#xff0c;将信息快速传递达至极致。智橙带您深入了解平台功能&#xff0c;以及智橙是如何如何运用云PDM与…

扒一扒smardaten那些让人欲罢不能的服务~

最近常有新粉问睿睿&#xff0c;除了产品&#xff0c;还提供哪些服务呀&#xff1f; 官网上社区版、专业版、企业版、专有版的服务支持到底区别在哪&#xff1f; 别急&#xff0c;睿睿这就给你一一道来&#xff01; smardaten不同版本的服务内容 上上周&#xff0c;睿睿在给新…

在钡铼技术ARM嵌入式控制器上安装Node-RED的详细步骤

嵌入式ARM控制器BL301/BL302系列是工业级坚固型工业控制器&#xff0c;采用NXP的高性能处理器I.MX6ULL&#xff0c;搭配先进的ARM Cortex-A7构架&#xff0c;运行速度高达800MHz&#xff0c;具有高度的稳定性。本产品最高可提供4路RS485/RS232&#xff0c;1路CAN口&#xff0c;…

SpringBoot+Vue实现物流物流中心信息化管理系统

博主主页&#xff1a;一季春秋博主简介&#xff1a;专注Java技术领域和毕业设计项目实战、Java、微信小程序、安卓等技术开发&#xff0c;远程调试部署、代码讲解、文档指导、ppt制作等技术指导。主要内容&#xff1a;毕业设计(Java项目、小程序等)、简历模板、学习资料、面试题…

Linux系统编程(线程同步 互斥锁)

文章目录 前言一、什么是线程同步二、不使用线程同步访问共享资源可能出现的问题三、互斥锁概念四、互斥锁使用1.初始化线程锁的方式2.使用代码 五、死锁的产生和解决方法1.什么是死锁2.为什么会产生死锁3.怎么解决死锁问题 总结 前言 本篇文章带大家学习线程的同步。 一、什…