适用场景全新升级！扩展 Dragonfly2 作为分布式缓存系统架构 | 龙蜥技术

news2025/1/20 18:21:54

文/龙蜥社区开发者

Dragonfly2 简介

Dragonfly 作为龙蜥社区的镜像加速标准解决方案，是一款基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率，最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。

现阶段 Dragonfly 基于 Dragonfly1.x 演进而来，在保持 Dragonfly1.x 原有核心能力的基础上，Dragonfly 在系统架构设计、产品能力、使用场景等几大方向上进行了全面升级。

Dragonfly 架构主要分为三部分 Manager、Scheduler、Seed Peer 以及 Peer 各司其职组成 P2P 下载网络，Dfdaemon 可以作为 Seed Peer 和 Peer。详细内容可以参考架构文档，下面是各模块功能：

  • Manager：维护各 P2P 集群的关联关系、动态配置管理、用户态以及权限管理等功能。也包含了前端控制台，方便用户进行可视化操作集群。

  • Scheduler：为下载节点选择最优下载父节点。异常情况控制 Dfdaemon 回源。

  • Seed Peer：Dfdaemon 开启 Seed Peer 模式可以作为 P2P 集群中回源下载节点, 也就是整个集群中下载的根节点。

  • Peer：通过 Dfdaemon 部署，基于 C/S 架构提供 dfget 命令行下载工具，以及 dfget daemon 运行守护进程，提供任务下载能力。

 

更多详细信息可以参考 Dragonfly 官网。

问题背景

虽然 Dragonfly 的定位是一个基于 P2P 的文件分发系统，但是分发的文件必须是能够从网络上下载的文件，无论是 rpm 包还是容器镜像内容，最终都是有一个地址源的，用户可以通过 dfget 命令向 dfdaemon 发起下载请求，然后 Dragonfly P2P 系统负责下载，如果数据不在其他 Peer 上，那么 Peer 或者 SeedPeer 自己会回源，直接从源下载数据，然后返回给用户。

但是有些场景我们需要分发的数据是某个节点上生成的，不存在一个远端的源地址，这个时候 Dragonfly 就无法分发这种数据了。所以我们希望 Dragonfly 能够增加对这种场景的支持，其实相当于把 Dragonfly 当作了一个分布式的基于 P2P 的缓存和任意数据分发系统。

扩展 Dragonfly2

所以我们设想中的 Dragonfly 缓存系统架构是这样的：

 

  • 每个计算节点上（比如神龙）部署一个 dfdaemon，作为一个 peer 加入 P2P 网络。

  • 接受来自本节点的请求

  • 为其他 peer 提供上传服务

  • 每个 peer 只负责管理自己本地的 cache 数据，不负责回源，回源由业务进程负责

  • 每个集群可以部署一个到多个基于 ECS 的 scheduler 节点。

  • 记录文件 P2P 网络的文件信息

  • 下载调度

  • 多 scheduler 节点解决单点故障问题

  • 每个 cache 系统中的文件都会通过 ringhash 映射到某个 scheduler 上

  • 一个或者多个 Manager 作为集群管理者。

  • 负责向 scheduler 和 peer 节点发送动态配置

  • 收集 metrics 等信息

接口设计

dfdaemon 接口

原来的 daemon 接口：

pkg/rpc/dfdaemon/dfdaemon.proto

// Daemon Client RPC Service
service Daemon{
  // Trigger client to download file
  rpc Download(DownRequest) returns(stream DownResult);
  // Get piece tasks from other peers
  rpc GetPieceTasks(base.PieceTaskRequest)returns(base.PiecePacket);
  // Check daemon health
  rpc CheckHealth(google.protobuf.Empty)returns(google.protobuf.Empty);
}

新增 4 个接口：

service Daemon { 
// Check if given task exists in P2P cache system
rpc StatTask(StatTaskRequest) returns(google.protobuf.Empty);
// Import the given file into P2P cache system
rpc ImportTask(ImportTaskRequest) returns(google.protobuf.Empty);
// Export or download file from P2P cache system
rpc ExportTask(ExportTaskRequest) returns(google.protobuf.Empty);
// Delete file from P2P cache system
rpc DeleteTask(DeleteTaskRequest) returns(google.protobuf.Empty);
}

scheduler 接口

原来的 scheduler 接口：

// Scheduler System RPC Service
service Scheduler{
// RegisterPeerTask registers a peer into one task.
rpc RegisterPeerTask(PeerTaskRequest)returns(RegisterResult);

// ReportPieceResult reports piece results and receives peer packets.
// when migrating to another scheduler,
// it will send the last piece result to the new scheduler.
rpc ReportPieceResult(stream PieceResult)returns(stream PeerPacket);

// ReportPeerResult reports downloading result for the peer task.
rpc ReportPeerResult(PeerResult)returns(google.protobuf.Empty);

// LeaveTask makes the peer leaving from scheduling overlay for the task.
rpc LeaveTask(PeerTarget)returns(google.protobuf.Empty);
}

新增 2 个接口，下载复用之前的 RegisterPeerTask()接口，删除复用之前的LeaveTask() 接口：

// Scheduler System RPC Service
service Scheduler{
// Checks if any peer has the given task
rpc StatTask(StatTaskRequest)returns(Task);
// A peer announces that it has the announced task to other peers
rpc AnnounceTask(AnnounceTaskRequest) returns(google.protobuf.Empty);
}

接口请求时序图

StatTask

ImportTask

ExportTask

 

DeleteTask

代码实现

目前代码已经合并，可以在 Dragonfly v2.0.3 版本中使用。

upstream PR：https://github.com/dragonflyoss/Dragonfly2/pull/1227

使用方法

除了增加新的接口之外，我们还增加了一个叫 dfcache 的命令，用于测试，使用方法如下：

- add a file into cache system
dfcache import --cid sha256:xxxxxx --tag testtag /path/to/file

- check if a file exists in cache system
dfcache stat --cid testid --local # only check local cache
dfcache stat --cid testid # check other peers as well

- export/download a file from cache system
dfcache export --cid testid -O /path/to/output

- delete a file from cache system, both local cache and P2P network
dfcache delete -i testid -t testtag

测试及效果

测试方法

通过新增的 dfcache 命令，在一个节点上向 P2P cache 系统中添加不同大小的文件，然后在另外一个节点上针对这个文件做查询、下载、删除等操作。例如：

# dd if=/dev/urandom of=testfile bs=1M count =1024
# dfcache stat -i testid # 检查一个不存在的文件
# dfcache import -i testid testfile

# on another node
# dfcache stat -i testid
# dfcache export -i testid testfile.export

测试效果

两台 ecs，网络走 vpc，带宽 3.45 Gbits/s (约 440MiB/s)：

下载的 ecs 磁盘带宽 180MiB/s 左右：

相关阅读链接可移步龙蜥公众号（OpenAnolis龙蜥）2022年11月25日相同推送查看。

 

—— 完 ——

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/43947.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

1538_AURIX_TriCore内核架构_地址映射以及存储配置

1538_AURIX_TriCore内核架构_地址映射以及存储配置

全部学习汇总： GreyZhang/g_tricore_architecture: some learning note about tricore architecture. (github.com) 继续看TriCore的内核手册，这一次看一下地址映射以及存储配置。我大概顺了一遍之后，感觉这部分还是很简单的。而看完这部分&a…
阅读更多...
Java使用DOM简单解析XML文件

Java使用DOM简单解析XML文件

Java使用DOM简单解析XML文件前言本文目标目标结果演示示例文件信息测试结果解析XML文件相关的Java类DocumentBuilderFactoryDocumentBuilderDocumentNodeListNode简单流程分析练练手NodeList及Node的部分结构分析关于#Text工具类测试测试代码及说明输出结果小结前言 对于某些需…
阅读更多...
Python写了个疫情信息快速查看工具

Python写了个疫情信息快速查看工具

年关将至，大家对疫情的关注度也愈发提升，本次使用PyQt5撰写100行代码写一个疫情信息快速查看工具。 一．准备工作 1.PyQt5 PyQt 是一个用于创建GUI应用程序的跨平台的工具包，它将Python编程语言和Qt库 成功融合在一起。QT库目前…
阅读更多...
实验二-----数据库

实验二-----数据库

一、实验目的 1.掌握SQL Server Management Studio中以SQL 命令方式和以向导方式操作表和数据的操作； 2.掌握SQL 的数据定义命令，包括：定义表、删除表和修改表； 3.掌握SQL 的数据更新命令，包括：插入数据、…
阅读更多...
JavaScript基础语法（数据类型）

JavaScript基础语法（数据类型）

JavaScript基础语法（数据类型） 数据类型 简介： JavaScript 中提供了两类数据类型：原始类型 和 引用类型。 使用 typeof 运算符可以获取数据类型 alert(typeof age); 以弹框的形式将 age 变量的数据类型输出 原始数据类型 numbe…
阅读更多...
数据结构：JAVA 栈和队列

数据结构：JAVA 栈和队列

目录 栈 实现一个MyStack 1. push 2.pop 3.empty 4.peek 栈和链表的结合 括号匹配 栈的压入、弹出序列 最小栈 MinStack push ​编辑 pop top getMin 概念区分及思考： 队列 offer（入队列） poll（出队列&#xff0…
阅读更多...
Framework ——setContentView源码解读

Framework ——setContentView源码解读

前言 对于Android的开发者来说，setContentView大家再熟悉不过了，在我们的Activity中首先就是要用它加载我们的布局，但是应该有一部分人是不知道加载布局的原理，也包括我，今天就从源码的角度分析setContentView加载布局…
阅读更多...
Java项目：JSP的电影院售票系统(含论文、任务书、中期检查表)

Java项目：JSP的电影院售票系统(含论文、任务书、中期检查表)

作者主页：源码空间站2022 简介：Java领域优质创作者、Java项目、学习资料、技术互助 文末获取源码 项目介绍 这个项目是一个基于ServletJSP的电影院售票系统，分为管理员和会员两种角色。 管理员权限包括： 修改登录密码 电影类别管…
阅读更多...
上海亚商投顾：沪指探底回升跌0.75% 旅游板块集体大涨

上海亚商投顾：沪指探底回升跌0.75% 旅游板块集体大涨

上海亚商投顾前言：无惧大盘大跌，解密龙虎榜资金，跟踪一线游资和机构资金动向，识别短期热点和强势个股。 市场情绪三大指数早间低开，盘初一度集体跌超2%，随后震荡回升，午后跌幅进一步收窄。旅游板…
阅读更多...
宝宝多大可以吃坚果 注意这几个时间节点

宝宝多大可以吃坚果 注意这几个时间节点

近年来，坚果的营养价值引起了公众的广泛关注。节日期间，许多家庭喜欢买坚果来招待客人。与其他油炸相比，.蜜饯零食，坚果真的更健康。但是，对于家里的宝宝来说，适合吃坚果吗？多大的宝宝能吃坚果&…
阅读更多...
xss-labs/level-2

xss-labs/level-2

这一关我们先查看源代码吧 然后我们可以看得出来 输入点test存在三处输出点 依次是h2标签之间、value属性值处以及h3标签之间的长度 我们可以先尝试一下上一关输入的payload(<script>alert("xss")</script>) 界面回显如下所示 去看看源代码吧 第一处…
阅读更多...
五、vue组件与props自定义属性

五、vue组件与props自定义属性

一、vue组件 1.1、什么是组件化开发 组件化开发指的是&#xff1a;根据封装的思想&#xff0c;把页面上可重用的UI结构封装为组件&#xff0c;从而方便项目的开发和维护。 1.2、vue中的组件化开发 vue是一个支持组件化开发的前端框架。 vue中规定&#xff1a;组件的后缀名是…
阅读更多...
JavaWeb----Ajax技术

JavaWeb----Ajax技术

目录 Ajax技术详解 Ajax简介 Ajax 的使用 Ajax 的运行原理 XMLHttpRequest 对象 Ajax 的使用步骤 Ajax请求 ​编辑 Get/Post请求 JSON详解 JSON简介 为什么要使用 JSON JSON 格式的特征 JSON的语法规则 JOSN的数据类型 JACKSON 的使用 Jackson 简介 在项目中引入…
阅读更多...
Scala011--Scala中的常用集合函数及操作Ⅱ

Scala011--Scala中的常用集合函数及操作Ⅱ

在上一篇文章中我已经接触并认识了几个常用的集合函数&#xff1a;foreach,sorted,sortBy,sortWith,flatten,map,flatMap。 接下来在这一篇文章中我将继续学习剩下的几个集合函数。 目录 一&#xff0c;filter函数 ​编辑 练习题1&#xff1a;如何过滤出大于2的奇数&#…
阅读更多...
PyCharm+PyQT5之二第一个QT程序

PyCharm+PyQT5之二第一个QT程序

Tools菜单或者右键打开external tools的 QTdesigner,如下图&#xff0c;在PyQt5中最常用的窗口有三种&#xff0c;即Main Window Widget Dialog&#xff0c; Main Window 也就是主窗口&#xff0c;他要为用户提供一个带有菜单栏、工具栏和状态栏的窗口。 Widget:通用窗口&#…
阅读更多...
零基础入门金融风控之贷款违约预测挑战赛——简单实现

零基础入门金融风控之贷款违约预测挑战赛——简单实现

零基础入门金融风控之贷款违约预测挑战赛 赛题理解 赛题以金融风控中的个人信贷为背景&#xff0c;要求选手根据贷款申请人的数据信息预测其是否有违约的可能&#xff0c;以此判断是否通过此项贷款&#xff0c;这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中…
阅读更多...
Linux中less和more的区别

Linux中less和more的区别

总结下more和less的区别(less is more)&#xff1a; 1、less可以按键盘上下方向键显示上下文内容&#xff0c;more不能通过上下方向键控制显示&#xff08;但是可以用b实现向上翻页&#xff0c;空格键实现向下翻页&#xff09; 2、less不必读整个文件&#xff0c;加载速度会比…
阅读更多...
数码视讯Q5、Q7_晶晨S905L/M/M2_nandemmc通刷_完美精简线刷固件

数码视讯Q5、Q7_晶晨S905L/M/M2_nandemmc通刷_完美精简线刷固件

数码视讯Q5、Q7_晶晨S905L/M/M2_nand&emmc通刷_完美精简线刷固件 固件特点&#xff1a; 1、修改dns&#xff0c;三网通用&#xff1b; 2、开放原厂固件屏蔽的市场安装和u盘安装apk&#xff1b; 3、无开机广告&#xff0c;无系统更新&#xff0c;不在被强制升级&#xf…
阅读更多...
一道有趣的最长子序列问题

一道有趣的最长子序列问题

一道有趣的最长子序列问题 – 潘登同学的金融经济学笔记 文章目录一道有趣的最长子序列问题 -- 潘登同学的金融经济学笔记来源求解递推公式算法实现来源 前几天在刷视频的时候&#xff0c;发现了这样一道题 所谓子序列就是一个序列 ai1,ai2,⋯,aina_{i1},a_{i2},\cdots,a_{in}…
阅读更多...
【5w字】SpringBoot源码分析

【5w字】SpringBoot源码分析

Spring Boot源码分析 文章目录Spring Boot源码分析启动类分析SpringBootConfigurationEnableAutoConfigurationComponentScanSpringBoot启动流程1. 准备SpringApplication获取当前 web 应用类型设置初始化器设置监听器推导主应用程序类2. Spring Boot的运行创建计时器并启动设置…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023