DOCA介绍

news2025/4/23 6:27:03

本文分为两个部分:

  1. DOCA及BlueField介绍
  2. 如何运行DOCA应用,这里以DNS_Filter为例子做大致介绍。

DOCA及BlueField介绍:

现代企业数据中心是软件定义的、完全可编程的基础设施,旨在服务于跨云、核心和边缘环境的高度分布式应用工作负载。尽管软件定义的数据中心提供了类似云的灵活性和敏捷性,但它们往往会消耗大量的CPU资源,进而降低服务器和数据中心的整体效率。通过利用DPU(Data Processing Uint)和DOCA(Data Center Infrastructure on a Chip Architecture),可以实现硬件加速的软件定义基础设施,从而显著提升数据中心的性能和灵活性。

DPU被定义为一种可编程的网络系统级芯片(SoC),它集成了从网络端口到PCI Express(PCIe)接口的所有主要功能。NVIDIA于2020年进入DPU市场,并推出了BlueField系列产品。已发布的BlueField-2能够作为智能网卡和存储控制器使用,支持高达200Gbps的以太网端口和高带宽的PCIe接口。BlueField-3于2022年上市,而更强大的BlueField-4预计将在2024年推出。    

图1

不同于传统的服务器处理器,DPU(Data Processing Uint)专为网络数据包处理而设计。尽管其架构有所不同,但大多数DPU都包含一个可编程的数据平面,以及用于控制平面和应用代码的CPU核心。与使用CPU核心相比,DPU的专用数据路径不仅更高效,而且性能显著提升。

如图所示,BlueField架构本质上将网卡子系统(基于ConnectX)与可编程数据路径、用于加密、压缩和正则表达式的硬件加速器,以及用于控制平面的Arm控制器融为一体。在BlueField-3中,包含16个核心的可编程包处理器能够处理多达256个线程,实现了在Arm核心上零负载的数据路径处理。在许多应用中,数据路径可以自主处理已知的网络流量,而Arm核心则负责处理新流量等异常情况及控制平面功能。

图2

尽管DPU具备显著的优势,但由于需要用户编写底层代码,其早期应用仅限于少数用户群体。为了解决这一限制,并推动独立软件供应商(ISV)、服务提供商和学术界更广泛地采用DPU,NVIDIA开发了DOCA(Data Center On A Chip Architecture)。

DOCA是一个由库文件、运行时组件和服务组成的框架,构建在一套经过验证的驱动程序之上。其中一些库与开源项目相关,而另一些则是NVIDIA独有的。正如CUDA为GPU编程提供了抽象化一样,DOCA为DPU编程提供了更高级别的抽象化。

图3

如上图所示,DOCA软件栈包括驱动程序、库、服务代理和参考应用。NVIDIA 提供的软件栈包含两部分内容,一部分是面向开发者的 DOCA SDK,另一部分是用于实现开箱即用部署的 DOCA Runtime 软件。

从软件栈上层看,流量网关库能够实现一个建立在数据路径 SFT 上的硬件加速网关,为过滤和分发网络流量的网关应用提供了更高级别的抽象化。在存储方面,DOCA 支持用户态库开源 SPDK。在 HPC 和 AI 方面,DOCA 初期加入了作为运行时组件的统一集合通信(UCC)库,在未来版本中还将加入 SDK 支持。

DOCA应用体验:

DNS过滤应用程序被设计为在BlueField-2 DPU实例上运行。DPU拦截来自网络的流量(入站流量),并根据流量分类来决定是将其传递给Arm处理器(根据列表类型过滤接收到的数据包),还是通过发夹转发到出口端口,整个系统设计如图4所示。

图4

DNS过滤器运行在DOCA Flow之上,用于对DNS请求进行分类。然后,它利用硬件正则表达式引擎,根据域名列表规则(编译后的正则表达式)查找匹配项。

5

以下是DNS过滤应用程序的工作流程:

  1. 用户将正则表达式列表规则文件编译成rof2.binary文件。
  2. 正则表达式二进制规则文件被加载到正则表达式引擎中。
  3. 通过管道识别入站数据包类型,这些管道封装了流规则匹配模式和动作。
  4. DNS过滤应用程序为每个端口构建三个管道:DNS丢弃管道、DNS转发管道和发夹管道。除了丢弃管道外,每个管道只包含一个条目。丢弃管道在运行时包含许多条目,每个条目代表一个被丢弃的数据包。在应用程序初始化和配置之后,接受任何流量之前,管道是空的。
  5. 丢弃管道匹配已经被阻止的DNS数据包以丢弃它们。发夹管道匹配每个数据包(无遗漏)。丢弃管道作为根管道,DNS转发管道作为丢弃管道的转发未命中组件,发夹管道作为DNS转发管道的转发未命中组件。

操作流程:

1.解析应用程序参数。

doca_argp_init();

a).初始化arg解析器资源。

b).注册DOCA通用旗帜。

Register_dns_filter_params();

c).注册DNS过滤器应用程序标志。

doca_argp_start();

d).解析DPDK标志并调用rte_eal_init()函数。

e)解析应用程序标记。

2.DPDK初始化。

dpdk_init();

a).初始化DPDK端口,包括mempool分配。

b).如果需要,可以初始化发夹队列。

c).将每个端口的发夹队列绑定到其对等端口。

3.DNS过滤器初始化。

dns_filter_init();

a).DOCA流量和DOCA流量端口初始化。

b).为两个端口创建发夹管道。该管道包括一个与每种类型的数据包匹配的条目(无遗漏), 并通过发夹将其转发到出口端口。

c).为两个端口创建DNS转发管道。构建的管道有一个条目用于匹配DNS流量并将其   转发到Arm。此外,如果DNS条目不匹配(例如,对于每个非DNS包,包将被转发), 则使用hairpin管道进行转发。

d).创建掉包管道,作为两个端口的根管道。开始时,管道是空的。但随着应用程序的 运行,它会添加掉包的条目。此外,DNS转发管道用于转发,如果掉包管道条目不匹 配。

e).DOCA RegEx初始化。

f).用已编译的规则文件配置RegEx。

4.处理和过滤DNS包。

dns_worker_lcores_run()

a).Arm上接收到的所有数据包都是DNS数据包,而非DNS数    据包则通过使用允许  过滤DNS数据包的发夹转发到出口端口。

b).提取您所查询的DNS。

c).将DNS查询作为作业发送到RegEx引擎:

d).根据RegEx响应筛选DNS包。

e).如果需要,可通过向DNS删除管道添加条目来阻止数据包。

5.DNS过滤器被销毁。

dns filter destroy();

a).释放所有分配的资源。

b).释放提供所有DOCA RegEx资源。

6.Arg解析器销毁。

doca_argp_destroy()

a).释放DPDK资源。

具体步骤:DNS过滤器示例二进制文件位置/opt/mellanox/doca/applications/ dns_filter/bin/doca_dns_filter,

构建所有应用程序:

打开终端并导航到应用程序目录:

cd /opt/mellanox/doca/applications/

使用Meson构建系统进行配置:

meson build

使用Ninja构建所有应用程序:

ninja -C build

如果仅构建DNS过滤器应用程序:

编辑构建选项:/opt/mellanox/doca/applications/meson_option.txt。

将 enable_all_applications 设置为 false。

将 enable_dns_filter 设置为 true。

运行与步骤2相同的命令来配置和构建:

meson build

ninja -C build

注意:

构建成功后,doca_dns_filter二进制文件将创建在./build/dns_filter/src/目录下。

应用实例:

这里使用文本文件指定列表来添加url,并创建签名数据库将其添加到dpi引擎,使用dpdk库中的状态表模块可以识别分类入口数据流量。

6

7

现在让我们将此数据包从对端服务器发送到 DPU

8

我们可以看到,DPU 已将数据包识别为匹配签名ID 1

9

当尝试访问被阻止的 URL时,将会被识别和过滤流量,随后的数据包将被丢弃。主机完全不知道该过程并于此过程隔离。

10

总结一下DNS过滤器应用程序的包处理流程:

  1. 每个接收到的数据包首先与丢弃管道进行匹配检查。如果匹配成功,则数据包被丢弃。
  2. 如果在丢弃管道中没有匹配(未命中),则数据包会被检查与DNS转发管道进行匹配。如果在DNS转发管道中匹配成功,数据包将被转发到处理器。
  3. 如果在DNS转发管道中仍然没有匹配(再次未命中),数据包将被转发到发夹管道进行匹配处理。

这种处理流程确保了数据包根据预定义的规则进行分类和处理,优化了DNS流量的管理和安全性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2340564.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

# 利用迁移学习优化食物分类模型:基于ResNet18的实践

利用迁移学习优化食物分类模型:基于ResNet18的实践 在深度学习的众多应用中,图像分类一直是一个热门且具有挑战性的领域。随着研究的深入,我们发现利用预训练模型进行迁移学习是一种非常有效的策略,可以显著提高模型的性能&#…

洗车小程序系统前端uniapp 后台thinkphp

洗车小程序系统 前端uniapp 后台thinkphp 支持多门店 分销 在线预约 套餐卡等

HCIP(综合实验2)

1.实验拓补图 2.实验要求 1.根据提供材料划分VLAN以及IP地址,PC1/PC2属于生产一部员工划分VLAN10,PC3属于生产二部划分VLAN20 2.HJ-1HJ-2交换机需要配置链路聚合以保证业务数据访问的高带宽需求 3.VLAN的放通遵循最小VLAN透传原则 4.配置MSTP生成树解决二层环路问题…

Linux mmp文件映射补充(自用)

addr一般为NULL由OS指明,length所需长度(4kb对齐),prot(权限,一般O_RDWR以读写), flag(MAP_SHARED(不刷新到磁盘上,此进程独有)和MAP_PRIVATE(刷新…

单元测试学习笔记(一)

自动化测试 通过测试工具/编程模拟手动测试步骤,全自动半自动执行测试用例,对比预期输出和实际输出,记录并统计测试结果,减少重复的工作量。 单元测试 针对最小的单元测试,Java中就是一个一个的方法就是一个一个的单…

【深度学习新浪潮】新视角生成的研究进展调研报告(2025年4月)

新视角生成(Novel View Synthesis)是计算机视觉与图形学领域的核心技术,旨在从单张或稀疏图像中生成任意视角的高保真图像,突破传统多视角数据的限制,实现对三维场景的自由探索。作为计算机视觉与图形学的交叉领域,近新视角生成年来在算法创新、应用落地和工具生态上均取…

OpenHarmony OS 5.0与Android 13显示框架对比

1. 架构概述 1.1 OpenHarmony OS 5.0架构 OpenHarmony OS 5.0采用分层架构设计,图形显示系统从底层到顶层包括: 应用层:ArkUI应用和第三方应用框架层:ArkUI框架、窗口管理API系统服务层:图形合成服务、窗口管理服务…

[Java] 泛型

目录 1、初识泛型 1.1、泛型类的使用 1.2、泛型如何编译的 2、泛型的上界 3、通配符 4、通配符上界 5、通配符下界 1、初识泛型 泛型:就是将类型进行了传递。从代码上讲,就是对类型实现了参数化。 泛型的主要目的:就是指定当前的容器…

Spark–steaming

实验项目: 找出所有有效数据,要求电话号码为11位,但只要列中没有空值就算有效数据。 按地址分类,输出条数最多的前20个地址及其数据。 代码讲解: 导包和声明对象,设置Spark配置对象和SparkContext对象。 使用Spark S…

深度学习训练中的显存溢出问题分析与优化:以UNet图像去噪为例

最近在训练一个基于 Tiny-UNet 的图像去噪模型时,我遇到了经典但棘手的错误: RuntimeError: CUDA out of memory。本文记录了我如何从复现、分析,到逐步优化并成功解决该问题的全过程,希望对深度学习开发者有所借鉴。 训练数据&am…

如何修复WordPress中“您所关注的链接已过期”的错误

几乎每个管理WordPress网站的人都可能遇到过“您关注的链接已过期”的错误,尤其是在上传插件或者主题的时候。本文将详细解释该错误出现的原因以及如何修复,帮助您更好地管理WordPress网站。 为什么会出现“您关注的链接已过期”的错误 为了防止资源被滥…

从零开始搭建Django博客①--正式开始前的准备工作

本文主要在Ubuntu环境上搭建,为便于研究理解,采用SSH连接在虚拟机里的ubuntu-24.04.2-desktop系统搭建的可视化桌面,涉及一些文件操作部分便于通过桌面化进行理解,最后的目标是在本地搭建好系统后,迁移至云服务器并通过…

健身房管理系统(springboot+ssm+vue+mysql)含运行文档

健身房管理系统(springbootssmvuemysql)含运行文档 健身房管理系统是一个全面的解决方案,旨在帮助健身房高效管理其运营。系统提供多种功能模块,包括会员管理、员工管理、会员卡管理、教练信息管理、解聘管理、健身项目管理、指导项目管理、健身器材管理…

Java从入门到“放弃”(精通)之旅——继承与多态⑧

Java从入门到“放弃”(精通)之旅🚀——继承与多态⑧ 一、继承:代码复用的利器 1.1 为什么需要继承? 想象一下我们要描述狗和猫这两种动物。如果不使用继承,代码可能会是这样: // Dog.java pu…

DeepSeek开源引爆AI Agent革命:应用生态迎来“安卓时刻”

开源低成本:AI应用开发进入“全民时代” 2025年初,中国AI领域迎来里程碑事件——DeepSeek开源模型的横空出世,迅速在全球开发者社区掀起热潮。其R1和V3模型以超低API成本(仅为GPT-4o的2%-10%)和本地化部署能力&#x…

使用 LangChain + Higress + Elasticsearch 构建 RAG 应用

RAG(Retrieval Augmented Generation,检索增强生成) 是一种结合了信息检索与生成式大语言模型(LLM)的技术。它的核心思想是:在生成模型输出内容之前,先从外部知识库或数据源中检索相关信息&…

Self-Ask:LLM Agent架构的思考模式 | 智能体推理框架与工具调用实践

作为程序员,我们习惯将复杂问题分解为可管理的子任务,这正是递归和分治算法的核心思想。那么,如何让AI模型也具备这种结构化思考能力?本文深入剖析Self-Ask推理模式的工作原理、实现方法与最佳实践,帮助你构建具有清晰…

安装 vmtools

第2章 安装 vmtools 1.安装 vmtools 的准备工作 1)现在查看是否安装了 gcc ​ 查看是否安装gcc 打开终端 输入 gcc - v 安装 gcc 链接:https://blog.csdn.net/qq_45316173/article/details/122018354?ops_request_misc&request_id&biz_id10…

【论文阅读20】-CNN-Attention-BiGRU-滑坡预测(2025-03)

这篇论文主要探讨了基于深度学习的滑坡位移预测模型,结合了MT-InSAR(多时相合成孔径雷达干涉测量)观测数据,提出了一种具有可解释性的滑坡位移预测方法。 [1] Zhou C, Ye M, Xia Z, et al. An interpretable attention-based deep…

滑动窗口学习

2090. 半径为 k 的子数组平均值 题目 问题分析 给定一个数组 nums 和一个整数 k,需要构建一个新的数组 avgs,其中 avgs[i] 表示以 nums[i] 为中心且半径为 k 的子数组的平均值。如果在 i 前或后不足 k 个元素,则 avgs[i] 的值为 -1。 思路…