基于PCAP搭建软HUB实现物联网在线调试

news2024/11/17 12:37:02

完整工程可从以下地址签出:

https://gitcode.net/coloreaglestdio/pcaphub.git

1.需求场景

在调试嵌入式物联设备时,尤其是在多个以太网物联设备交错通信的情况下,很难通过在捉襟见肘的嵌入式系统上进行数据记录与调试。如果设备连接的是一般的消费交换机,以及工业的架上交换机(一般位于车间的集控箱内),把调试笔记本插到空闲端口,是无法看到其他端口上设备的大部分数据的。这是因为交换机为了带宽和效率,会“记住”哪些MAC地址出现在哪些端口上,从而自动按照目的地址实现了点对点交换。也就是说,插在空闲口上的PC只能看到一些广播消息,大部分的UDP和TCP包是看不到的。

在古老的年代,有一种设备叫做集线器(Hub)。Hub是一种广播式的线路组合设备,可以达到这个要求。但由于所有端口共享一个带宽,导致通信效率很差,现在已经买不到了。当代通常在交换机上进行包测试,用的是镜像端口。如果恰好没有这种工业交换机,或者需要很多的镜像端口,又该如何调试呢?针对这种调试需求,可以使用PCAP,把一台插有多个以太网端口的PC变成Hub,观察所有接口上的数据流。

GUI

2.功能与原理

本软件主要功能如下:

  1. 支持以太网类型(10,100,1000M)接口。
  2. 灵活选取多个接口参与构建集线器。
  3. 可以为每个接口指定Filter条件。
  4. 双通道性能:>=100Mbps。

通过上述功能,就能够组成一个交换网络。

(1) 基本原理

本软件运行在调试工作站上,进程为“pcapHub”。调试的常见场景如下图所示:

yuanli
当进行调试时,把待调试的工业设备从工业交换机断开,并临时接入在调试工作站的网卡上。同时,也可以接驳一些便携机(如果工作站没有显示器)。为了保持与原有工业网络的联通,还需要引一路线缆,把调试工作站和工业交换机连接起来。

经过上述连接,调试工作站和便携机上就能看到待调试工业设备的所有通信。调试工作站PC上的两个关键数据结构是实时队列和窗口知识。这两个结构保证了低延迟(1毫秒)、不重复(防止反复抓取冗余数据造成流量风暴)。

(2) 实时队列

本软件的实时队列是一个环形的预分配队列,一行一个pcap包,超过最大长度后绕回。队列每行一个tag_packages数据结构:

	struct tag_packages{
		int from_id;
		int len;
		QByteArray data;
	};

QVector<tag_packages> global_buffer;
QAtomicInteger<quint64> pcap_recv_pos;

data 虽然为 QByteArray,但实际已经被预分配空间。因此,global_buffer 是一个静态的内存资源。主要的工作特点:

  1. 参与软集线器的网口,被分配了ID,以便维护和区分。from_id就是网口的ID,表明这个包的来源MAC设备连接在编号为from_id的网口上
  2. 全局只有1个队列,存储着实时的网络数据。队列长度为 PCAPIO_BUFCNT(65536),每个队列中最大的数据长度为PCAPIO_MAXPACK(10000)字节。
  3. 全局只有1个入队(写)游标(pcap_recv_pos),所有的网口获取的数据,都会写入同一个队列。
  4. 各个网口在抓取时,会判断来源MAC是不是关联在本网口。关联在本网口上的来源MAC才会入队
  5. 每个网口有1个读游标,不停地追赶写游标。在读取队列时,只有别的网口的来源MAC才会进行pcap_sendpack。
  6. 各个读、写都工作在独立的线程。

上述步骤,可以确保高效的进行数据流转。

(3)窗口知识

窗口知识记录着每个MAC地址连着哪个网口,是一个动态字典。其最外层数据结构是一个QMap,变量名称pcap_ports。Key是MAC地址(64位整形),Value是tag_portAssign结构。

	struct tag_portAssign{
		int curr_id;
		quint64 mac;
		QString portName;
		QDateTime dtmLastAck;
	};
    static  QMap<quint64,tag_portAssign> pcap_ports;
	static  QMutex mtx_ports;

这个结构有个显著的特点,就是标记了来源MAC最后一次活跃的时刻。如果此时刻很旧(超过5秒),那么来源MAC对应的设备就可能已经移除了。下一次这个来源MAC出现在别的网口时,该网口的入队逻辑就能够更新来源MAC的绑定关系到本网口。

具体说,在抓取包时,一个网卡抓获一个包,并得到一个来源MAC,遵循下面的伪代码规则来对待这个包,以避免重复抓取到刚刚写入的内容。

网口N 捕获新包,得到来源MAC
若:字典pcap_ports内查不到来源MAC
	(说明来源MAC就连接在本网口上,它第一次出现)
    在字典中添加新的MAC知识;
    入队,更新pcap_recv_pos;
否则:
	若:pcap_ports[来源MAC].curr_id==本网口ID
    	入队,更新pcap_recv_pos;
        pcap_ports[来源MAC].dtmLastAck=NOW();
    否则:
    	若 pcap_ports[来源MAC].dtmLastAck 比现在时间早5秒以上
        	(说明当前字典知识是老的,可能网线拔了,换了网口)
            pcap_ports[来源MAC].curr_id=本网口ID;
            pcap_ports[来源MAC].portName=本网口名字;
            pcap_ports[来源MAC].dtmLastAck=NOW();
        判断结束;
    判断结束;
判断结束

在处理队列准备向本网卡推送包时,仅推送 tag_packages.from_id != 本网口ID 的包。

(4)并行读写

  • 各个网口对应了自己的1个抓取线程、1个写入线程。
  • 总的业务线程个数为参与网口x2
  • 对字典的访问是有互斥的。
  • 队列追赶使用的是atomic整形。

在启动交换时,分别为各个端口创建线程:

	for (int i=0;i<ethers;++i)
		{
			cap_thread * recv = new cap_thread(this);
			recv->setRunner(std::bind(
								recv_loop,strName,id));

			cap_thread * send = new cap_thread(this);
			send->setRunner(std::bind(
								send_loop,strName,id));
			++id;
		}

在线程内部,进行全局的队列读写:

	//2. Run Cap Thread on interface.
	void recv_loop(QString itstr, int id)
	{
		while (!pcap_stop)
		{
			pcap_t *handle = NULL;
			char errbuf[PCAP_ERRBUF_SIZE];
			handle = pcap_open_live(itstr, 65535, 1, 10, errbuf);

			const u_char *packet;
			struct pcap_pkthdr header;
			while (!pcap_stop)
			{
				packet = pcap_next(handle, &header);
				if(packet)
				{
					//Src MAC
					quint64 mac_src = 0;
					memcpy_s(&mac_src,8,packet+6,6);
					bool MyPack = false;
					QDateTime dtm = QDateTime::currentDateTime();
					mtx_ports.lock();
					const bool newClientMac = pcap_ports.contains(mac_src);
					if (!newClientMac)
					{
						tag_portAssign & newmac = pcap_ports[mac_src];
						newmac.mac = mac_src;
						newmac.curr_id = id;
						newmac.dtmLastAck = dtm;
						MyPack = true;
					}
					else
					{
						tag_portAssign & curport = pcap_ports[mac_src];
						if (curport.curr_id==id)
						{
							curport.dtmLastAck = dtm;
							MyPack = true;
						}
						else if	(pcap_ports[mac_src].dtmLastAck.msecsTo(dtm) >5000 )
						{
							curport.curr_id = id;
							curport.dtmLastAck = dtm;
							MyPack = true;
						}
					}
					mtx_ports.unlock();
					//Only Enqueue packs for etheraddrs connected to this port id.
					if (MyPack)
					{
						quint64 pos = pcap_recv_pos++;
						global_buffer[pos % PCAPIO_BUFCNT].from_id = id;
						global_buffer[pos % PCAPIO_BUFCNT].len = header.len;
						memcpy_s(
								global_buffer[pos % PCAPIO_BUFCNT].data.data(),PCAPIO_MAXPACK,
								packet,header.len
								);
					}
				}
			}
			pcap_close(handle);
		}
	}
	//3. Run Send Thread on interface
	void send_loop(QString itstr,int id)
	{
		quint64 send_pos = pcap_recv_pos;
				pcap_t *handle = NULL;
		char errbuf[PCAP_ERRBUF_SIZE];
		handle = pcap_open_live(strDev.c_str(), 65535, 1, 10, errbuf);
		while (!pcap_stop)
		{
			if (send_pos > pcap_recv_pos)
				send_pos = pcap_recv_pos;
			if (send_pos == pcap_recv_pos)
			{
				QThread::usleep(500);
				continue;
			}
			int pos = send_pos % PCAPIO_BUFCNT;
			++send_pos;
			if (global_buffer[pos].from_id!=id)
			{
				
				/* Send down the packet */
				pcap_sendpacket(
							handle,	// Adapter
							(const unsigned char *)global_buffer[pos].data.constData(), 
							global_buffer[pos].len // size
							);
			}
		}
		pcap_close(handle);

	}

注意,上述代码经过大量简化,完整版本直接参考Git仓库。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/149758.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于Kintex-7 FPGA的核心板电路设计

1. 引言Field Programmable GateArray&#xff08;简称&#xff0c;FPGA&#xff09;于1985年由XILINX创始人之一Ross Freeman发明&#xff0c;第一颗FPGA芯片XC2064为XILINX所发明&#xff0c;FPGA一经发明&#xff0c;后续的发展速度之快&#xff0c;超出大多数人的想象&…

系分 - 案例分析 - 需求获取

个人总结&#xff0c;仅供参考&#xff0c;欢迎加好友一起讨论 文章目录系分 - 案例分析 - 需求获取需求获取方法典型例题题目描述参考答案系分 - 案例分析 - 需求获取 需求获取方法 用户访谈 工作内容要点准备访谈步骤&#xff1a;1 确定访谈目的。2 确定访谈哪些用户。3 准…

PHP 文件上传

通过 PHP&#xff0c;可以把文件上传到服务器。 本章节实例在 test 项目下完成&#xff0c;目录结构为&#xff1a; test |-----upload # 文件上传的目录 |-----form.html # 表单文件 |-----upload_file.php # php 上传代码 源码下载 创建一个文件上…

获取Git权限的三种方式

获取Git权限的三种方式写在最前1. HTTPS配合用户名和密码访问Git1.1 获取当前项目的用户和密码1.2 通过临时用户获取Git权限2. HTTPS配合token访问Git2.1 创建token2.2 HTTPS配合token获取Git权限3. SSH访问Git3.1 生成SSH公钥和私钥3.2 使用SSH获取Git权限写在最前 本文以为Az…

力扣(LeetCode)375. 猜数字大小 II(2023.01.08)

我们正在玩一个猜数游戏&#xff0c;游戏规则如下&#xff1a; 我从 1 到 n 之间选择一个数字。 你来猜我选了哪个数字。 如果你猜到正确的数字&#xff0c;就会 赢得游戏 。 如果你猜错了&#xff0c;那么我会告诉你&#xff0c;我选的数字比你的 更大或者更小 &#xff0c;并…

接口测试——postman和Jemter

接口测试——postman和Jemterpostmanpostman工作原理postman入门postman的基础用法postman的高级用法使用postman管理测试用例批量执行测试用例postman断言环境变量和全局变量postman关联postman请求前置脚本postman参数化及生成测试报告参数化与数据驱动postman生成测试报告je…

(十五)内部类简述

目录 1.概述: 2.内部类之一:静态内部类 3.内部类之二:成员内部类 4.内部类之三:局部内部类 5.内部类之四:匿名内部类 1.概述: 内部类就是定义在一个类里面的类&#xff0c;里面的类可以理解成(寄生)。 2.内部类的使用场景、作用&#xff1a; ①当一个事务的内部&#xff0c;还…

GIT zip下载和clone下载的代码不一致?

问题场景 今天我在下载公司项目的时候遇到了一个问题&#xff0c;我选择了一个分支a&#xff0c;通过下载zip的代码发现是全的&#xff0c;而我通过clone的时候发现显示的是master上的代码 原因 其实是clone下载下来了&#xff0c;但是我idea中分支打开时默认选择的是master分支…

Compose 动画入门 (二) : 为什么animateDpAsState要用val ? MutableState和State有什么区别 ?

1. 前言 我们首先来实现一个Compose的动画(animateDpAsState) var big by remember {mutableStateOf(false) } val size by animateDpAsState(if (big) 100.dp else 50.dp)Box(Modifier.size(size).background(Color.Blue).clickable {big !big}) {}运行程序&#xff0c;来看…

第56篇-利用JSRpc分析某尾波的登录参数【2023-01-09】

声明:该专栏涉及的所有案例均为学习使用,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!如有侵权,请私信联系本人删帖! 文章目录 一、前言二、JsRpc的基本使用1.准备工作2.简单使用三、利用JSRpc分析尾波的登录参数1.网站分析2.构建rpc一、前言 以前使…

LabVIEW控制前面板对象

LabVIEW控制前面板对象控件引用句柄在引用句柄和经典引用句柄选板上&#xff0c;它可将前面板对象的引用传输给其它VI。右键单击前面板对象&#xff0c;从快捷菜单中选择创建引用&#xff0c;可建立一个VI服务器引用。而且&#xff0c;也可在程序框图上的VI服务器常量中找到前面…

2023年01月IDE流行度最新排名

点击查看最新IDE流行度最新排名&#xff08;每月更新&#xff09; 2023年01月IDE流行度最新排名 顶级IDE排名是通过分析在谷歌上搜索IDE下载页面的频率而创建的 一个IDE被搜索的次数越多&#xff0c;这个IDE就被认为越受欢迎。原始数据来自谷歌Trends 如果您相信集体智慧&am…

高性能分布式缓存Redis-第一篇章

高性能分布式缓存Redis-第一篇章一、缓存发展史&缓存分类1.1、大型网站中缓存的使用1.2、常见缓存的分类1.3、分布式缓存选型方案对比二、Redis概述&安装配置2.1、概述2.2、安装&配置三、数据类型选择&应用场景3.1、Redis的Key的设计规范3.1.1、key名设计3.1.2…

Linux中常用命令(初学整理附实例和自己的理解)

目录 00.tree命令 01. ls 指令 02. pwd命令 03. cd 指令 04. touch指令 05.mkdir指令 06.rmdir指令 && rm 指令 07.man指令 08.热键tab键 09.nano 10.stat 11.cp指令 12.mv指令 13. cat 14.more指令 15.less指令 16.head指令 17.tail指令 18.wc 19.echo 20.…

运营商云从ATH虎口夺食?

配图来自Canva可画 如今在云计算领域&#xff0c;国内市场与国际市场的分化越来越显著&#xff0c;国内市场也在走出与国际市场不同的路径&#xff0c;而其中最大的变量则是来自三大运营商的进场与冲击。 以天翼云、联通云以及移动云为代表&#xff0c;国内通讯运营商的云品牌…

挑战杯课外学术参赛作品—AI合约问卷调查系统

大学生课外学术科技作品竞赛 1.作品概述 1.1作品选题背景和意义 随着互联网技术的发展以及大数据、人工智能等新科技时代的来临&#xff0c;我国高校教育改革、高校人才培养也面临着新的机遇与挑战。一方面&#xff0c;为了实现国家战略、支撑快速发展的新经济&#xff0c;需…

这是一个基于Threejs的商品VR展示系统的 VR模型展示Demo

vr-cake-demo 这是一个基于Threejs的商品VR展示系统的 VR模型展示Demo Demo界面示意图 Demo蛋糕实物图片 Demo蛋糕VR效果图 研究意义 2020年&#xff0c;已经进入了5G时代&#xff0c;许许多多的行业都得开启了高速发展模式&#xff0c;自动驾驶行业&#xff0c;人工智能行业…

硬核实力!企企通荣获“千峰奖·2022年度产业互联网百强”

12月28日&#xff0c;由亿邦动力主办的首届“亿邦跨境产业互联网峰会暨2022年度千峰奖颁奖盛典”在武汉举办&#xff0c;大会现场揭晓了本年度千峰奖获奖企业名单。企企通作为采购供应链领导者&#xff0c;凭借在采购数字化领域的创新引领和硬核实力&#xff0c;荣获“千峰奖20…

Webpack实现多页面打包

1. 多页面应用(MPA)概念 单页面在开发时会把所有的业务放在一个大的入口里面去&#xff0c;不同的子业务还是同一个URL地址&#xff0c;只不过后面的hash会有所不同。 多页面相对于单页面的区别在于&#xff0c;项目发布上线以后&#xff0c;有多个入口文件&#xff0c;每一次…

排障定位时间缩短一半以上, 博睿数据如何赋能青岛住房公积金管理中心

*本文源自快科技&#xff0c;原文链接&#xff1a; https://news.mydrivers.com/1/882/882428.htm 近日&#xff0c;青岛公积金发布关于住房公积金的两则新政&#xff0c;惠及历史高商贷利率人群与多子女家庭。同时&#xff0c;为了让更广泛的人民群众享有到更加优质的公积金…