无线感知会议系列【2】【智能无感感知特征,算法，数据集】

前言：

这篇来自 2022 泛在可信智能感知论坛

作者：清华大学杨铮教授

视频： 2.智能无线感知：特征、算法、数据集；杨峥清华大学副教授_哔哩哔哩_bilibili

这篇论文前面有讲过,我前面的博客也有基于提供的数据集做了一些优化,重新回顾一下，

补充一些论文细节.

背景介绍
特征
算法
数据集
未来研究方向

一背景介绍

1.1 无线感知

1.2 应用领域

1.3 相关论文

《From RSSI to CSI: Indoor Localization via Channel Response》
发表期刊：ACM Computing Surveys
摘要：该论文探讨了从接收信号强度指示（RSSI）到信道状态信息（CSI）的转换，以及如何利用CSI进行室内定位。通过详细分析CSI的特性和优势，提出了基于CSI的室内定位方法，提高了定位精度和稳定性。
《Smartphones based Crowdsourcing for Indoor Localization》
发表期刊：IEEE Transactions on Mobile Computing (TMC)
摘要：该论文研究了利用智能手机进行众包室内定位的方法。通过智能手机收集的数据，结合室内环境的特点，提出了一种有效的室内定位算法，实现了高精度的室内定位。
《Mobility Increases Localizability: A Survey on Wireless Indoor Localization using Inertial Sensors》
发表期刊：ACM Computing Surveys
摘要：这篇综述论文深入探讨了惯性传感器在无线室内定位中的应用。通过分析惯性传感器的特性和优势，以及结合其他定位技术的可能性，总结了当前无线室内定位领域的研究进展和未来趋势。
《Incentives for Mobile Crowd Sensing: A Survey》
发表期刊：IEEE Communications Surveys and Tutorials
摘要：该论文对移动群智感知中的激励机制进行了全面综述。分析了不同激励机制的设计原理、优缺点以及在实际应用中的效果，为移动群智感知系统的设计和优化提供了重要参考。
《Inferring Motion Direction using Commodity Wi-Fi for Interactive Exergames》
发表会议：ACM CHI
摘要：这篇论文提出了一种利用商用Wi-Fi信号推断运动方向的方法，并将其应用于交互式运动游戏中。通过分析Wi-Fi信号的相位和幅度信息，实现了对运动方向的准确推断，为开发基于Wi-Fi的交互式运动游戏提供了新思路。

1.4 实际落地场景

1.5 现有问题

模型的可靠性,泛化性差：实验效果很好,但实际部署后，性能很差。因为环境发生了很大变化,跨场景感知能力差. 实际环境中，如果发生了变化，很多领域采用迁移学习解决，但是无线

感知问题是打标签很困难，特别在嵌入式终端机.

数据集欠缺：无线感知领域数据集采集标准很难,导致重复发明。

二特征

无线感知早期主要用RSSI，是多径叠加后的结果，信息量太少。

现在主要用: CSI(里面主要应用幅度), AOA ,tof, dfs ,bvp

2.1 CSI 简介

目前用的比较多的数据集是斯坦福和多伦多大学的这份数据集

https://github.com/ermongroup/Wifi_Activity_Recognition?tab=readme-ov-file

3根接收天线,每根天线采集30个子载波的信息，每个子载波有幅度,相位信息
-> 1st column shows timestamp.
-> 2nd - 91st column shows (30 subcarrier * 3 antenna) amplitude.
-> 92nd - 181st column shows (30 subcarrier * 3 antenna) phase.

The files with "annotation_" prefix are annotation data.

下图横坐标是时间，纵坐标都是幅度值

2.2 特征使用技巧

1 早期一般都是直接使用幅度来计算

2 相位要使用，都要使用Mobius 变换，或者共轭天线相乘算法再来计算.

如下图，由于硬件带来的随机相位偏移,该信息是不准的。

会议中杨老师通过下面算法解决了相位偏移

2.3 AOA 特征

这个算法看一下我之前的Beamforming博客

ArrayTrack 论文介绍

一、论文基本信息

标题：ArrayTrack: A Fine-Grained Indoor Location System
发表年份：2013年
发表平台：Symposium on Networked Systems Design and Implementation (NSDI)
作者：Jie Xiong, Kyle Jamieson 等（来自University College London）

二、研究背景与动机

随着移动计算设备的普及，如智能手机、平板电脑和笔记本电脑等，已经成为我们日常生活的一部分。然而，在室内环境中，全球定位系统（GPS）信号常常无法准确接收，导致室内定位成为一项具有挑战性的任务。传统的室内定位方法主要依赖于信号强度读数，但这种方法的定位精度较低。因此，研究一种能够实时、精确地进行室内定位的技术显得尤为重要。

三、ArrayTrack 系统概述

ArrayTrack 是一种基于多输入多输出（MIMO）技术的室内定位系统，旨在实时跟踪无线客户端在建筑物内的位置，并实现高精度的定位。该系统通过部署带有天线阵列的接入点（AP），利用到达角（AoA）技术来测量无线设备的方向，并据此计算出其具体位置。

四、核心技术与方法

MIMO 技术：ArrayTrack 利用 MIMO 技术增加室内接入点的天线数量，以增强容量和覆盖范围。这种技术使得系统能够更准确地测量无线信号的到达角。
到达角（AoA）测量：通过每个接入点的天线阵列，ArrayTrack 能够测量出待定位设备发出的无线信号的到达角。当两个或更多的接入点能够观测到待定位设备时，系统可以利用这些角度信息计算出其具体位置。
Spatial smoothing 和 Multipath suppression：为了降低多路径效应的影响，ArrayTrack 采用了 Spatial smoothing 和 Multipath suppression 技术。这些技术有效地提高了系统的定位精度，使其能够达到亚米级（1米以下）的定位精度。

五、实验结果与性能

ArrayTrack 在实际的室内办公环境中进行了实验评估。结果显示，该系统能够准确地定位分布在室内环境中的 41 个客户端，中位精度达到了 23 厘米，并且系统延迟仅为 100 毫秒。这表明 ArrayTrack 首次实现了在移动手持设备上实时、高精度的室内定位。

六、结论与贡献

ArrayTrack 的提出为室内定位领域带来了显著的创新和进步。通过利用 MIMO 技术和 AoA 测量方法，该系统实现了高精度的室内定位，并且具有较高的实时性和较低的延迟。此外，ArrayTrack 还展示了其对抗不同发射/接收高度和天线方向变化的鲁棒性。这些特点使得 ArrayTrack 在未来的增强现实、社交网络、零售购物等移动应用中具有广泛的应用前景。

2.4 AOA 特征（论文2 potFi）

potFi 论文是一篇关于室内精确定位系统的研究论文，其主要贡献在于提出了一种基于商用WiFi基础设施的高精度室内定位系统。以下是对SpotFi论文的简介：

一、研究背景与动机

随着无线技术的快速发展和智能设备的普及，室内定位服务的需求日益增长。然而，传统的室内定位方法如GPS在室内环境中往往无法有效工作，而基于RFID、蓝牙等技术的室内定位系统又存在成本高、部署复杂等问题。因此，研究一种低成本、易部署且高精度的室内定位系统具有重要意义。SpotFi正是针对这一需求提出的解决方案。

二、系统概述

SpotFi是一种利用商用WiFi芯片已暴露的信息进行高精度室内定位的系统。它不需要对WiFi硬件或固件进行任何修改，即可实现与最先进定位系统相同的定位精度。SpotFi通过结合超分辨率算法和新颖的滤波及估计技术，能够准确计算多径分量的到达角（AoA）并识别出目标与接入点（AP）之间的直接路径。

三、关键技术与方法

超分辨率算法：SpotFi采用了超分辨率算法来准确计算多径分量的AoA。即使在AP仅有三根天线的情况下，该算法也能通过利用WiFi的子载波和天线组合来扩展传感器的数量，从而实现对AoA的精确估计。
滤波与估计技术：为了识别出目标与AP之间的直接路径，SpotFi引入了新颖的滤波和估计技术。它通过对每个路径的AoA和到达时间（ToF）进行聚类分析，并根据路径的似然性分配不同的权重，从而确定直接路径。
时间同步与频率偏移处理：SpotFi解决了不同WiFi卡之间时间不同步的问题。它利用同一张WiFi卡上的所有收发链路共享同一个采样时钟的特性，通过联合AoA和ToF估计算法来提高AoA的精度。同时，SpotFi还考虑了采样频率偏移（SFO）对ToF估计的影响，并采用了相应的补偿措施。

四、实验结果与性能

在实验中，SpotFi在一个多径丰富的室内环境中进行了测试。结果显示，SpotFi能够实现中值40厘米的定位精度，并且对于室内障碍物和多径效应具有较强的鲁棒性。这表明SpotFi在实际应用中具有广泛的应用前景。

2.5 TOF

ToF（Time of Flight，飞行时间）技术是一种在定位、测距和深度感知等领域广泛应用的测量技术。它基于测量信号从发射点到接收点所需的时间来确定两者之间的距离。在无线通信技术、激光雷达（LiDAR）、超声波测距以及光学传感等多个领域中，ToF技术都发挥着重要作用。

ToF技术原理

ToF技术的核心在于测量信号（如光脉冲、无线电波或超声波）从发射器发出，经过介质传播（如空气），最后到达接收器并被接收所需的时间。这个时间差与信号传播的速度相乘，即可得到发射器与接收器之间的距离。

具体来说，ToF系统通常包括一个发射器和一个接收器。发射器发射一个已知特性的信号（如具有特定频率和波形的光脉冲或无线电波），该信号在空间中传播，直到被接收器捕获。接收器在接收到信号后，会记录信号到达的时间，并与发射时间进行比较，从而计算出信号传播的时间差。然后，利用信号在介质中的传播速度（如光速、声速等），将时间差转换为距离。

ToF技术的应用

定位与导航：在室内定位系统中，ToF技术可以与AoA（到达角）等技术结合使用，实现高精度的三维定位。通过测量多个AP（接入点）与移动设备之间的ToF值，并结合其他信息（如信号强度、方向等），可以准确计算出设备的位置。

深度感知：在3D打印、机器人视觉和虚拟现实等领域，ToF相机通过测量从物体表面反射回来的光脉冲的飞行时间，可以构建出物体的三维模型或深度图。这种深度信息对于场景理解、障碍物检测和路径规划等任务至关重要。

测距与监控：ToF技术也广泛应用于工业自动化、安防监控和智能交通等领域。例如，在工业自动化中，可以利用ToF传感器测量机器人手臂与工件之间的距离，以实现精确的操作；在安防监控中，ToF相机可以用于夜间或低光环境下的目标检测和跟踪。

手势识别与交互：在智能家居和可穿戴设备中，ToF技术也被用于手势识别和用户交互。通过测量用户手部发出的光脉冲的飞行时间，系统可以识别出用户的手势动作，并据此执行相应的命令或操作。

ToF技术的挑战

尽管ToF技术在许多领域都展现出了巨大的潜力，但其在实际应用中仍面临一些挑战。例如，信号在传播过程中可能受到多径效应、非视距传播和噪声干扰等因素的影响，导致测量精度下降。此外，ToF系统对时间同步和信号处理算法的要求较高，需要精确的时钟同步和高效的算法来提高测量精度和实时性。

综上所述，ToF技术作为一种重要的测量技术，在定位、测距和深度感知等领域具有广泛的应用前景。随着技术的不断进步和成本的降低，ToF技术有望在更多领域发挥重要作用。

2.6 多普勒频偏

使用多普勒频谱进行人员定位

论文标题：mD-Track: Leveraging Multi-Dimensionality in Passive Indoor Wi-Fi Tracking
发表会议：ACM International Conference on Mobile Computing and Networking (MobiCom)
发表时间：虽然具体的发表时间在现有信息中未明确提及，但根据参考文献中的线索，该论文可能是在2019年左右发表的。
作者：包括南洋理工大学的谢亚雄博士等

二、论文内容概述

该论文提出了一种基于多维性的被动室内Wi-Fi追踪技术（mD-Track），该技术利用无线信号在人体上的反射来获取目标的位置和移动轨迹。具体方法如下：

系统组成：使用一个无线信号发射器和一个无线信号接收器。接收器获取发射信号在人体上反射的信号信道状态信息（CSI）。

参数提取：从CSI信息中提取与该反射路径相关的多个关键参数，包括信号到达角（AOA）、信号出发角（AOD）、信号飞行时间（TOF）和多普勒频移（Doppler shift）。

定位与追踪：结合上述参数信息以及无线发射/接收器的真实位置，实现对目标的精确定位和追踪。参数信息的提取使用了在参数空间中设置步长搜索的方法，多路径提取则采用了EM算法进行迭代优化。

三、技术难点与优势

技术难点：
如何从杂乱的CSI信息和其他噪声干扰下提取出较为准确的参数信息。
如何有效追踪多目标。
技术优势：
无需目标携带任何设备，实现了真正的被动追踪。
利用了多维信息（AOA、AOD、TOF、Doppler shift），提高了定位和追踪的精度。
可以在不同的室内环境中进行有效的追踪。

四、实验与评估

该论文在WARP平台和廉价的现成Wi-Fi硬件上实现了mD-Track，并在不同的室内环境中对其性能进行了评估。实验结果证明了mD-Track在提高追踪精度和鲁棒性方面的有效性。

五、结论与展望

总的来说，“mD-Track: Leveraging Multi-Dimensionality in Passive Indoor Wi-Fi Tracking”论文提出了一种创新的被动室内Wi-Fi追踪技术，为室内定位与追踪领域提供了新的思路和方法。未来，该技术有望在智能家居、智能安防、医疗健康等领域得到广泛应用。

请注意，由于具体的发表时间在现有信息中未明确提及，以上时间线主要基于参考文献中的线索和常识推断得出。如需获取最准确的发表时间信息，建议查阅该论文的官方发布渠道或相关数据库。

https://github.com/ermongroup/Wifi_Activity_Recognition?tab=readme-ov-file

2.5 BVP 论文解读

环境无依赖特征：以一个手部动作，不同的环境，不同的方向，CSI,DFS 信号相差很大

但是BVP 相似。在算法部分补充

二算法

2.1 机器学习

在采集到特征后，常用机器学习的算法来进行分类。很多论文看只用到了

CSI 幅度信号，没有用相位信息来训练.

2.2 算法

2.3 清华的方案

下面一些典型的架构，有的是对特征先做STFT 然后再使用CNN,LSTM 等模型处理

STFNet：

清华在特征预处理里面使用了STFT ，在斯坦福和多伦多大学里面提供了该方案

但是使用训练的时候，只使用了幅度信息，没有使用STFT .基于 LSTM也能达到99%的ACC

‌STFT（Short-Time Fourier Transform，短时傅里叶变换）‌是一种在信号处理中常用的时频分析方法，用于分析非平稳信号的时间频率特性。STFT通过将信号分成多个短时间段（或称为“窗”）并对每个时间段应用傅里叶变换，从而得到信号在不同时间点的频谱信息。这种方法能够提供信号在时间域和频率域的局部化特性，非常适合分析那些频率特征随时间变化的非平稳信号。

STFT的基本原理可以概括为以下几个步骤：

‌分帧加窗‌：将连续的信号分割成多个短时间段（帧），每个时间段通过一个窗函数进行处理，以减少或消除边界效应。窗函数的选择对于STFT的结果有重要影响，因为窗的大小和形状决定了时间分辨率和频率分辨率之间的权衡。

‌傅里叶变换‌：对每个加窗的帧进行傅里叶变换，得到该帧的频谱信息。这通常通过快速傅里叶变换（FFT）实现，因为它在计算上更加高效。

‌时间频率分析‌：通过移动窗函数并重复上述步骤，可以获得信号在不同时间点的频谱信息，从而分析信号的时间频率特性。窗函数的移动可以是重叠的，以增加时间分辨率，但这样会增加计算量。

STFT的优点在于它能够将信号从一维时间域转换到二维时频域，提供了信号在不同时间点的频率信息，这对于分析非平稳信号非常有用。然而，STFT的一个主要缺点是时间分辨率和频率分辨率之间的权衡：窗函数的大小直接影响这两个分辨率，较小的窗提供较好的时间分辨率但牺牲了频率分辨率，反之亦然。因此，在实际应用中，需要根据具体需求选择合适的窗函数大小和类型。

此外，STFT的实现可以通过编程语言中的FFT库高效地完成，使得它在数字信号处理领域得到了广泛应用。例如，在音频处理、语音识别、生物信号分析等领域，STFT都是重要的工具之一‌12。

2.3 对抗学习

三数据集

图像，音频，自然预言大规模公开数据集很多，但是无线感知领域很少

1：数据集一

斯坦福大学，和多伦多大学做的 2017年，里面包括幅度相位。

包括坐下，躺下，站着等6个工作

https://github.com/ermongroup/Wifi_Activity_Recognition?tab=readme-ov-file

2 数据集二

Willian and mary 大学，手语识别 CSI 数据集（2018）

GitHub - yongsen/SignFi: Sign Language Recognition using WiFi and Convolutional Neural Networks

3 数据集三

清华大学

WiFi Radar

四 Inferring Motion Direction using Commodity Wi-Fi for Interactive Exergames 论文

4.1 研究对象

4.2 论文

Inferring Motion Direction using Commodity Wi-Fi for Interactive Exergames 是一篇探讨利用商用Wi-Fi设备推断运动方向并应用于交互式运动游戏（Exergames）的论文。以下是对该论文的详细介绍：

一、研究背景与动机

随着环境智能和增强现实技术的不断发展，空中交互作为关键技术之一，在设计和实现精确、普及、低成本的用户界面方面受到了广泛关注。Exergames（运动游戏）作为一种新兴的交互方式，通过让玩家进行身体活动（如跳舞、跆拳道、运动动作等）来提高健身效果、健康水平和社交参与度。然而，传统的Exergame接口存在诸多限制，如对环境光线和视线条件的敏感性、设备安装的高成本等。因此，研究一种更加普及、环境约束少的Exergame接口具有重要意义。

二、研究方法与贡献

1. 方法概述

该论文提出了一种利用商用Wi-Fi设备提取运动引起的多普勒频移信息，并通过这些信息推断运动方向的方法。具体来说，研究团队通过天线分集技术消除了随机相位偏移，保留了相关的多普勒频移信息，并将其与运动方向相关联。在此基础上，他们开发了一个轻量级的信号处理流程来检测、分割和识别玩家的动作，无需进行训练。

2. 主要贡献

提取完整的多普勒频移信息：该研究首次在Wi-Fi基础设施上获得了准确的多普勒频移大小和方向，而无需对设备进行修改。
建立多普勒频移与动作方向的模型：通过建模多普勒频移与动作方向之间的关系，实现了对运动方向的准确推断。
开发无线交互式Exergame：基于上述方法，研究团队设计并实现了一个基于Wi-Fi的用户界面，用于开发非接触式舞蹈垫Exergame。实验结果表明，该系统在典型室内环境下的识别准确率高达92%，显著优于先前的方法。

三、实验结果与性能评估

在实验中，研究团队在多种室内环境下对WiDance系统进行了验证。实验结果表明，该系统能够准确地识别玩家的动作方向，并在舞蹈垫Exergame中表现出色。与先前的方法相比，WiDance在识别准确率、鲁棒性和成本效益方面均表现出显著优势。

四、应用前景与展望

该论文的研究成果不仅为交互式运动游戏领域提供了新的思路和方法，还展示了无线传感技术在手势识别、健康监测等领域的应用潜力。未来，随着无线技术的不断发展和普及，基于Wi-Fi的手势识别和用户界面将有望在更多领域得到广泛应用和推广。

综上所述，《Inferring Motion Direction using Commodity Wi-Fi for Interactive Exergames》是一篇具有创新性和实用价值的论文，为无线传感技术和交互式运动游戏的发展做出了重要贡献。

五未来研究方向

问题1： BVP 原理，如何提取环境无依赖的特征

比如一个人，向不同的方向推动，穿越不同的Fresnel 区域，幅度谱相位谱一定是不一样

张大庆老师的方案鲁棒性比较强，使用正交的设备叠加，这个方案是使用人为中心，

建立BVP 坐标系

Zero-Effort Cross-Domain Gesture Recognition with Wi-Fi 是一篇关于无线手势识别技术的论文，它提出了一种名为Widar3.0的跨域手势识别系统。以下是对该论文及其核心内容的详细介绍：

一、论文背景与意义

随着物联网和人工智能技术的快速发展，无线感知技术逐渐成为研究热点。手势识别作为无线感知的重要应用之一，具有广泛的应用前景，如智能家居、医疗监测、安防监控等领域。然而，传统的手势识别方法往往依赖于特定的环境或设备，难以实现跨域识别。因此，开发一种能够在不同环境下实现高效、准确手势识别的系统具有重要意义。

二、Widar3.0系统概述

Widar3.0系统是一种基于Wi-Fi的跨域手势识别系统，它利用Wi-Fi信号的DFS（多普勒频移）谱分析来提取人体运动信息，并通过BVP（Body-Coordinate Velocity Profile，身体坐标系下的速度谱）特征来实现手势的跨域识别。该系统的主要优势在于其无需针对每个新环境重新训练模型，即可实现高效、准确的手势识别。

三、BVP特征介绍

BVP特征是Widar3.0系统的核心，它描述了人体在不同身体部位上，以不同速度运动时所产生的信号分布。BVP特征具有环境无依赖的特性，即无论人体处于何种位置、朝向或环境条件下，其BVP特征均保持一致。这使得BVP特征成为实现跨域手势识别的关键。

四、系统架构与工作流程

Widar3.0系统主要由两部分组成：BVP生成模块和手势识别模块。

BVP生成模块：该模块负责从接收到的Wi-Fi信号中提取DFS谱，并应用压缩感知技术来估计每个CSI（Channel State Information，信道状态信息）段的BVP特征。通过对DFS谱的时频分析，该模块能够准确地提取出人体在不同身体坐标系上的速度分布信息。
手势识别模块：该模块使用深度学习网络对BVP特征进行建模和分类。具体来说，它首先将BVP特征进行归一化处理以消除实例和人员的不相关变化；然后将归一化后的BVP特征输入到时空DNN（深度神经网络）中进行特征提取和分类；最后输出手势识别结果。

五、实验与评估

论文通过大量实验验证了Widar3.0系统的有效性和准确性。实验结果表明，该系统在不同环境下均能实现高效、准确的手势识别，且无需针对每个新环境重新训练模型。此外，该系统还具有较高的鲁棒性和实时性，能够满足实际应用的需求。