目录
传统雷达检测流程
行业首先
存在问题
解决方案
雷达数据集
1）3D检测
2） 场景估计
4D毫米波雷达的未来发展趋势
4D毫米波雷达是指一种高级的雷达系统，它能够提供三维空间信息（即长度、宽度、高度）和第四维度——目标对象的速度。这种雷达利用毫米波频段的电磁波进行通信，该频段提供了更高的分辨率和探测能力。4D毫米波雷达广泛应用于汽车、航空、天气预测、军事和安全等领域。
在汽车行业中，4D毫米波雷达是自动驾驶和高级驾驶辅助系统（ADAS）的关键技术之一。它能够精确地探测和追踪车辆周围的物体，包括其他车辆、行人和障碍物，即使在恶劣的天气条件下也能保持高性能。这种能力使得4D毫米波雷达成为提升道路安全、实现自动驾驶汽车的重要技术。
在航空领域，4D毫米波雷达能够提供高精度的飞行数据，帮助飞行员和自动飞行系统更好地理解飞机周围的环境，提高飞行安全和效率。
对于天气预报，4D毫米波雷达通过提供更准确的降水和风速数据，帮助气象学家更好地理解和预测天气系统的发展，从而提高天气预报的准确性。
在军事和安全应用中，4D毫米波雷达的高分辨率和探测能力使其成为监视、侦察和目标追踪的理想选择。它能够在复杂的环境中探测和识别潜在的威胁，为决策者提供关键信息。
传统雷达检测流程
4D毫米波雷达点云稀疏的主要原因：CFAR造成的大量信息丢失
CFAR优点：若检测单元相互独立，则CFAR为最佳检测算法。(实际世界中目标通常占据多个单元，造成单元间存在相关性)。CFAR类型的方法造成遮蔽效应，降低点云的分辨率，造成信息的丢失。
行业首先
首先将CNN应用到RD图上进行多目标检测和定位(DRD)
D. Brodeski, I. Bilik, and R. Giryes, “Deep radar detector,” in 2019 IEEE Radar Conference (RadarConf), Apr. 2019, pp. 1–6.
存在问题
RD图标记问题(消声室中收集数据与现实世界不同，现实世界存在多径反射、干扰和衰减等多方面的问题)
解决方案
用激光雷达点云作为监督。
雷达数据集
Astyx HiRes数据集：免费提供500个同步帧（雷达、LiDAR、摄像机）包含3000个精确注释的3D对象注释。
M. Meyer and G. Kuschk, “Automotive radar dataset for deep learning based 3d object detection,” in 2019 16th European Radar Conference (EuRAD), Oct. 2019, pp. 129–132.
ColoRadar数据集：包含雷达LiDAR和位姿地面实况的大约2小时数据。
雷达数据包括原始 ADC 数据、压缩的 4D雷达张量数据 以及雷达点云。
A. Kramer, K. Harlow, C. Williams, and C. Heckman, “Coloradar: The direct 3d millimeter wave radar dataset,” The International Journal of Robotics Research, vol. 41, no. 4, pp. 351–360, Apr. 2022.
VoD 数据集与 Tj4DRadSet 数据集都为自动驾驶场景数据集，包含摄像头、雷达、LiDAR的多帧数据。
A. Palffy, E. Pool, S. Baratam, J. F. P. Kooij, and D. M. Gavrila,“Multi-class road user detection with 3+1d radar in the view-of-delft dataset,” IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 4961–4968, Apr. 2022.
L. Zheng, Z. Ma, X. Zhu, B. Tan, S. Li, K. Long, W. Sun, S. Chen, L. Zhang, M. Wan, L. Huang, and J. Bai, “Tj4dradset: A 4d radar dataset for autonomous driving,” in 2022 IEEE 25th International Conference on Intelligent Transportation Systems (ITSC), Oct. 2022, pp. 493–498.
K-Radar 数据集：目前最大的基于4D毫米波雷达的大规模数据集(35000帧数据)
目前唯一提供4D雷达的数据集。
D.-H. Paek, S.-H. Kong, and K. T. Wijaya, “K-radar: 4d radar object detection for autonomous driving in various weather conditions,” in Thirty-Sixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track, 2022.
当前大多数4D雷达方法都源自于LiDAR，基于毫米波雷达的稀疏性和噪声特性，仍需要特定的网络设计。
1）3D检测
根究模型架构的差异，感知方法分为基于CNN和基于Transformer
A. Palffy, E. Pool, S. Baratam, J. F. P. Kooij, and D. M. Gavrila, “Multi-class road user detection with 3+1d radar in the view-of-delft dataset,” IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 4961–4968, Apr. 2022.
B. Xu, X. Zhang, L. Wang, X. Hu, Z. Li, S. Pan, J. Li, and Y. Deng, “Rpfa-net: A 4d radar pillar feature attention network for 3d object detection,” in 2021 IEEE International Intelligent Transportation Systems Conference (ITSC), Sep. 2021, pp. 3061–3066.
对下列方法进行改进
(R. Q. Charles, H. Su, M. Kaichun, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI: IEEE, Jul. 2017, pp. 77–85.)
B. Tan, Z. Ma, X. Zhu, S. Li, L. Zheng, S. Chen, L. Huang, and J. Bai, “3d object detection for multi-frame 4d automotive millimeter-wave radar point cloud,” IEEE Sensors Journal, pp. 1–1, 2022.
2） 场景估计
融合：考虑将毫米波雷达与相机或激光雷达进行融合进行目标检测
最近的相关研究：将4D毫米波雷达信号转换为类似2D图像的特征，以便于摄像头进行融合。
4D毫米波雷达的未来发展趋势
1）点云增强：雷达多径效应的影响、信号处理流程中信息的损失(特别是基于学习的方法取代CFAR)、探索基于学习的DOA估计方法(而不是DBF)来进行超分辨率角度估计。
2）应用算法的重新设计：测试能力与极端环境下的适应能力还待探索。
对于感知任务来说，多模态融合是未来的发展方向。(多传感器融合方向)
3）预点云数据的利用：例如原始ADC数据、RD图、RA图和4D张量等等，基于学习的模型可以利用这些数据中大量的信息，同时保持可接受的实时性值得研究。
4）数据集的丰富：4D毫米波雷达数据集相对较少。
总体而言，4D毫米波雷达前景广阔，随着技术的进步和成本的降低，它的应用领域将进一步扩大，为各行各业提供更安全、更高效的解决方案。随着对于自动化和智能化需求的不断增长，4D毫米波雷达技术的发展和应用预计将持续增长。
