深度估计是一种计算机视觉技术，用于确定图像中各个对象与观测点之间的距离。这项技术在许多应用中都非常关键，如机器人导航、自动驾驶汽车、3D重建和增强现实等。

在提到的“Depth on Demand (DoD)”方法中，使用了以下几种关键技术：

1. 多模态编码：这一阶段利用RGB传感器（捕获颜色信息的普通摄像头）和主动深度传感器（如ToF和LiDAR）的数据。这些传感器提供的信息被编码为一个统一的表示，准备进一步处理。
2. 迭代多模态融合：在此阶段，通过算法迭代地将RGB数据和稀疏的深度数据融合在一起，利用已有的深度信息来引导RGB数据的深度估计，从而提高估计的精度和密度。
3. 深度解码：最后，融合后的数据被解码为一个高密度的深度图，这个深度图提供了场景中每一个像素点的精确深度信息。

深度估计技术的发展对于现代科技尤其重要，它的意义主要包括：

• 增强机器感知能力：使机器如机器人和自动驾驶汽车能够更好地理解和导航其环境。
• 节能高效：新技术如DoD方法通过减少对高能耗深度传感器的依赖，不仅提高了深度估计的精度和速度，同时也大幅度降低了能耗。
• 提高应用范围：改进的深度估计技术能够被应用到更广泛的场景和更复杂的环境中，如室内外环境的无缝转换。

深度估计技术的进步提供了更多机会去创造智能化的应用，从而在许多领域提高效率和安全性。

论文作者：Andrea Conti,Matteo Poggi,Valerio Cambareri,Stefano Mattoccia

作者单位：University of Bologna;Sony Depthsensing Solutions

论文链接：http://arxiv.org/abs/2409.08277v1

内容简介：

1）方向：深度估计

2）应用：机器人和汽车感知

3）背景：目前，ToF（飞行时间）和LiDAR设备分别用于室内和室外的深度估计，但这些设备的低帧率、高能耗和空间稀疏性限制了它们的应用范围。因此，需要一种既能提高深度估计密度又能降低能耗的解决方案。

4）方法：本文提出的Depth on Demand (DoD) 方法利用高帧率的RGB传感器和低帧率且稀疏的主动深度传感器，通过三大核心阶段实现精确的时空深度密集化：i）多模态编码，ii）迭代多模态融合，iii）深度解码。这种方法显著减少了深度传感器的数据流需求，从而实现了更低的能耗和更密集的形状重建。

5）结果：在室内和室外视频数据集上的广泛实验表明，DoD方法在环境扫描和汽车感知等应用场景中有效，能够提供更精确和密集的深度估计，同时降低能耗。