dia

0. 简介

使用神经网络来匹配2D公开地图的做法是一个很有趣的方法，人们可以使用简单的2D地图在3D环境中指明自己所处的位置，而大部分视觉定位算法则依赖于昂贵的、难以构建和维护的3D点云地图。为了弥合这一差距《OrienterNet: Visual Localization in 2D Public Maps with Neural Matching》提出了第一个能够在人类经常使用的语义2D地图中进行分米级单目定位的算法OrienterNet。OrienterNet通过匹配一个图像的神经鸟瞰表示和公开的OpenSreet地图来估计输入图像的位置和朝向。OrienterNet使用相机位姿进行监督训练并以端到段的方式进行语义匹配。相关的代码已经在Github上开源了。

1. 主要贡献

本文介绍了一种全新的方法，可以在使用与人类相同的地图的情况下，以亚米级的精度定位单个图像和图像序列。这些平面地图仅编码了少数重要对象的位置和粗略的二维形状，而不包括它们的外观和高度。这种地图非常紧凑，尺寸比三维地图小104倍，因此可以存储在移动设备上，并用于大范围内的设备定位。我们使用开放街道地图（OSM）[46]展示了这些功能，这是一张公开可访问且由社区维护的世界地图，使任何人都可以免费定位任何地方。这种解决方案不需要建立和维护昂贵的三维地图，也不需要收集可能敏感的地图数据

表1. 视觉定位的地图类型。来自OpenStreetMap的平面地图由带有元数据的多边形和线条组成。它们是免费公开的，不存储敏感的外观信息，与卫星图像和使用SfM构建的3D地图相比。它们还很紧凑：可以下载并存储大面积地图到移动设备上。我们展示了它们编码了足够的几何信息以实现准确的3自由度定位。

OrienterNet学习以端到端的方式比较视觉和语义数据，仅通过相机姿态进行监督。这通过利用OSM所暴露的高多样性语义类别，从道路和建筑物到长椅和垃圾桶等对象，得出准确的姿态估计。OrienterNet还具有快速和高度可解释性。我们训练了一个单一模型，能够很好地推广到以前未见过的城市，并跨越由不同视角拍摄的各种相机图像，如车载、自行车载或头戴式、专业或消费级相机。

2. 在2D地图中定位单个图像

问题表述：在典型的定位场景中，我们的目标是估计图像在世界中的绝对6自由度姿态。在现实假设下，我们将这个问题简化为估计一个由位置(𝑥,𝑦)∈𝑅2(x,y)∈R2 和朝向角𝜃∈(−𝜋,𝜋]θ∈(−π,π]组成的3自由度姿态𝜉=(𝑥,𝑦,𝜃)ξ=(x,y,θ)。 这里我们考虑一个以东-北-垂直方向对应于x-y-z轴的地心坐标系。

首先，我们可以很容易地假设我们知道重力的方向，这是人类通过内耳自然获得的信息，并且可以通过大多数设备中嵌入的惯性单元进行估计。我们还观察到我们的世界大部分是平面的，并且人和物体在室外空间中的运动大多限制在2D表面上。相机的精确高度总是可以通过局部SLAM重建中与地面的距离来估计。

输入：我们考虑一个具有已知针孔相机标定的图像𝐼I。通过使用已知重力计算的单应性矩阵对图像进行校正，使其滚动和倾斜为零，即其主轴是水平的。我们还给出了一个粗略的位置先验𝜉𝑝𝑟𝑖𝑜𝑟ξprior​。这可以是一个噪声较大的GPS位置或先前的定位估计，并且可能偏离20米以上。这对于像城市峡谷这样的多路径环境中的消费级传感器来说是一个现实的假设。 地图数据是从OSM查询的，以𝜉𝑝𝑟𝑖𝑜𝑟ξprior​为中心的正方形区域，其大小取决于先验的噪声程度。数据由一系列多边形、线和点组成，每个都有给定的语义类别，并且其坐标以相同的局部参考框架给出。

概述 - 图2：OrienterNet由三个模块组成：1）图像CNN从图像中提取语义特征，并通过推断场景的3D结构将其转换为正交鸟瞰图（BEV）表示𝑇T。2）地图CNN将OSM地图编码为嵌入语义和几何信息的神经地图𝐹F。3）我们通过将BEV与地图进行穷举匹配来估计相机姿态𝜉ξ 的概率分布。

点击经典文献阅读之--OrienterNet(自动驾驶中基于网格的交通场景感知)——古月居可查看全文