方向：三维重建

题目：大规模城市场景建模与理解

作者：陈宝权　万国伟 山东大学

关键词：场景重建 场景理解 自动扫描 智能建模

来自：中国计算机学报通讯 12卷 8期 2016.08

期刊：https://github.com/Darren-pty/darren/tree/main/paper/1-paper

期刊精简版笔记：https://github.com/Darren-pty/darren/tree/main/paper/2-paper%20note/1-3D%20Reconstruction

一、引言

我国城镇化进程正在不断向前推进，人口和资源不断向城市聚合，形成了北京、上海、广州、深圳等超大城市。城市化给人们的生活带来了便利，但也带来了人口膨胀、交通拥堵、环境恶化、事故频发等“城市病”，在很大程度上加重了城市的负担、制约了城市的发展且构成引发不稳定的因素。近年来提出的“智慧城市”理念为解决上述问题提供了思路。智慧城市运用物联网、云计算、大数据、城市三维场景等新一代信息技术，整合城市运行的各项关键信息，在城市服务、公共安全、工商业活动、环境保护等领域对出现的各种状况做出智能响应，实现城市的智慧化管理和运行，为人们创造更美好的生活。

城市三维场景数据为智慧城市提供完整的空间信息，包括建筑、桥梁、道路、树木等城市主要组成要素。智慧城市的应用涵盖各式各样的需求，其对三维场景的需求可以归结为真实、完整、高精度。传统城市场景建模研究主要针对大尺度场景的三维化，采用卫星遥感观测、低空航拍、机载激光雷达扫描等技术获取三维数据，重建后的模型精度较低，越来越难以满足智慧城市的应用需求。本文的研究主要针对中尺度城市场景重建，采用车载激光雷达、全景相机作为数据采集设备，模型重建的精度更高，包含更多细节。

（1）城市三维场景数据为智慧城市提供完整的空间信息，包括建筑、桥梁、道路、树木等城市主要组成要素。

（2）智慧城市对三维场景的应用需求可以归结为真实、完整、高精度。

传统城市场景建模与本文研究建模区别：

	针对场景	数据采集方式	重建精度
传统城市场景建模	主要针对大尺度场景的三维化	采用卫星遥感观测、低空航拍、机载激光雷达扫描等技术获取三维数据	重建后的模型精度较低，越来越难以满足智慧城市的应用需求
本文的研究	主要针对中尺度城市场景重建	采用车载激光雷达、全景相机作为数据采集设备	模型重建的精度更高，包含更多细节

 

二、大规模复杂场景带来的挑战

传统三维数字化建模工作主要是针对单个物体扫描，扫描所得三维点云非常密集且完整。扫描所得数据满足采样理论所需的密度，可以由此重建数字化几何模型。我们的工作是针对室外多物体场景，采用车载激光点云扫描技术采集数据后建模，由于扫描车路线受限以及难以避开障碍物等因素，所得到的点云数据往往非常稀疏，且缺失严重。根据采样理论，用我们所得到的扫描数据重构三维几何模型面临极大的挑战，传统算法无法胜任。面对稀疏且缺失严重的点云数据，我们通过构建物体几何规则和场景先验知识，来指导缺失数据的重建。随之而来的问题是如何处理物体的多样性与场景的复杂性。

传统三维数字化建模与本文建模区别：

	对象	数据特点
传统城市场景建模	主要是针对单个物体扫描	扫描所得三维点云非常密集且完整，扫描所得数据满足采样理论所需的密度，可以由此重建数字化几何模型
本文的研究	针对室外多物体场景	所得到的点云数据往往非常稀疏，且缺失严重，根据采样理论，用我们所得到的扫描数据重构三维几何模型面临极大的挑战，传统算法无法胜任

面对稀疏且缺失严重的点云数据，我们通过构建物体几何规则和场景先验知识，来指导缺失数据的重建。

随之而来的问题是如何处理物体的多样性与场景的复杂性？

复杂场景的几何内容丰富多样，各类物体种类 非常繁杂，场景也在不断变化更新。这些特点给三 维模型的重建带来了以下技术问题：

(1) 针对同类别的物体，如何构建共性特征和先验知识来化繁为简， 提高同类物体处理的有效性；(2) 如何建立主动式扫描机制来实现无监督的三维建模；

(3) 针对几何特征的多样性，如何提取其内在规则，并通过规则来描述这些特征。

面对这些挑战，我们提出了相应的解决思路：

(1) 基于共性特征与先验知识，实现建筑和植物两大 类物体的高效重建；

(2) 利用机器人平台，采用主动式扫描和增量式学习，实现自动扫描与智能建模；

(3) 基于内在几何规则，实现场景层次化语义构建。

三、建筑和植物的三维重建

建筑和植物三维模型也是城市三维场景的主要构成要素。建筑包含大量重复结构，且分布具有一定的规则性。植物属自然产物，其种类繁多，姿态千差万别，结构特征很强，三维结构复杂。

3.1 建筑的三维重建

我们利用建筑本身的先验知识，构建其共性特征，针对因激光扫描点云数据稀疏或缺失的模型拟 合难题，实现了高精度的三维建模。我们还引入了图像数据，利用图像和点云的互补性特点，融合点云和图像，实现了高质量的建筑物墙面建模。 在早期的研究中， 激光点云 的获取多采用静态激光扫描仪，将 扫描仪固定在建筑物周边的数个位 置，得到独立的点云数据，再将多 个点云数据注册到统一坐标系下。 由于室外环境所限，要得到建筑物 每个面的点云数据是不现实的。我 们在文献[1] 中提出了一种针对由平面组成的建筑物 的三维重建方法，首先从稀疏点云中识别平面区域， 然后计算平面之间的交线以及角点，最终得到一个 完整的多边形。其核心算法是对稀疏且缺失的点云 数据进行聚类得到平面集合，并在平面上提取边界 线、多边形。图1 给出了稀疏缺失的三维点云、聚 类后的点云以及重建后的三维模型。

定点激光扫描技术获取三维点云的操作繁琐， 且须在后期对扫描点云进行注册，这样势必会降低 整个三维重建流程的效率。车载激光点云扫描技术 的出现解决了上述问题，通过惯性导航技术以及后 期的基站校准技术可轻松获取统一坐标系下的三维 点云。但因扫描车扫描路径所限，无法避开遮挡物， 导致获取的点云数据较定点扫描技术更稀疏且缺失 更严重。针对这种低质量的点云数据，我们提出了 一种交互式快速建筑物建模方法SmartBoxes[2]，首 先用户以二维动态框选形式构建初始SmartBox 图 元（立方体以及多边形组成的三维模型），然后用 组合、拖放、填充等交互操作将初始图元复制到建 筑物相似区域。算法通过数据项（图元与点云匹配） 和上下文项（相邻图元大小、边对齐、间距分布）的 双重约束优化图元的最佳位置及大小。用户在交互过 程中隐含地使用了建筑物所具有的平面结构性、重复 性以及相似性特征等先验知识，解决了因点云稀疏以 及缺失而带来的问题；构建初始SmartBox 图元采用 二维操作方式，简化了用户在三维界面下操作的繁琐， 消除了歧义性。图2(a) 描绘了一个从基本图元（立方 体、矩形）构建SmartBox 图元的过程，通过简单的交互操作可从低质量点云中迅速重建出阳台、窗户等， 并组合得到SmartBox 图元；(b) 图描绘了通过拖放操 作在竖直方向得到一个组合SmartBox 图元；(c) 图描 绘了将组合SmartBox 图元作为一个整体适配到整个 墙面的过程。我们根据用户对建筑物的先验知识以及 建筑物本身的相似性、重复性特征，在点云稀疏甚至 缺失区域重建了正确的几何结构，最终构建了一个完整的建筑物墙面模型。 车载雷达扫描技术可以快速得到较大范围建筑 物的三维点云数据，但点云具有嘈杂、稀疏以及大 片缺失等特点。二维图像虽缺乏三维信息，但具有 高分辨率、无噪声以及容易获得较完整的数据（例 如整个建筑物墙面）等特点，可作为三维点云的补 充。综合二维图像和三维点云的优点，我们提出了 一种融合二维图像和三维点云的分层建筑物墙面重 建方法[3]。算法首先将二维图像注册到三维点云的 坐标系下，对三维点云进行墙面深度层分割，并将 三维点云投影到图像上；然后给图像上的每个像素 赋予一个深度层，该问题可转化为一个多标记赋值 问题；得到图像的深度层分割后，在每一个图像深 度层上检测重复性结构，并利用重复性信息增强三 维点云；最后建立相邻深度层的三维连接几何形状 结构，得到最终的三维模型，并将图像的纹理信息 映射到模型上。图3 给出了三维点云与二维图像、 注册后的点云和图像、重建后的建筑物三维模型以 及粘贴纹理之后的模型。