3DGS+3D Tiles融合已成，更大的场景，更细腻的效果～

news2024/11/19 4:35:18

最近国外同行@Kieran Farr发布了一个他制作的3D GussianSplatting(高斯泼溅)+Google Map 3D Tiles的融合叠加的demo案例（如下所示）。

准确来说这是一个数据融合的实景场景，该实景场景使用了倾斜三维和3D GussianSplatting两种实景表达技术，该融合场景的倾斜三维使用的是Google Maps的3D Tiles瓦片服务，3D GussianSplatting的场景是通过Luma平台生成导出，场景的裁剪使用playcanvas的SuperSplat工具进行场景的裁剪，前端框架上他选择了A-Frame+Three.js的组合。

从二者的融合，我们可以看出3D GussianSplatting的整个技术特点：对于细节的表达更加真实细腻，比如下图的红色箭头指出的部分其实就是使用3D GussianSplatting生成的照片级的小品场景效果。

除了这些小品场景3D GussianSplatting表现的效果比较出色之外，对于室外更大的场景，根据Luma给出的在线案例效果，同样非常细腻，案例地址放在文末，大家有兴趣可以自己体验一下。

其实在年初的时候，我和国内的一个团队交流过，其实他们内部也已经实现了二者的融合，由于现在开源的框架比较多以及格式开放，所以初步做起来难度并不是很大。

比如在场景生成方面可以采用gaussian-splatting-Windows这个开源工具，而且作者还公布了详细的使用教程，。

在场景编辑方面，对GussianSplatting PLY格式的场景可以采用PlayCanvas的开源工具SuperSplat，最直接的就是对场景进行裁剪，对周边的一些质量比较差的区域进行裁剪以及对场景文件进行压缩。

在前端方面，基于Threejs，也都有了相应的开源工具GaussianSplats3D可以直接使用，由于3DGS是一种显示表达的格式，每个高斯都有相应的位置，所以模型转换到统一的地理空间坐标系下也是比较容易的。

在游戏引擎方面，UE的市场上也有GussianSplatting相应的插件，支持PLY格式数据导入，支持空间点数据的八叉树优化和LOD渲染，不过是付费的。

根据最近的一些进展来看，现在通过AI合成场景的研究工作都开始从NeRF转向了3D GussianSplatting领域，同时最近也产生了一系列的研究成果包括上海人工智能实验室发布的Octree-GS，为了解决3D GussianSplatting大场景的渲染问题，引入了八叉树这种LOD解决方案，这个在地理信息领域一直是一个万金油方法，数据大了就分级、分块。

不过基于「软点」的GussianSplatting相对于过去基于Mesh的方法处理起来的难度相对来说可能会更小一些，本质上就是在顾及外观表现的情况下做好数据点密度的分级过滤就可以，所以在GussianSplatting阶段过去一些厂商在数据简化方面积累的优势可能就会不存在了，因为在新的技术条件下这个问题可能根本就不再是个问题了。

同时还有InstantSplat方法，其通过使用DUSt3R来替换传统3D GussianSplatting生成管道中需要依赖的COLMAP，DUSt3R基于Transformer，采用端到端的训练，可简化从任意图像集合中重建三维场景的过程，而无需事先了解相机校准或视点位置的信息，同时支持使用非常少的照片就可以实现3D的重建，比如下图展示的就是通过该方法可以实现基于两张图片就可以实现3D小熊的重建。

根据论文的介绍，InstantSplat可以做到40秒内实现GussianSplatting场景重建，如果有更广泛的适配性，则该方法真的就可以做到又快又好了。

最近和一些开展实践的团队交流的过程中，也确实发现在工程应用的时候，单纯的依靠相机的数据会出现局部重建失败的情况，所以现在也有通过在硬件上融合激光点云的方案来提升该方法在工程上的稳定性，毕竟做几个demo和真正的复杂工程应用场景相比还是有区别的，在工程上通常需要采用一些冗余的方案来保证稳定性，后面有机会我也会找相应的一些工程化的解决方案具体实践一下，到时候再推出具体的内容。