Cesium 加载高斯泼溅(Gaussian Splatting)模型
高斯泼溅(Gaussian Splatting)
高斯泼溅是一种革命性的 3D 重建新方法,它试图解决其他方法存在的一些问题,例如处理时间长。对于这种方法,他们的方法不是将场景表示为体积或网格,而是将世界用作 3D 画布,绘制小笔触,直到场景看起来像输入图像。这种方法的主要优点之一是它不仅可以重建静止图像,还可以重建移动场景:
它从点云开始,为每个点创建一个小笔画,然后慢慢改变每个笔画的大小、位置、旋转和颜色,每次迭代都使用随机梯度下降技术优化这些参数,以减少笔画和输入图像之间的误差。但这还不够,因为有些区域可能需要更多或更少的笔画才能正确绘制,因此每 100 次迭代就会应用一次密集化过程,在需要更多细节的区域中拆分笔画,并在不再需要笔画的区域中将其移除。
高斯泼溅的优点
1.训练时间短:一个场景可以在一个小时的计算时间内完成训练。
2.高渲染 fps:高斯溅射能够以高达 100 fps 的速度实时渲染场景。
3.动态场景:不仅像其他方法一样可以重建静态场景,高斯泼溅还可以重建移动场景。
在Cesium中实现
Web 端渲染 Gaussian Splatting 的开源库
(1) 基于 WebGPU的渲染器——gaussian-splatting-web;
(2)不依赖任何外部的WebGL渲染器——splat ;
(3)基于 Threejs实现的渲染器——Gaussian Splats3D ;
(4)Web端的Gaussian Splatting编辑器——super-splat ;
(5)Babylon.js 中支持了渲染 Gaussian Splatting;
这里需要使用基于 Threejs实现的渲染器——Gaussian Splats3D,在cesium中实现Gaussian Splatting的加载
效果图