原创 | 文 BFT机器人

随着虚拟现实和虚拟世界技术的发展，博物馆藏品的数字化是一个越来越受关注的新兴话题。世界上许多著名的博物馆都在为网上展览建立自己的数字馆藏。

在这些藏品中，有一种特殊而重要的藏品昆虫、人体组织、水生生物和其他易碎的标本需要保存在一些坚硬但透明的材料中（图1）。

为了将这些藏品数字化，抽象出一个独特的研究问题，即透过玻璃般的外部观察并恢复内部物体的几何形状。具体来说，任务是从场景的多个2D视图中重建感兴趣对象的3D几何形状。

图1

该任务的一个主要挑战是在空气和透明块的界面上由光的反复反射和折射引起的严重的图像畸变。由于它使单视点假设失效，大多数现有的多视点三维重建方法往往失败。因此，本文提出了一种新的方法ReNeuS，它使用一种新颖的混合渲染策略，考虑到玻璃/空气界面上多次光线反射和折射，以精确地重建三维模型。

01  该篇论文的创新点

1. 提出了一种新的研究问题，即透明容器内部物体的三维重建问题。

2. 提出了一种新的三维重建方法ReNeuS，该方法可以处理玻璃/空气界面上多次光线反射和折射，并且能够对复杂场景进行分割和重建。

3. 使用了一种基于射线跟踪和体积渲染技术相结合的混合渲染策略来处理两个子空间之间的光线交互，从而提高了重建效果。

图2 ReNeuS框架的概览图。

ReNeuS是一种新颖的神经重建方法，用于透明容器中昆虫的三维重建。该方法的主要步骤包括场景分割、神经渲染、反向传播训练和三维重建。

首先，对于给定的透明容器场景，ReNeuS将其分为内部和外部两个子空间（图2）。

内部子空间包含昆虫标本及其周围环境，而外部子空间则包含容器壁和周围环境。这种场景分割方式可以有效地减少光线追踪过程中的计算量，并提高重建精度。

接下来，ReNeuS使用多层感知器（MLPs）对内部场景进行编码，以表示几何和外观信息。

具体来说，ReNeuS使用隐式神经网络来表示内部场景的表面形状，并使用体积渲染技术来表示其外观特征。这种神经隐式表示方式可以有效地处理复杂的光线折射和反射现象，并提高重建精度。

然后，ReNeuS使用递归光线追踪过程来生成图像。

在每个迭代步骤中，通过神经隐式表示计算每个子光线的辐射度，并将其累加到颜色值中。这种神经渲染方式可以有效地处理复杂的光线传输现象，并提高重建精度。

接着，ReNeuS使用反向传播算法来训练神经网络，以最小化预测图像与真实图像之间的差异。

具体来说，ReNeuS使用渐进式训练策略来逐步优化神经网络的性能，以提高重建精度和泛化能力。在每个训练阶段，ReNeuS使用真实图像和预测图像之间的差异来计算损失函数，并使用反向传播算法来更新神经网络的权重。

最后，ReNeuS使用基于体素的三维重建算法来从渲染图像中恢复昆虫标本的三维形状。

具体来说，ReNeuS将渲染图像转换为体素表示，并使用Poisson重建算法来生成光滑的三维网格模型。这种基于神经网络和体素表示的三维重建方法可以有效地处理复杂的透明场景，并提高重建精度和效率。

02  实验

在实验中，作者使用了一个包含10个真实昆虫标本的透明玻璃容器数据集和一些合成数据集来评估他们的方法。作者还与其他基线方法进行了比较，包括传统的多视角立体重建方法和最新的深度学习方法。

结果表明，ReNeuS在处理透明场景中的三维重建问题方面表现出色，并且可以重建出小昆虫标本的翅膀和触角等细节结构。这些实验结果证明了ReNeuS方法的有效性和优越性。

图3展示了在合成数据集上使用ReNeuS和基线方法进行三维形状重建的结果。

表1展示了在合成数据集上使用ReNeuS和其他基线方法进行定性评估的结果。

图4展示了在真实数据集上使用ReNeuS和其他基线方法进行三维重建的可视化结果。

论文的结论是作者提出的ReNeuS方法可以成功地解决透明容器中物体的三维重建问题，并且在实验中取得了比其他基线方法更好的效果。

这个方法可以应用于数字化脆弱博物馆藏品等领域，为文化遗产保护和数字化提供了新的思路和方法。

网址：

https://xueshu.baidu.com/usercenter/paper/show?paperid=1m4q0tj0gc530ay0rs4p04w0e5712811&site=xueshu_se

标题：

Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container

更多精彩内容请关注公众号：BFT机器人

本文为原创文章，版权归BFT机器人所有，如需转载请与我们联系。若您对该文章内容有任何疑问，请与我们联系，将及时回应。