论文阅读:“Appearance Capture and Modeling of Human Teeth”

news2024/11/28 20:49:10

文章目录

  • Abstract
  • Introduction
  • Method Overview
  • Teeth Appearance Model
    • Enamel
    • Dentin
    • Gingiva and oral cavity
  • Data Acquisition
    • Image capture
    • Geometry capture
  • Results
  • References

Abstract

如果要为电影,游戏或其他类型的项目创建在虚拟环境中显示的人类角色,我们通常需要获取人体的几何表示及其散射参数(用于表达人体几何表示与场景光线之间的交互)。牙齿不仅需要通过光与表面的交互来定义,同时需要通过其内部几何形状和口内环境来定义,所以这提出了一个独特的挑战。

因此,迪士尼提出了一种专门用于捕捉真人牙齿光学特性的系统,用以支持在计算机图形中重新渲染它们。研究人员在传统的多相机与光源设置中获取的口腔内环境数据,并且利用了口腔扫描的精确几何形状。为了模拟反向渲染期间口腔中光线的复杂相互作用,他们采用了基于衍生路径追踪的新型管道来参照牙齿表面的光学性质和几何形状。

迪士尼指出,最终的外观能够忠实地还原真人牙齿,并且可直接用于传统的路径追踪框架以渲染虚拟人类

Introduction

尽管相关领域已存在大量的研究,特别是在医疗牙科领域,但捕捉牙齿形状及其在口腔内的位置,并且获取它们的光学性质一直是个挑战。

每个人的牙齿都会因为个人习惯、年龄、社会经济背景等呈现出独特的特征。尽管现在绝大多数的口扫设备可以捕捉颜色信息,但它们不能表达出牙齿的一些复杂光学特性,因此展现的结果很不自然,如下图所示。

在这里插入图片描述

牙齿的散射特性由其最外层的两种光学特性迥异的材料决定,如下图所示:

在这里插入图片描述
内核由牙本质(dentin)构成,牙本质对色度的影响最大,也是牙齿发亮的原因。牙本质上覆盖着一层厚度不等的牙釉质(enamel)。牙龈处的牙釉质通常较薄,而牙尖处的牙釉质较厚,这就造成了色度的渐变。牙釉质是一种结构致密的材料,但比牙本质薄。它具有高度的半透明性。

在微观层面上,牙釉质是由从牙本质向表面延伸的棒状物(enamel rods)形成的,会造成强烈的各向异性光传播。半透明的牙釉质显示出乳白色的特征,使牙齿在蓝色光谱中产生反向散射,因此从另一面看会呈现红黄色。牙齿表面的变化、裂纹、污渍和其他瑕疵也为牙齿外观增添了一层丰富的视觉效果。

迪士尼团队补充了现有的形状重建方法,如口腔内扫描或口腔外适配。他们利用了通过口腔内扫描和片段获取的几何参数,并根据 Wu 等人的说法(Model-Based Teeth Reconstruction,牙齿重建方面开创性的一篇文章,值得阅读)等方法从多个视角和多种照明条件对嘴部区域进行成像,通过这种方法获取了外观数据。

为了模拟口腔内光线的复杂交互和牙齿体积,迪士尼团队利用了一个修改过的路径追踪框架来估算导数与优化参数的关系,并同时执行常规渲染。基本上,他们的方法迭代解决了整个可见场景下的辐射传递整数。此外,文章不仅只是优化了散射参数(反照率,密度,表面纹理),同时还优化了几何参数(牙本质表面形状)。研究人员根据基本的牙釉质形状建模了牙本质形状,并将其作为一组变形,从而能够在优化循环中以参数进行控制。

迪士尼利用了从口腔科获取的一颗坏死牙齿来验证他们的解决方案,并进一步应用于实际的被试身上(如下图)。他们指出:“在这两种情况下,我们的方法都能够逼真地创建了牙齿的整体外观。由于应用于优化循环的主要框架是基于路径追踪,由此得到的参数只需小幅度的修改即可用于重新渲染牙齿。”

在这里插入图片描述
[Various comparisons of our recovered teeth appearance parameters rendered next to corresponding reference images, from different viewpoints and lighting conditions. Reference images are on the left for individual teeth comparisons, and above for full teeth rows.]

Method Overview

光线在与牙齿相互作用时会经过许多路径。首先,光线与表面相互作用,表面的特点是有一个粗糙的电介质层(dielectric layer),然后被反射或折射到内部。内部的相互作用主要由牙齿的两层决定:牙釉质和牙本质。因此,研究人员确定了定义牙齿外观的三组参数:表面反射率和透射率次表面散射参数内部牙本质形状。该方法旨在得出一组合理的模型参数,以便在牙齿相对于口腔被外部照射的情况下进行高质量的渲染。

Teeth Appearance Model

Enamel

牙釉质边界是牙齿的外部边界,以三角形网格建模。为了模拟光与空气-牙釉质边界的相互作用,文章中使用了改进版的光滑介质 BSDF,它采用了用 "薄 "电介质层分隔空气和牙釉质的概念。

BSDF(双向散射分布函数)是一个在计算机图形学和物理光学中使用的术语,用于描述一个表面如何散射和吸收光线。BSDF可以看作是一个函数,它接受入射光的方向和表面材料的特性,然后返回一个值,这个值表示了从该方向入射的光线在被表面散射后,在特定方向上离开表面的强度。

更具体地说,BSDF 定义了从入射方向( ω i \omega_i ωi)到出射方向( ω o \omega_o ωo)的光线散射概率密度。

Dentin

牙釉质层的厚度在很大程度上影响着到达牙齿牙本质的光量,因此对整体外观有重大影响。文章使用一组变形定义的混合形状模型来模拟牙釉质-牙本质界面,从而改变厚度:
V = B 0 + c ⋅ ( B − B 0 ) T V=B_0+c\cdot (B-B_0)^T V=B0+c(BB0)T其中, B B B 代表混合形状模型, B 0 B_0 B0 为初始模型, c c c 则为向量权重。通过实验,研究人员得出结论:三种模式就足以捕捉到牙釉质厚度差异引起的散射的大部分可见变化。这些模式代表了典型牙齿空间中沿三个主要轴线的变形;如下图所示。

在这里插入图片描述

Gingiva and oral cavity

牙龈以及整个口腔确实对牙齿的外观有间接影响,因为它们会将皮肤色光散射到牙齿上。为了解释这种散射光,防止优化预测出有色牙齿,必须对其进行建模。

牙龈的模型是一个三角形网格,包裹着牙根的外部边界。由于可以直接观察牙龈,因此这里使用与牙釉质相同的参数集,通过数值优化提取牙龈的外观,折射率固定不变( η = 1.33 \eta=1.33 η=1.33)。

口腔高度闭塞,难以捕捉,但由于光线从口腔壁反弹并照亮阴影区域,因此对外观影响很大。文章使用了一个替代网格(substitute mesh),将漫反射设置为自由参数。其起点是通过相似性理论和之前优化牙龈散射参数得出的平均值。

Data Acquisition

Image capture

在这里插入图片描述

为了获得准确的外观参数,研究人员需要对入射光和出射光的方向进行密集采样。为此,在一个由 155 盏灯(每盏灯都是 RGB LED 三连灯)组成的光罩中拍摄每名志愿者,每盏灯距离牙齿约一米。由于头部的 occlusions,研究人员记录了 54 盏灯的图像,涵盖了所有可见的入射方向。

研究人员用三台彩色摄像机(Ximea CB200CG)捕捉多视角图像,摄像机安装在灯罩边缘,配有长镜头,以最大限度地提高牙齿的分辨率,记录 2000 万像素的图像,并与各个灯的激活同步。

Geometry capture

仅凭捕捉到的图像不足以进行外观优化,因为还需要了解牙齿的几何形状。虽然存在轻量级的牙齿重建方法,但它们无法恢复牙齿背面的准确形状,只能在图像覆盖率较低的地方假设牙齿的形状。由于需要评估 volumetric light paths,因此研究人员需要精确的牙齿四面边界。

在这里插入图片描述

研究人员使用口内扫描仪对志愿者的牙齿进行专业扫描。为了分割扫描中的牙齿并将它们从牙龈中分离出来,文章使用了 Wu 等人 [3] 描述的半自动模板拟合方法将模板牙齿网格与扫描几何图形对齐。由于牙齿的外观与牙龈紧密相连,研究人员还根据扫描结果对牙龈的几何形状进行了艺术建模。最后,通过手动选择一组稀疏的 corresponding landmarks 并求解刚性变换,将得到的牙齿几何形状和牙龈模型与相机坐标框架对齐。

Results

在这里插入图片描述


在这里插入图片描述

References

[1] Velinov, Z., Papas, M., Bradley, D., Gotardo, P., Mirdehghan, P., Marschner, S., … & Beeler, T. (2018). Appearance capture and modeling of human teeth. ACM Transactions on Graphics (ToG), 37(6), 1-13.
[2] “迪士尼提出了一种专门用于逼真捕捉真人牙齿光学特性的系统”,映维网,https://www.sohu.com/a/285369063_213766
[3] Wu, C. , Bradley, D. , Garrido, P. , Zollhfer, M. , Theobalt, C. , & Gross, M. , et al. (2016). Model-based teeth reconstruction. International Conference on Computer Graphics and Interactive Techniques. ACM.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1254167.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

什么是零拷贝 、零拷贝优化方案 - 真正的零拷贝,哪些地方会用到零拷贝技术

文章目录 什么是零拷贝3、零拷贝优化方案 - 真正的零拷贝哪些地方会用到零拷贝技术 现在来谈谈零拷贝,以及在开发中哪些地方使用到零拷贝。 开干… 什么是零拷贝 零拷贝指的是,从一个存储区域到另一个存储区域的copy任务无需CPU参与就可完成。零拷贝的底…

lv11 嵌入式开发 C工程与寄存器封装 10

目录 1 C语言工程介绍 1.1 工程模板介绍 1.2 启动代码分析 2 C语言实现LED实验 2.1 C语言如何实现寄存器读写 2.2 实现LED实验 2.3 练习 1 C语言工程介绍 1.1 工程模板介绍 工程目录,后续代码都会利用到这个目录 interface.c 写了一个main函数的框架 int …

基于springboot实现学生成绩管理系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现学生成绩管理系统演示 摘要 随着信息技术和网络技术的飞速发展,人类已进入全新信息化时代,传统管理技术已无法高效,便捷地管理信息。为了迎合时代需求,优化管理效率,各种各样的管理系统应运而生&am…

***Linux常用命令及解释

1、查看Linux的版本信息 1.1、uname -a 1.2、cat /etc/issue 1.3、cat /proc/version 1.4、hostnamectl 通过使用hostnamectl命令,可以查询和更改系统主机名,并且还可以查看Linux的发行版和内核版本。 2、删除文件 3、修改目录权限 4、解压文件 5、…

5 个适用于 Windows 的顶级免费数据恢复软件

对于计算机来说,最重要的是用户数据。除了您的数据之外,有关计算机的其他所有内容都是可替换的。这三个是数据丢失的最常见原因: 文件/文件夹删除丢失分区分区损坏 文件/文件夹删除 文件/文件夹删除是最常见的数据丢失类型。大多数时候&am…

基于springboot实现农机电招平台系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现农机电招平台系统演示 摘要 随着农机电招行业的不断发展,农机电招在现实生活中的使用和普及,农机电招行业成为近年内出现的一个新行业,并且能够成为大群众广为认可和接受的行为和选择。设计农机电招平台的目的就是借助计算…

visual Studio MFC 绘制单一颜色三角形、渐变颜色边框三角形、渐变填充三角形、边框渐变的正方形与填充渐变的正方形实例

MFC 绘制三角形 本文使用visual Studio MFC 平台实现绘制单一颜色三角形、渐变颜色边框三角形、渐变填充三角形、边框渐变的正方形与填充渐变的正方形. 关于基础工程的创建请参考Visual Studio 使用MFC 单文档工程绘制单一颜色直线和绘制渐变颜色的直线 文章目录 MFC 绘制三角形…

基于springboot实现私人健身与教练预约管理系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现私人健身与教练预约管理系统演示 摘要 随着信息技术和网络技术的飞速发展,人类已进入全新信息化时代,传统管理技术已无法高效,便捷地管理信息。为了迎合时代需求,优化管理效率,各种各样的管理系统应…

Leetcode—15.三数之和【中等】

2023每日刷题&#xff08;四十一&#xff09; Leetcode—15.三数之和 实现代码 class Solution { public:vector<vector<int>> threeSum(vector<int>& nums) {sort(nums.begin(), nums.end());vector<vector<int>> ans;int i, j, k;int s,…

STM32 SCF文件

文章目录 1 SCF文件2 SCT分散加载文件3 SCF文件编写 1 SCF文件 keil编译器在链接的时候&#xff0c;是根据分散加载(.scf后缀的文件)来确定程序的加载域和运行域的。 加载域就是程序运行前在flash中具体分区情况执行域就是程序运行后&#xff0c;程序在flash和ram中的分区情况…

服务运营 |精选:病人向何处去?医院调度的几种建模方法(上)

推文作者&#xff1a; Shutian Li 编者按&#xff1a; 住院流程&#xff08;Inpatient Flow&#xff09;是一种通过协调和优化医院内部流程&#xff0c;以提高患者入院至出院期间的效率和质量的方法。住院流程通常通过医院内部信息系统和协同工作流程进行管理&#xff0c;以确…

Proteus仿真--基于1602LCD的秒表设计

本文介绍基于1602LCD的秒表设计&#xff08;完整仿真源文件及代码见文末链接&#xff09; 仿真图如下 本设计中80C51单片机作为主控&#xff0c;用1602LCD作为显示模块&#xff0c;共有2个按键&#xff0c;K1按键用于秒表计时启停控制&#xff0c;K2用于清零显示内容 仿真运…

Deepin使用记录-deepin系统开启SSH服务

1、检查安装的deepin系统是否已经开启SSH功能。 $ ps -e | grep ssh $ ps -e | grep ssh 查看是否启动ssh 2、安装openssh-server服务 sudo apt-get install openssh-server 如果出现以上提示&#xff0c;就表示你已经安装了ssh服务&#xff0c;只是还没有启动。 3、安装完…

Scope 模块

Scope 模块可以连接任何类型的实数信号线 (不支持复数)。 波形显示界面主要包括两个部分: Scope 独有的工具栏、波形显示区域。 波形显示界面默认是黑色背景, 当有单个信号输入时, 信号线是黄色的。 Scope 模块也有菜单栏, 只不过默认将其句柄和显示都隐藏起来, 可以通过下面…

Kafka-TopicPartition

Kafka主题与分区 主题与分区 topic & partition&#xff0c;是Kafka两个核心的概念&#xff0c;也是Kafka的基本组织单元。 主题作为消息的归类&#xff0c;可以再细分为一个或多个分区&#xff0c;分区也可以看作对消息的二次归类。 分区的划分为kafka提供了可伸缩性、水…

RocketMq 主题(TOPIC)生产级应用

RocketMq是阿里出品&#xff08;基于MetaQ&#xff09;的开源中间件&#xff0c;已捐赠给Apache基金会并成为Apache的顶级项目。基于java语言实现&#xff0c;十万级数据吞吐量&#xff0c;ms级处理速度&#xff0c;分布式架构&#xff0c;功能强大&#xff0c;扩展性强。 官方…

Vue框架学习笔记——事件scroll和wheel的区别

文章目录 前文提要滚动条滚动事件 scroll鼠标滚动事件 wheel二者不同点 前文提要 本人仅做个人学习记录&#xff0c;如有错误&#xff0c;请多包涵 滚动条滚动事件 scroll scroll事件绑定html页面中的指定滚动条&#xff0c;无论你拖拽滚动条&#xff0c;选中滚动条之后按键盘…

学生信息管理系统程序Python

系统主界面 在该界面中可以选择要使用功能对应的菜单进行不同的操作。在选择功能菜单时&#xff0c;有两种方法&#xff0c; 一种是输入1&#xff0c;另一种是按下键盘上的↑或↓方向键进行选择。这两种方法的结果是一样的&#xff0c;所以使用哪种方法都可以。 &#xff08;…

【Docker】安装MySQL 通俗易懂 亲测没有任何问题

目录 1.拉取镜像 2.运行容器 3.创建mysql配置文件 4.测试 1.拉取镜像 dockerhub官网&#xff1a;Docker 如果需要其他版本mysql docker pull mysql:xxx&#xff08;版本&#xff09; docker pull mysql #默认拉取最新版本 latest 2.运行容器 docker run -d -p 3306:33…

《大江大河2》最触动我的两段经典对话

第一部分 默默的关注了《大江大河》&#xff0c;第2部依旧保持了和第1部的水准&#xff0c;难得看到这么良心的电视剧。 相比于原剧本来说&#xff0c;我更喜欢改编后的内容&#xff0c;剧情更加凝重&#xff0c;深刻&#xff0c;关键是真实。 宋运辉开始是不认识路司长的&…