北京时间6月20日凌晨,CVPR 2024正式公布了最佳论文和最佳学生论文等奖项。
其中,最佳论文有两篇,分别是BioCLIP和Mip-Splatting。
据Mip-Splatting论文的第一作者Zehao Yu的导师、图宾根大学教授Andreas Geiger透露,这篇论文从想法到成稿只用了一个月的时间!
没体验过OpenAI最新版GPT-4o?快戳最详细升级教程,几分钟搞定:
升级ChatGPT-4o Turbo步骤https://www.zhihu.com/pin/1768399982598909952
Geiger还提到,Zehao Yu之前参与过多个项目并发表过论文,但在Mip-Splatting项目之前,他从未接触过高斯泼溅技术。
在回顾Zehao Yu的研究历程时,Andreas Geiger提到:
Zehao已经在我的实验室里做了一段时间的博士生了。他和实验室里的许多人一样,做了很多出色的工作。首先,他参与了一些项目(如TransFuser),并在NeurIPS 2022会议上发表了他的第一篇独立论文(MonoSDF)。
他还开发了一个用于表面重建的完整软件框架,基于SDF模型(SDFStudio)。
在Mip-Splatting之前,他没有使用过高斯泼溅方法。事实上,他当时正在研究另一个使用更「传统」神经隐式表示的项目,但那个项目进展不顺利,遇到了很多障碍。
到了2023年10月,他在业余时间开始尝试高斯泼溅技术。他喜欢在业余时间尝试新事物并研究新的模型。
3DGS(3D Gaussian Splatting)是当时的新技术。简而言之,它可以从几个输入图像中生成逼真的新视角,比NeRF和之前的其他方法更快。
但Zehao对在超出训练姿态分布时渲染的表现感到困惑。这些渲染效果会退化,结构变得太细或太粗。大概当时很多人都注意到了这些现象,但还没有人解决它们。
Zehao有一个简单的解决方案,并且在想这个方法是否够好,是否值得发表。
在10月18日,Zehao写道:「大家好,我计划提交一篇关于解决最近3D高斯泼溅的抗锯齿/缩放伪影的论文到CVPR。我发现这些伪影的主要原因是低通滤波器。
在使用泼溅方法进行渲染时,低通滤波器是非常常见的。
但当它应用于优化框架(从多视图图像重建)时,它会引入一种偏置,使得真实的3D高斯变小(因为滤波器在渲染过程中会使其变大)。
所以当我们放大或缩小时,由于视角与训练视角不同,我们会看到伪影。但我们不能简单地抛弃低通滤波器,因为这样就无法实现抗锯齿。我的解决方案非常简单:
1)我们应该使用较小的低通滤波器,这样低通滤波器的效果不会在训练中占主导地位;
2)添加一个正则化,使得高斯不会变得太小。」
时间非常紧张:从想法到CVPR截止日期只有一个月。通常这种努力不会顺利进行,因为剩下的时间太少,无法进行论文润色或实验。
但Zehao坚信他甚至可以在截止日期前1-2周完成。他正在做实验,我们所有人都开始一起写论文。
我们在11月17日提交给CVPR,并在1月23日惊讶地收到3个「strong accept」的评审意见。
昨天,Mip-Splatting在CVPR获得了最佳学生论文奖。我们非常感谢社区、评审、领域主席和奖项委员会对这个小小想法的认可。
他对高斯泼溅的入门是在业余时间以个人兴趣的形式展开的。
Geiger感叹道:「研究是高度非线性的,难以规划,这正是它令人畏惧和兴奋的地方。我们必须接受这一点。」
Mip-Splatting论文的完整标题是「Mip-Splatting: Alias-free 3D Gaussian Splatting」。
论文链接:https://arxiv.org/pdf/2311.16493
论文介绍了一种用于3D图像渲染的抗锯齿3D高斯泼溅方法——Mip-Splatting。
3D图像渲染是生成三维图像的过程,比如电脑游戏中的逼真场景或动画电影中的角色。
锯齿(alias)是指图像边缘出现的锯齿状不平滑现象。
抗锯齿技术用于消除这些锯齿,使图像边缘更加平滑和自然。
高斯泼溅技术利用高斯分布来平滑图像边缘,减少锯齿效应,使图像更为自然。
Geiger谦虚地表示,这里面有运气的成分,评审结果也未必100%公平。但他分享这段经历是为了表达:研究往往是非线性的。在从事某项工作时,你会发现其他有趣的东西。
不过,他也指出,在现行科研系统中,科学家需要通过提交研究计划和撰写资助申请书来获取资金,这与好奇心驱动的研究理念不符,尤其是在AI这样快速发展的领域。
「你很难制定出一个精确的3年甚至5年愿景,并完全按照这个愿景行事。更可能的是,在研究过程中会出现一些有趣的相关问题,这些问题值得研究,你不应该因为它们与你最初的研究计划不完全一致而忽视它们。」Vladlen Koltun写道。但对此,他也没有很好的解决方案。
如何使用WildCard正确方式打开GPT-4o,目前 WildCard 支持的服务非常齐全,可以说是应有尽有!
官网有更详细介绍:WildCard
推荐阅读:
超越GPT-4o!新王Claude 3.5 Sonnet来啦!免费使用