北大港中文腾讯提出ViewCrafter:一张图像就可以制作影视特效和游戏画面!

news2024/12/23 1:50:57

北大和港中文联合腾讯人工智能实验室提出了 ViewCrafter,这是一种利用视频扩散模型的先验从单个或稀疏图像合成一般场景的高保真新视图的新方法。

可以简单理解为将复杂的图像转换成新角度的图像版本。首先,它会使用特殊的算法来读取一张或几张图像,创建一个三维的"模型",这就像是把镜头给移动了一样。然后,使用一种叫做视频扩散的技术,从这个模型生成多个角度的图像,确保生成出来的新图像清晰且自然。该方法有望能够在多种应用中有效使用,比如制作游戏画面或者影视特效等。

相关链接

论文地址:http://arxiv.org/abs/2409.02048v1

项目地址:https://drexubery.github.io/ViewCrafter/

论文阅读

ViewCrafter:驯服视频传播模型以实现高保真新颖视图合成

摘要

尽管神经 3D 重建最近取得了进展,但对密集多视图捕获的依赖限制了它们的广泛适用性。在这项工作中,我们提出了ViewCrafter,这是一种利用视频扩散模型的先验从单个或稀疏图像合成一般场景的高保真新视图的新方法。我们的方法利用视频扩散模型强大的生成能力和基于点的表示提供的粗略 3D 线索,通过精确的相机姿势控制生成高质量的视频帧。

为了进一步扩大新视图的生成范围,我们定制了一种迭代视图合成策略和相机轨迹规划算法,以逐步扩展 3D 线索和新视图覆盖的区域。借助 ViewCrafter,我们可以促进各种应用,例如通过使用重建的 3D 点和生成的新视图有效优化 3D-GS 表示来实现实时渲染的沉浸式体验,以及场景级文本到 3D 生成以创作更具想象力的内容。在不同数据集上进行的大量实验证明了我们的方法在合成高保真和一致的新观点方面具有强大的泛化能力和卓越的性能。

方法

给定单个参考图像或稀疏图像集,我们首先使用密集立体模型构建其点云表示,这使得能够精确移动摄像机进行自由视图渲染。随后,为了解决点云渲染结果中出现的大量缺失区域、几何失真和点云伪影,我们训练了一个点条件视频扩散模型作为增强渲染器,促进基于粗点云渲染的高保真和一致的新视图生成。为了实现远程新视图合成,我们采用了一种迭代视图合成策略,该策略涉及迭代移动摄像机、生成新视图和更新点云,从而实现更完整的点云重建并有利于 3D-GS 优化等下游任务。

为了实现更一致的 3D-GS 优化,我们利用迭代视图合成策略逐步完成初始点云并使用 ViewCrafter 合成新视图。然后,我们使用完成的密集点云初始化 3D-GS,并使用合成的新视图来监督 3D-GS 训练。

实验

零样本新视图合成结果(单视图)

上图为摄像机轨迹,下图为沿摄像机轨迹生成的新视图视频。

零样本新视图合成结果 (2 次浏览)

3D 重建结果(单一视图)

文本到 3D 生成结果

点云渲染结果的可视化

第一行显示点云渲染结果,第二行显示ViewCrafter生成的相应新视图。ViewCrafter不仅可以填充点云中的遮挡,还可以处理不正确的几何图形。

结论

本研究提出了 ViewCrafter,这是一种新颖的视图合成框架,它结合了视频扩散模型和点云先验,可实现高保真和准确的新颖视图合成。我们的方法克服了现有方法的局限性,为各种场景类型提供了泛化能力,并为单个和稀疏图像输入提供了适应性,同时保持了新颖视图质量的一致性和准确性。此外,我们引入了一种迭代视图合成方法和自适应相机轨迹规划程序,可促进远程新颖视图合成和针对不同场景的自动相机轨迹生成。除了新颖视图合成之外,我们还探索了 3D-GS 表示的有效优化,以实现实时、高帧率的新颖视图渲染,并调整我们的框架以进行文本到 3D 的生成。

局限性。 尽管我们的方法有其优点,但仍有几个局限性。首先,在有限的 3D 线索下,它可能在合成具有非常大视野范围的新视图时遇到挑战,例如仅从后视图像生成前视图像。此外,我们利用点云作为显式先验,并验证了我们的方法对低质量点云的鲁棒性。然而,在条件点云明显不准确的场景中,挑战可能仍然存在。此外,作为视频扩散模型,我们的方法需要在推理过程中进行多步去噪,这需要相对较高的计算成本。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2112458.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot项目-实现简单的CRUD功能和分页查询

背景 本博文主要是创建了一个新的SpringBoot项目,实现基本的增删改查,分页查询,带条件的分页查询功能。是方便初学者学习后端项目的一个比较清晰明了的实践代码,读者可根据博文,从自己动手创建一个新的SpringBoot项目…

Scratch教师节 —— 感恩教师节

小虎鲸Scratch资源站-免费Scratch作品源码,素材,教程分享平台! Scratch教师节动画作品——感恩教师节 在这个特别的日子里,我们迎来了教师节。为了表达对老师们的感激之情,Scratch平台上的小朋友们用创意与热情制作了精彩的动画作品——“感恩教师节”。…

在国产芯片上实现YOLOv5/v8图像AI识别-【4.3】RK3588使用yolov8+bytetrack实现跟踪更多内容见视频

本专栏主要是提供一种国产化图像识别的解决方案,专栏中实现了YOLOv5/v8在国产化芯片上的使用部署,并可以实现网页端实时查看。根据自己的具体需求可以直接产品化部署使用。 B站配套视频:https://www.bilibili.com/video/BV1or421T74f 背景…

【Canvas与艺术】四叶花

【成图】 【代码】 <!DOCTYPE html> <html lang"utf-8"> <meta http-equiv"Content-Type" content"text/html; charsetutf-8"/> <head><title>386.四叶花</title><style type"text/css">.c…

GDB watch starti i files

watch break starti 在程序的最初开始运行的位置处断下来 ​​ i files 查看程序及加载的 so 的 sections ​​

【Ubuntu】环境准备

平时不怎么接触运维。linux的东西都快忘完了&#xff0c;正好最近腾讯云优惠&#xff0c;38元一年&#xff0c;优惠拉满&#xff0c;拿下一个玩一玩&#xff0c;可以当小程序的服务器&#xff0c;记录一些常用的操作&#xff0c;省的每次用的时候都想不起来 1.有一个linux系统…

对接后端download接口报未知异常错误

你一定遇到过这种情况&#xff0c;在一个项目中下载功能明明好好的&#xff0c;下载接口调用方法与前端调用方法封装的好好的&#xff0c;可是换了一个接口&#xff0c;竟然搞罢工了&#xff0c;类似下面这样的&#xff0c;你会不会无从下手&#xff0c;不知道该怎么办呢&#…

2.C_数据结构_线性表

线性表的描述 线性表就是若干数据的一个线性序列。 数学表达式&#xff1a; L&#xff1a;表名 a0~an-1&#xff1a;数据元素 n&#xff1a;表长&#xff0c;n>0是为非空表 二元描述形式&#xff1a; D&#xff1a;数据元素D用 ai 表示&#xff0c;这个 i 范围是0~n-1 …

【C++从练气到飞升】21---再谈哈希算法:位图 | 布隆过滤器 | 哈希切分

&#x1f388;个人主页&#xff1a;库库的里昂 ✨收录专栏&#xff1a;C从练气到飞升 &#x1f389;鸟欲高飞先振翅&#xff0c;人求上进先读书&#x1f389; 目录 ⛳️推荐 一、位图 1.1 一道面试题 1.2 位图的概念 1.3 位图的模拟实现 1.4 位图的应用 1.4.1 给定100亿…

双项第一!鼎捷强势领跑PLM市场

近日&#xff0c;国际数据公司IDC发布了《中国PLM市场分析及厂商份额&#xff0c;2023&#xff1a;创新左移》 报告数据显示鼎捷PLM2023年收入增长率39.5%&#xff0c;收入增速市场第一 鼎捷在多个细分行业市场中保持领先&#xff0c;在装备制造PLM领域市场份额达到7.9%市占率…

基于 rt-thread的I2C操作EEPROM(AT24C02)

一、AT24C02 The AT24C01A/02/04/08A/16A provides 1024/2048/4096/8192/16384 bits of serial electrically erasable and programmable read-only memory (EEPROM) organized as 128/256/512/1024/2048 words of 8 bits each.AT24C01A/02/04/08A/16A提供1024/2048/4096/8192…

Redis进阶(三)--Redis高性能底层原理

文章目录 第三章、Redis高性能底层原理一、持久化1、RDB&#xff08;1&#xff09;给哪些内存数据做快照?&#xff08;2&#xff09;RDB文件的生成是否会阻塞主线程&#xff08;3&#xff09;bgsave执的行流程&#xff08;4&#xff09;RDB文件&#xff08;5&#xff09;RDB的…

ios免签H5

1、windows下载mobileconfig文件制作工具&#xff0c;可在csdn搜索iPhone_Mobileconfig_Tool下载安装&#xff1b;IOS 从APP Store 下载Apple Configurator 2 2、用申请的域名SSL证书给mobieconfig文件签名&#xff0c;最好下载Apache证书&#xff0c;里面包含 AE86211.crt…

zabbix-高级应用(主被动监控、邮件告警、企业微信告警)

文章目录 zabbix-高级应用监控路由器交换机SNMP简单网络管理协议测试案例配置网络设备创建主机创建监控项测试监控项 自动发现什么是自动发现Discovery&#xff1f;配置自动发现1、创建自动发现规则2、创建Action动作&#xff08;发现主机后自动执行什么动作&#xff09;3、通过…

Python画笔案例-037 绘制彩色格子台阶

1、绘制彩色格子台阶 通过 python 的turtle 库绘制彩色格子台阶&#xff0c;如下图&#xff1a; 2、实现代码 绘制彩色格子台阶&#xff0c;以下为实现代码&#xff1a; """彩色格子台阶.py """ import turtle from random import randomturtle…

小杨做题c++

题目描述 为了准备考试&#xff0c;小杨每天都要做题。第1天&#xff0c;小杨做了a道题;第2天&#xff0c;小杨做了b道题;从第3天起&#xff0c;小杨每天做的题目数量是前两天的总和。 此外&#xff0c;小杨还规定&#xff0c;当自己某一天做了大于或等于m题时&#xff0c;接下…

KRTSt内嵌Lua脚本

KRTSt内嵌Lua脚本 Lua 简介 Lua是一门强大、高效、轻量、可嵌入的脚本语言。它支持多种编程架构&#xff1a;过程编程、面向对象编程&#xff08;OOP&#xff09;、函数式编程、数据驱动编程及数据描述。 Lua结合了简洁的过程语法和强大的数据描述结构&#xff08;基于关联数…

什么是网络准入控制系统?网络准入控制系统七大品牌介绍!

在当今信息化时代&#xff0c;企业网络安全面临着前所未有的挑战。网络准入控制系统&#xff08;NAC, Network Access Control&#xff09;作为一种重要的网络安全技术&#xff0c;扮演着守护企业网络安全大门的关键角色。网络准入控制系统通过对接入网络的设备进行身份验证、安…

为什么现在不建议去电力设计院?终于有人把电力设计院说清楚了!

作者&#xff1a;电气哥 最近电气哥收到了许多面临就业的同学特别是硕士同学有关于电力设计院的咨询&#xff0c;那么现在电力设计院到底还值不值得去&#xff1f;电气哥带你来分析一下电力设计院的前世今生。 01 电力设计院的前世今生 曾经&#xff0c;在我国的大基建时代&…

java设计模式--(行为型模式:策略模式、命令模式、责任链模式)

6&#xff0c;行为型模式 行为型模式用于描述程序在运行时复杂的流程控制&#xff0c;即描述多个类或对象之间怎样相互协作共同完成单个对象都无法单独完成的任务&#xff0c;它涉及算法与对象间职责的分配。 行为型模式分为类行为模式和对象行为模式&#xff0c;前者采用继承…