3D生成技术再创新高:VAST发布Tripo 2.0,提升AI 3D生成新高度

news2024/9/22 12:48:44

随着《黑神话·悟空》的爆火,3D游戏背后的AI 3D生成技术也逐渐受到更多的关注。虽然3D大模型的热度相较于语言模型和视频生成技术稍逊一筹,但全球的3D大模型玩家们却从未放慢脚步。无论是a16z支持的Yellow,还是李飞飞创立的World Labs,3D大模型的迭代速度一直在稳步前进。近日,国内3D大模型的领军者VAST发布了最新版本的大模型——Tripo 2.0。这个基于千万级高质量原生数据库训练的超强模型支持文字、单图、多图输入,并在几何精细度和图像还原度上表现出色。

Tripo 2.0的生成速度极为惊人。首先,它可以在几秒钟内生成几何预览,接着迅速生成纹理和PBR材质,将模型的细节展现得一览无遗。无论是复杂的卡通人物、怪物,还是精细纹理的物品,Tripo 2.0都能够轻松应对。在短短几秒内生成的3D模型,其细节和质量甚至比肩传统人工建模师需要数小时才能完成的成果。

Tripo 2.0的技术突破

VAST团队通过一系列技术创新大幅提升了3D模型生成的效率和质量。Tripo 2.0采用了DiT和U-Net的混合架构,既能够捕捉3D结构的全局上下文,又能够保留局部特征的精细度,使得生成的效果更加细腻。此外,Tripo 2.0利用了最先进的流模型与蒸馏算法,在不牺牲生成质量的前提下,显著提升了效率。无论是生成形状的准确性、材质的精度,还是整体细节的表现,Tripo 2.0都达到了一个全新的高度。

Tripo 2.0的一大亮点在于其高可控性。用户可以通过多模态输入生成3D模型,并能够通过负向prompt控制模型内容的生成。除此之外,用户还可以调整输出模型的姿态和比例,甚至可以选择模型的姿势,如“A-pose”或“T-pose”,这大大提升了模型生成的灵活性和适用性。

Tripo 2.0文生3D模型实测

先来一波文生3D效果的实测。首先生成的是“动漫少女的半身形象”,在复杂结构的生成上,细节十分丰富:

接下来,我们为其添加皮肤。在不超过20秒的时间内,模型获得了精细的纹理和层次感,人工建模可能需要成百上千倍的时间才能达到这个水平。

换个题目,我们尝试生成卡通形象的全身形象——卡通小矮人。结果相当可爱(配上宋丹丹式的笑声)

还生成了一个带有复杂细节的小怪物。即便放大模型并360度旋转查看,依然没有发现bug和瑕疵。对于人工建模师而言,怪物背后的尖刺细节本是个噩梦,但对Tripo来说毫无压力。

进一步加大难度,Tripo依旧能完美驾驭复杂的3D模型生成任务,其透视结构理解能力十分出色。

最后我们生成了一个购物车,这样的复杂任务对Tripo来说也毫无难度。

Tripo 2.0图生3D模型实测

再来看一波图生3D的效果。

图生3D模型的生成算法特别考验对图片空间信息的理解和还原度。我们横向对比了一些市场上的其他玩家,发现Tripo 2.0在几何形状的还原度和完整度上表现尤为突出。

测试完植物后,我们尝试了无生命物体的图生模型。比如一个复活节彩蛋的图片,Tripo 2.0生成的3D模型浮雕感最强,纹理细节也是最精致的。

通过多次测试,发现Tripo 2.0不仅在生成质量上脱颖而出,其高度可控性也是一大特点。

比如生成的PBR材质具有⾼保真度,保留了原图表⾯属性和视觉效果:

再比如,不管侧面、背面,每个面都能捕捉复杂的原图特征:

Tripo 2.0不仅生成质量让人眼前一亮,更高的可控性也是一大特点。

输入不仅支持多模态,当选择文生3D模型模式时,还支持输入负向prompt(就是不让生成模型中带有什么元素)。

对输出模型姿态的控制性也很绝。

既能自定义所生成3D模型头、腿、手臂等比例。

还能“A-pose”“T-pose”两个姿势随便选,秒秒钟设定大长腿:

生成好的3D模型还可以一键绑定骨骼、风格化。

3D模型人拥有自己的乐高!

更多玩法大家可以慢慢探索,欢迎大家评论区共创~

VAST的技术积累

VAST自2022年成立以来,已在3D生成技术领域取得了多项突破。Tripo 1.0发布后短短半年内,全球用户生成的3D模型就已超过500万个,远超全球前三大3D模型数据库的总和。如今Tripo 2.0问世,进一步巩固了VAST在3D生成AI领域的领先地位。

VAST的技术团队在学术界同样表现亮眼,多次在Siggraph、CVPR、ICLR等顶级会议上发表研究成果,进一步展示了其在全球3D生成AI领域的影响力。

3D生成技术的未来展望

VAST的目标是打造大众级别的3D内容创作工具,建立3D的UGC内容平台,让3D空间成为用户体验、内容表达、和生产力提升的关键要素。VAST的创始团队拥有深厚的商汤背景,创始人兼CEO宋亚宸和CTO梁鼎都在AI领域有着丰富的经验。

自成立以来,VAST动作频频。年初,VAST亮相了首个3D大模型Tripo 1.0,而仅仅几个月后,他们又与Stability AI合作推出了TripoSR,进一步提升了生成速度和质量。现在,Tripo 2.0已经上线并可在线使用,凭借3D Scaling Law带来的效能提升,Tripo更新周期仅9个月。

3D建模经典之「牛油果扶手椅」,Tripo 1.0生成​

今年3月初,VAST又联合Stable Diffusion背后的Stability AI,共同推出了开源的3D基础模型TripoSR。

因其能够达成“0.5秒完成单图生成3D模型”的成就,在3D生成领域的开源届广受欢迎,至今GitHub上揽星4.3k。

现在,Tripo 2.0又问世了,已经在线可玩。

得益于3D Scaling Law带来的效果提升,Tripo的这三次更新时间跨度仅仅有9个月。

而且有速度也有质量,效果在业内外颇受认可。

拿一则新消息来佐证一下:不久前,世界最大在线游戏开发平台Roblox官宣入局AI 3D生成,但截至目前,Tripo都是Roblox玩家最风靡的3D建模的趁手工具。

VAST未来将持续推动3D生成式AI的技术边界,不断探索3D Scaling Law的研究模型,并进一步提升3D生成模型的质量和扩展能力。我们期待3D生成领域迎来自己的“ChatGPT时刻”。

随着3D生成技术的快速发展,AI在这条赛道上展现了巨大潜力。未来,随着更多技术突破,3D生成或将成为AI领域的下一个焦点。

ChatGPT-4o需要请关注并私信我哦!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2155093.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

通过FUXA在ARMxy边缘计算网关上实现生产优化

在当今工业4.0时代,智能制造的需求日益增长,企业迫切需要通过数字化转型来提高生产效率、降低成本并增强市场竞争力。ARMxy系列的BL340工业级ARM控制器,凭借其强大的处理能力和灵活的配置选项,成为实现生产优化的重要基础。 一、…

【MySQL】—— mysqlcheck表维护程序

目录 (一)作用 (二)使用方法 (三)常用选项 (四)注意事项 (五)mysqlcheck的特殊说明 (一)作用 mysqlcheck 是 MySQL 数据库系统的一…

LeetcodeLCR 116. 省份数量

文章目录 题目原题链接思路 题目 原题链接 LCR 116. 省份数量 思路 利用并查集的思想,将连接的诚实放在一个集合当中,最后遍历并查集数组判断有几颗树 初始化一个并查集;将连通的城市合并;统计并查集中树的个数; C代…

2024.9.16 - 2024.9.22组会报告

通信延迟下车辆协同感知的3D目标检测方法 计算机工程与应用学报 论文要解决什么问题? 车辆协同感知 3D 目标检测在通信延迟条件下精度较低,所以论文想要降低通信延迟对协同感知精度的影响。 论文提出了什么方法? 一种通信延迟下车辆协同…

基于javassm课程实验教学系统设计

开发语言:Java 框架:ssm JDK版本:JDK1.8 服务器:tomcat7 数据库:mysql 5.7(一定要5.7版本) 数据库工具:Navicat11 开发软件:eclipse/myeclipse/idea Maven包&…

Apache CVE-2021-41773 漏洞攻略

漏洞简介 该漏洞是由于Apache HTTP Server 2.4.49版本存在⽬录穿越漏洞,在路径穿越⽬录 <Directory/>Require all granted</Directory>允许被访问的的情况下&#xff08;默认开启&#xff09;&#xff0c;攻击者可利⽤该路径穿越漏洞读取到Web⽬录之外的其他⽂件在…

nvm 下载node报错:Could not retrieve https://nodejs.org/dist/index.json.

报错信息&#xff1a;Could not retrieve https://nodejs.org/dist/index.json. Get "https://nodejs.org/dist/index.json": dial tcp 104.20.23.46:443: i/o timeout 这是因为node源都是国外的服务&#xff0c;连接超时&#xff0c;所以我们把node源设置为国内的镜…

数字图像中感兴趣区域的面积计算一般方法及MATLAB实现

一、引言 在数字图像处理中&#xff0c;经常需要获取感兴趣区域的面积属性&#xff0c;下面给出图像处理的一般步骤。 1.读入的彩色图像 2.将彩色图像转化为灰度图像 3.灰度图像转化为二值图像 4.区域标记 5.对每个区域的面积进行计算和显示 二、程序代码 %面积计算 cle…

从零开始:在VSCode中打造完美的C++开发环境

在现代软件开发中&#xff0c;选择一个合适的集成开发环境 (IDE) 至关重要&#xff0c;它不仅能够提高工作效率&#xff0c;还能让编程变得更加轻松愉快。VSCode 凭借其轻量化、高度扩展性以及强大的插件生态&#xff0c;已成为众多开发者的首选。然而&#xff0c;要在 VSCode …

yolov8道路缺陷检测-道路坑洞检测-道路裂缝检测

路面裂缝检测是计算机视觉在基础设施维护中的一个重要应用。使用 YOLOv8 进行路面裂缝检测的过程与绝缘子检测类似&#xff0c;包括数据准备、模型训练和部署。下面是一个详细的流程&#xff0c;包括代码示例。 1. 数据准备 数据收集 图像采集&#xff1a;通过无人机、车载摄…

电脑文件防泄密软件哪个好?这六款软件建议收藏【精选推荐】

在数字时代&#xff0c;文件泄密简直像是每个电脑用户的噩梦。 你可能还没意识到&#xff0c;重要的商业机密、个人隐私文件分分钟都可能成为他人的“囊中物”。 尤其是在公司办公或远程工作环境下&#xff0c;随便一个操作失误&#xff0c;都会导致数据流向“未知领域”。 所…

【开源免费】基于SpringBoot+Vue.JS图书馆管理系统(JAVA毕业设计)

本文项目编号 T 044 &#xff0c;文末自助获取源码 \color{red}{T044&#xff0c;文末自助获取源码} T044&#xff0c;文末自助获取源码 目录 一、系统介绍二、演示录屏三、启动教程四、功能截图五、文案资料5.1 选题背景5.2 国内外研究现状5.3 可行性分析5.4 用例设计 六、核…

C语言中易混淆概念的关键字

最快的关键字---- register register&#xff1a; 这个关键字请求编译器尽可能的将变量存在 CPU 内部寄存器中而不是通过内 存寻址访问以提高效率。注意是尽可能&#xff0c;不是绝对。你想想&#xff0c;一个 CPU 的寄存器也就那么 几个或几十个&#xff0c;你要是定义了很多很…

智能仓库|基于springBoot的智能无人仓库管理设计与实现(附项目源码+论文+数据库)

私信或留言即免费送开题报告和任务书&#xff08;可指定任意题目&#xff09; 目录 一、摘要 二、相关技术 三、系统设计 四、数据库设计 五、核心代码 六、论文参考 七、源码获取 一、摘要 互联网发展至今&#xff0c;无论是其理论还是技术都已经成熟&#xf…

《当人工智能考上名校》:拥抱变化,让自己无可替代

01 说起人工智能&#xff0c;你会想起什么呢&#xff1f; 2016年3月&#xff0c;谷歌&#xff08;Google&#xff09;旗下DeepMind公司人工智能机器人阿尔法狗&#xff08;AlphaGo&#xff09;与围棋世界冠军、职业九段棋手李世石进行围棋人机大战&#xff0c;以4比1的总比分获…

打开C嘎嘎的大门:你好,C嘎嘎!(2)

前言&#xff1a; 小编在今天已经学完了C嘎嘎的入门知识了&#xff0c;在自己敲了一遍代码以后&#xff0c;开始今天这篇代码的书写了&#xff0c;以加强我的记忆&#xff0c;下面废话不多说开始进入今天的讲解环节&#xff1a; 目录&#xff1a; 1.缺省参数 1.1.缺省参数的概…

【416】【举报垃圾信息】

这题倒挺简单的 注意一下映射关系&#xff0c;再使用字典即可。 class Solution:def reportSpam(self, message: List[str], bannedWords: List[str]) -> bool:nlen(message)if n1:return Falsedictdefaultdict(int)num0for a in message:dict[a]1for b in bannedWords:if…

NXP实战笔记(十六):NXP 32K3xx系列单片机有关OTA升级的思考

目录 1、概述 2、参考资料 3、思考点1&#xff1a;需不需要传统BootLoader&#xff1f; 3.1、无需传统BootLoader 3.2、有传统BootLoader 4、OTA升级之后是否立即实施切换 5、兼容编程会话 6、APP内部集成34、36、37服务 7、Flash放置问题 1、概述 NXP的S32K3系列单片机…

江协科技STM32学习- P16 实验-TIM输出比较(PWD驱动LED呼吸灯,舵机,直流电机)

&#x1f680;write in front&#x1f680; &#x1f50e;大家好&#xff0c;我是黄桃罐头&#xff0c;希望你看完之后&#xff0c;能对你有所帮助&#xff0c;不足请指正&#xff01;共同学习交流 &#x1f381;欢迎各位→点赞&#x1f44d; 收藏⭐️ 留言&#x1f4dd;​…

Redisson 总结

1. 基础使用 1.1 引入依赖 <dependencies><dependency><groupId>org.redisson</groupId><artifactId>redisson-spring-boot-starter</artifactId></dependency> </dependencies>包含的依赖如下 1.2 配置文件 其实默认主机就…