DreamTech 推出原生 3D-DiT 大模型 Direct3D

前言

3D-DiT大模型Direct3D

就目前的AI市场而言，将文本和图像转化为高质量的3D资产一直很难实现，主要目前缺乏一种能够捕捉复杂几何结构而且还能够扩展的3D的方法。但 DreamTech 发布了一种名为Direct3D的新型3D生成模型，它能够直接处理野外输入的图像，而无需依赖多视图扩散模型或SDS优化。

介绍Direct3D

部分参考图片

Direct3D模型由两个关键组件构成：直接3D变分自动编码器（D3D-VAE）和直接3D扩散变压器（D3D-DiT）。D3D-VAE能够高效地将高分辨率的3D形状编码到一个紧凑且连续的潜在空间中。该方法采用了一种半连续表面采样策略，直接对解码后的几何体进行监督，这与传统依赖渲染图像作为监督信号的方法有所不同。

D3D-DiT则负责对编码后的3D潜在变量的分布进行建模，它专门设计用来融合来自三个不同潜在空间的特征图的位置信息，从而实现对大规模3D数据集的原生3D生成。而且他们团队还引入了一种创新的图像到3D生成流程，该流程包含了语义和像素级的图像条件，使得模型能够生成与给定条件图像输入一致的3D形状。

通过大量实验，他们也证明了Direct3D在大规模预训练后，相较于以往的图像到3D方法，展现出了更好的生成质量和更强的泛化能力，为3D内容的创造设定了新的技术标准。

总结

​DreamTech通过推出Direct3D这一革命性的3D生成模型，不仅解决了将文本和图像转化为高质量3D资产的难题，还为AI市场带来了前所未有的创新。

厚德云官方最近推出GPU狂欢月活动！高配4090折扣劲爆价！如果你对算力感兴趣或有需求，可以来厚德云官方看看！

厚德云是专业的AI算力云平台，为用户提供稳定、可靠、易用、省钱的GPU算力解决方案。海量GPU算力资源租用，就在厚德云。