一个将图片转3D的开源项目TripoSR

news2024/9/22 13:44:28

TripoSR AI是StabilityAI联合发布的图生3D模型，TripoSR是一个快速的3D物体重建模型。TripoSR能够在不到一秒钟的时间内从单张图片生成高质量的3D模型。TripoSR模型的特点是能够快速处理输入，在 NVIDIA A100 GPU 上不到 0.5 秒的时间内生成高质量的 3D 模型。TripoSR在定性和定量评估中都表现出卓越的性能，在多个公共数据集中优于其他开源替代方案。下图说明了TripoSR相对于其他领先型号的性能的视觉比较和指标。

该模型有两个版本，一个是可以独立运行的TripoSR，一个是可以与ComfyUI集成的图生3D节点。该模型在 MIT 许可下发布，其中包括源代码、预训练模型和交互式在线演示。我们的目标是使研究人员、开发人员和创意人员能够突破 3D 生成式 AI 和 3D 内容创作的可能性。

一、TripoSR

1、代码地址：

git clone https://github.com/VAST-AI-Research/TripoSR.git

2、配置

#设置python环境
conda create -n tsr python=3.10
conda activate tsr

#安装pytorch
pip3 install torch torchvision torchaudio

安装相关依赖

pip install --upgrade setuptools

cd TripoSR
pip install -r requirements.txt

安装gradio

pip install gradio

3、模型地址：

(1)TripoSR模型地址：https://huggingface.co/stabilityai/TripoSR

下载config.yaml和model.ckpt，两个文件，点击VERIFIED值转到以下页面，并复制该值。

VERIFIED值：2ba2f5591f8eb0821784764ab9ab99a12e1abb08，注意不同版本时该值可能不同。本案所讲解的只代表这一阶段下载时的VERIFIED值。将这两个文件放置到下面的文件夹中。设置位置如下：

/root/.cache/huggingface/hub/models--stabilityai--TripoSR

在这下面创建以下几个文件：

blobs文件夹，保持为空

refs文件夹，下面一个main文件，main文件中放置下载时的VERIFIED值，当前下载时的VERIFIED值为：2ba2f5591f8eb0821784764ab9ab99a12e1abb08

snapshosts文件夹，在这下面以VERIFIED值为文件夹创建一个文件夹，名字为：2ba2f5591f8eb0821784764ab9ab99a12e1abb08，然后把模型放在这个文件夹下面

(2)dino-vitb16

该模型位于：https://github.com/facebookresearch/dino

目录结构如下：/root/.cache/huggingface/hub/models--facebook--dino-vitb16，目录结构同（1）

dino-vitb16当前版本的VERIFIED值为:f205d5d8e640a89a2b8ef0369670dfc37cc07fc2

与（1）的方法一样，创建相应的文件夹，把模型和文件放入相应的文件夹。

（3）u2net.onnx：一般情况下，运行gradio_app.py会自动下载该模型，如无法正常下载，你可以手动将该模型考贝到：

/root/.u2net/u2net.onnx

4、运行

修改运行文件：gradio_app.py

    interface.launch(
        auth=(args.username, args.password) if (args.username and args.password) else None,
        share=args.share,
        server_name="0.0.0.0" if args.listen else None,
        server_port=args.port
    )

#修改为：

    interface.launch(
        auth=(args.username, args.password) if (args.username and args.password) else None,
        share=True,
        server_name="192.168.29.221",#请填写实际的服务器IP地址。
        server_port=args.port
    )

图形页面请运行下面的指令：