IDM-VTON本地部署教程：双重编码 + 文字提示，解锁真实野外试穿

news2025/1/30 12:33:59

一、介绍

IDM-VTON：改进扩散模型，实现真实的野外虚拟试穿。

  • 技术原理：改进扩散模型，利用视觉编码器提取服装高级语义信息并与交叉注意力层融合，通过并行 UNet 结构的 GarmentNet 捕捉服装低级特征并与自注意力层结合，还引入详细文本提示，以提升生成图像的真实度。
  • 功能特点
    • 双重编码模组：用两个不同模组编码服装图像语义，将视觉编码器提取的高级语义融合到交叉注意力层，提升影像细节品质。
    • 文字提示增强：将并行 UNet 提取的低级特征融合到自注意力层，结合服装和人物图像的文字提示，增强视觉效果真实性。
    • 客制化方法：使用一对人物服装图像的客制化方法，提高保真度和真实性。
    • 野外试穿优化：针对现实世界场景优化，能在复杂背景和多样姿势下生成高品质试穿影像。

二、部署过程

基础环境最低要求说明：

环境名称版本信息1
Ubuntu22.04.4 LTS
CudaV12.1.105
Python3.8.10
NVIDIA CorporationRTX 4090

1. 更新基础软件包

查看系统版本信息

# 查看系统版本信息，包括ID（如ubuntu、centos等）、版本号、名称、版本号ID等
cat /etc/os-release

1726627581255_image.png

配置 apt 国内源

# 更新软件包列表
apt-get update

这个命令用于更新本地软件包索引。它会从所有配置的源中检索最新的软件包列表信息，但不会安装或升级任何软件包。这是安装新软件包或进行软件包升级之前的推荐步骤，因为它确保了您获取的是最新版本的软件包。

# 安装 Vim 编辑器
apt-get install -y vim

这个命令用于安装 Vim 文本编辑器。-y 选项表示自动回答所有的提示为“是”，这样在安装过程中就不需要手动确认。Vim 是一个非常强大的文本编辑器，广泛用于编程和配置文件的编辑。

为了安全起见，先备份当前的 sources.list 文件之后，再进行修改：

# 备份现有的软件源列表
cp /etc/apt/sources.list /etc/apt/sources.list.bak

这个命令将当前的 sources.list 文件复制为一个名为 sources.list.bak 的备份文件。这是一个好习惯，因为编辑 sources.list 文件时可能会出错，导致无法安装或更新软件包。有了备份，如果出现问题，您可以轻松地恢复原始的文件。

# 编辑软件源列表文件
vim /etc/apt/sources.list

这个命令使用 Vim 编辑器打开 sources.list 文件，以便您可以编辑它。这个文件包含了 APT（Advanced Package Tool）用于安装和更新软件包的软件源列表。通过编辑这个文件，您可以添加新的软件源、更改现有软件源的优先级或禁用某些软件源。

在 Vim 中，您可以使用方向键来移动光标，i 键进入插入模式（可以开始编辑文本），Esc 键退出插入模式，:wq 命令保存更改并退出 Vim，或 :q! 命令不保存更改并退出 Vim。

编辑 sources.list 文件时，请确保您了解自己在做什么，特别是如果您正在添加新的软件源。错误的源可能会导致软件包安装失败或系统安全问题。如果您不确定，最好先搜索并找到可靠的源信息，或者咨询有经验的 Linux 用户。

1726627632814_image.png

使用 Vim 编辑器打开 sources.list 文件，复制以下代码替换 sources.list里面的全部代码，配置 apt 国内阿里源。

deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse

1726627649314_image.png

安装常用软件和工具

# 更新源列表，输入以下命令：
apt-get update

# 更新系统软件包，输入以下命令：
apt-get upgrade

# 安装常用软件和工具，输入以下命令：
apt-get -y install vim wget git git-lfs unzip lsof net-tools gcc cmake build-essential

出现以下页面，说明国内apt源已替换成功，且能正常安装apt软件和工具

1726627670779_image.png

2. 安装 NVIDIA CUDA Toolkit 12.1

  • 下载 CUDA Keyring ：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb

这个命令用于下载 CUDA 的 GPG 密钥环，它用于验证 CUDA 软件包的签名。这是确保软件包安全性的一个重要步骤。

  • 安装 CUDA Keyring ：
dpkg -i cuda-keyring_1.0-1_all.deb

使用 dpkg 安装下载的密钥环。这是必要的，以便 apt 能够验证从 NVIDIA 仓库下载的软件包的签名。

1726627689852_image.png

  • 删除旧的 apt 密钥（如果必要） ：
apt-key del 7fa2af80

这一步可能不是必需的，除非您知道 7fa2af80 是与 CUDA 相关的旧密钥，并且您想从系统中删除它以避免混淆。通常情况下，如果您只是安装 CUDA 并使用 NVIDIA 提供的最新密钥环，这一步可以跳过。

  • 更新 apt 包列表 ：
apt-get update

更新 apt 的软件包列表，以便包括刚刚通过 cuda-keyring 添加的 NVIDIA 仓库中的软件包。

  • 安装 CUDA Toolkit ：
apt-get -y install cuda-toolkit-12-1

1726627724243_image.png

出现以下页面，说明 NVIDIA CUDA Toolkit 12.1 安装成功

1726627736357_image.png

注意：这里可能有一个问题。NVIDIA 官方 Ubuntu 仓库中可能不包含直接名为 cuda-toolkit-12-1 的包。通常，您会安装一个名为 cuda 或 cuda-12-1 的元包，它会作为依赖项拉入 CUDA Toolkit 的所有组件。请检查 NVIDIA 的官方文档或仓库，以确认正确的包名。

如果您正在寻找安装特定版本的 CUDA Toolkit，您可能需要安装类似 cuda-12-1 的包（如果可用），或者从 NVIDIA 的官方网站下载 CUDA Toolkit 的 .run 安装程序进行手动安装。

请确保您查看 NVIDIA 的官方文档或 Ubuntu 的 NVIDIA CUDA 仓库以获取最准确的包名和安装指令。

1726627761880_image.png

  • 出现以上情况，需要配置 NVIDIA CUDA Toolkit 12.1 系统环境变量

编辑 ~/.bashrc 文件

# 编辑 ~/.bashrc 文件
vim ~/.bashrc

插入以下环境变量

# 插入以下环境变量
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

1726627785017_image.png

激活 ~/.bashrc 文件

# 激活 ~/.bashrc 文件
source ~/.bashrc

查看cuda系统环境变量

which nvcc
nvcc -V

1726627797367_image.png

3. 安装 Miniconda

  • 下载 Miniconda 安装脚本 ：
    • 使用 wget 命令从 Anaconda 的官方仓库下载 Miniconda 的安装脚本。Miniconda 是一个更小的 Anaconda 发行版，包含了 Anaconda 的核心组件，用于安装和管理 Python 包。
  • 运行 Miniconda 安装脚本 ：
    • 使用 bash 命令运行下载的 Miniconda 安装脚本。这将启动 Miniconda 的安装过程。
# 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 运行 Miniconda 安装脚本
bash Miniconda3-latest-Linux-x86_64.sh

# 初次安装需要激活 base 环境
source ~/.bashrc

按下回车键（enter）

1726627823409_image.png

输入yes

1726627835177_image.png

输入yes

1726627844297_image.png

安装成功如下图所示

1726627852297_image.png

pip配置清华源加速

# 编辑 /etc/pip.conf 文件
vim  /etc/pip.conf

加入以下代码

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

注意事项：

  • 请确保您的系统是 Linux x86_64 架构，因为下载的 Miniconda 版本是为该架构设计的。
  • 在运行安装脚本之前，您可能需要使用 chmod +x Miniconda3-latest-Linux-x86_64.sh 命令给予脚本执行权限。
  • 安装过程中，您将被提示是否同意许可协议，以及是否将 Miniconda 初始化。通常选择 "yes" 以完成安装和初始化。
  • 安装完成后，您可以使用 conda 命令来管理 Python 环境和包。
  • 如果链接无法访问或解析失败，可能是因为网络问题或链接本身的问题。请检查网络连接，并确保链接是最新的和有效的。如果问题依旧，请访问 Anaconda 的官方网站获取最新的下载链接。

4. 从 github 仓库 克隆项目

  • 克隆存储库：
# 克隆项目
git clone https://github.com/yisol/IDM-VTON

请注意，如果 git clone https://github.com/yisol/IDM-VTON.git 这个链接不存在或者无效，git clone 命令将不会成功克隆项目，并且会报错。确保链接是有效的，并且您有足够的权限访问该存储库。

5. 创建虚拟环境

# 创建一个名为 idm 的新虚拟环境，并指定 Python 版本为 3.10
conda create --name idm python=3.10 -y

6. 安装模型依赖库

  • 切换到项目目录、激活 echomimic 虚拟环境、安装 requirements.txt 依赖
# 切换到 IDM-VTON 项目工作目录
cd /IDM-VTON

# 激活 idm 虚拟环境
conda activate idm

# 在 idm 环境中安装依赖
conda env update -f environment.yaml

7. 下载预训练模型

  • 下载预训练权重
# 下载预训练权重
git lfs install
git clone https://huggingface.co/spaces/yisol/IDM-VTON
  • 下载人体解析的检查点
# 下载人体解析的检查点
wget https://huggingface.co/spaces/yisol/IDM-VTON/tree/main/ckpt

将检查点放在 ckpt 文件夹下。

ckpt
|-- densepose
    |-- model_final_162be9.pkl
|-- humanparsing
    |-- parsing_atr.onnx
    |-- parsing_lip.onnx

|-- openpose
    |-- ckpts
        |-- body_pose_model.pth

8. 运行 app.py 文件

# 切换到 IDM-VTON 项目工作目录
cd /IDM-VTON

# 激活 idm 虚拟环境
conda activate idm

# 设置 Gradio 服务器名称和端口 
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080

# 运行 app.py 文件
python gradio_demo/app.py

三、网页演示

出现以下 Gradio 页面，即是模型已搭建完成。

1734512038115_image.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2284905.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【2024年华为OD机试】 (C卷,200分)- 矩阵匹配（JavaScriptJava PythonC/C++）

【2024年华为OD机试】 (C卷,200分)- 矩阵匹配（JavaScriptJava PythonC/C++）

一、问题描述 问题描述 给定一个大小为 ( N \times M )（( N \leq M )）的矩阵，从中选出 ( N ) 个数，要求任意两个数字不能在同一行或同一列。求选出来的 ( N ) 个数中第 ( K ) 大的数字的最小值。 输入描述 输入矩阵要求&#…
阅读更多...
AI 浪潮席卷中国年，开启科技新春新纪元

AI 浪潮席卷中国年，开启科技新春新纪元

在这博主提前祝大家蛇年快乐呀！！！ 随着人工智能（AI）技术的飞速发展，其影响力已经渗透到社会生活的方方面面。在中国传统节日 —— 春节期间，AI 技术也展现出了巨大的潜力，为中国年带…
阅读更多...
Python 数据分析 - Matplotlib 绘图

Python 数据分析 - Matplotlib 绘图

Python 数据分析 - Matplotlib 绘图 简介绘图折线图单线多线子图 散点图直方图条形图纵置横置多条 饼图 简介 Matplotlib 是 Python 提供的一个绘图库，通过该库我们可以很容易的绘制出折线图、直方图、散点图、饼图等丰富的统计图，安装使用 pip install…
阅读更多...
搭建Spark分布式集群

搭建Spark分布式集群

1，下载 下载 spark-3.5.4-bin-without-hadoop.tgz 地址： https://downloads.apache.org/spark/spark-3.5.4/ 2，安装 通过虚拟机设置共享文件夹将需要的安装包复制到linux虚拟机中 localhost1。虚拟机的共享盘在 /mnt/hgfs/。 将共享盘安装…
阅读更多...
新年祝词（原创）

新年祝词（原创）

新年将至，福进万户。 家家团圆，事事顺心。 喜迎财神，多寿添金。 瑞兽迎春，炮竹声起。 趋吉避凶，蛇年大吉。 中华崛起，人人自强。 天下大同，百姓富足。 有情有义，平易近人。 …
阅读更多...
线上突发：MySQL 自增 ID 用完，怎么办？

线上突发：MySQL 自增 ID 用完，怎么办？

线上突发：MySQL 自增 ID 用完，怎么办？ 1. 问题背景2. 场景复现3. 自增id用完怎么办？4. 总结 1. 问题背景 最近，我们在数据库巡检的时候发现了一个问题：线上的地址表自增主键用的是int类型。随着业务越做越…
阅读更多...
ESP32 I2S音频总线学习笔记（二）：I2S读取INMP441音频数据

ESP32 I2S音频总线学习笔记（二）：I2S读取INMP441音频数据

简介 在这个系列的上一篇文章中，我们介绍了ESP32 I2S音频总线的相关知识，简要了解了什么是I2S总线、它的通信格式，以及相关的底层API函数。没有看过上篇文章的可以点击文章进行回顾： ESP32 I2S音频总线学习笔记（一&a…
阅读更多...
一文简单回顾Java中的String、StringBuilder、StringBuffer

一文简单回顾Java中的String、StringBuilder、StringBuffer

简单说下String、StringBuilder、StringBuffer的区别 String、StringBuffer、StringBuilder在Java中都是用于处理字符串的，它们之间的区别是String是不可变的，平常开发用的最多，当遇到大量字符串连接的时候，就用StringBuilder&am…
阅读更多...
matlab中，fill命令用法

matlab中，fill命令用法

在 MATLAB 中，fill 命令用于创建填充多边形的图形对象。使用 fill 可以在二维坐标系中绘制填充的区域，通常用于绘制图形的背景或显示数据分布。 基本语法 fill(X, Y, C)X 和 Y 是同样长度的向量，定义了多边形的顶点坐标。C 是颜色&#xff0…
阅读更多...
计算机网络之链路层

计算机网络之链路层

本文章目录结构出自于《王道计算机考研 计算机网络_哔哩哔哩_bilibili》 02 数据链路层 在网上看到其他人做了详细的笔记，就不再多余写了，直接参考着学习吧。 1 详解数据链路层-数据链路层的功能【王道计算机网络笔记】_wx63088f6683f8f的技术博客_51C…
阅读更多...
lib.exe正确用法winhv.lib生成方法

lib.exe正确用法winhv.lib生成方法

lib.exe /def:winhv.def /OUT:winhv.lib /machine:x64 winhv.def注意是 winhv.sys要不然会变成dll LIBRARY winhv.sys EXPORTSWinHvAllocateOverlayPagesWinHvDisablePartitionVtlWinHvDisableVpVtlWinHvEnablePartitionVtlWinHvEnableVpVtlWinHvFreeOverlayPagesWinHvGetCurr…
阅读更多...
react-bn-面试

react-bn-面试

1.主要内容 工作台待办 实现思路： 1，待办list由后端返回，固定需要的字段有id(查详细)、type(本条待办的类型)，还可能需要时间，状态等 2，一个集中处理待办中转路由页，所有待办都跳转到这个页面…
阅读更多...
Linux：一切皆文件

Linux：一切皆文件

**文件描述符**：它是一种特殊的索引，本质上是进程中file_struct结构体成员fd_array数组的下标。在Linux等系统中，文件描述符是一个非负整数，用于标识打开的文件，是内核为了高效管理已被打开的文件所创建的索引。通过文…
阅读更多...
【物联网】ARM核常用指令(详解)：数据传送、计算、位运算、比较、跳转、内存访问、CPSR/SPSR、流水线及伪指令

【物联网】ARM核常用指令(详解)：数据传送、计算、位运算、比较、跳转、内存访问、CPSR/SPSR、流水线及伪指令

文章目录 指令格式（重点）1. 立即数2. 寄存器位移 一、数据传送指令1. MOV指令2. MVN指令3. LDR指令 二、数据计算指令1. ADD指令1. SUB指令1. MUL指令 三、位运算指令1. AND指令2. ORR指令3. EOR指令4. BIC指令 四、比较指令五、跳转指令1. B/BL指令2. l…
阅读更多...
项目集成Nacos

项目集成Nacos

文章目录 1.环境搭建1.创建模块 sunrays-common-cloud-nacos-starter2.目录结构3.pom.xml4.自动配置1.NacosAutoConfiguration.java2.spring.factories 5.引入cloud模块通用依赖 2.测试1.创建模块 sunrays-common-cloud-nacos-starter-demo2.目录结构3.pom.xml4.application.ym…
阅读更多...
QT交叉编译环境搭建（Cmake和qmake）

QT交叉编译环境搭建（Cmake和qmake）

介绍一共有两种方法（基于qmake和cmake）： 1.直接调用虚拟机中的交叉编译工具编译 2.在QT中新建编译套件kits camke和qmake的区别：CMake 和 qmake 都是自动化构建工具，用于简化构建过程，管理编译设置&…
阅读更多...
[cg] 使用snapgragon 对UE5.3抓帧

[cg] 使用snapgragon 对UE5.3抓帧

最近想要抓opengl 的api，renderdoc在起应用时会闪退（具体原因还不知道），试了下snapgraon, 还是可以的 官网需要注册登录后下载，官网路径：Developer | Qualcomm 为了方便贴上已经下载好的exe安装包&#x…
阅读更多...
物业巡更系统在现代社区管理中的优势与应用探讨

物业巡更系统在现代社区管理中的优势与应用探讨

内容概要 在现代社区管理中，物业巡更系统正逐渐成为一种不可或缺的工具。结合先进的智能技术，这些系统能够有效地提升社区管理的各个方面，尤其是在巡检效率和信息透明度方面。通过实时记录巡检数据，物业管理人员能够确保工作人员…
阅读更多...
速通Docker === Docker Compose

速通Docker === Docker Compose

目录 Docker Compose 简介 Docker Compose 常用命令 使用 Docker Compose 启动 WordPress 普通启动方式（使用 Docker 命令） 使用 Docker Compose 启动 Docker Compose 的特性 Docker Compose 简介 Docker Compose 是一个用于定义和运行多容器 Dock…
阅读更多...
Spring MVC 综合案例

Spring MVC 综合案例

目录 一. 加法计算器 1. 准备工作 2. 约定前后端交互接口 需求分析 接口定义 3. 服务器端代码 4. 运行测试 二. 用户登录 1. 准备工作 2. 约定前后端交互接口 需求分析 接口定义 (1) 登录界面接口 (2) 首页接口 3. 服务器端代码 4. 运行测试 三. 留言板 1. 准备…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023