PhotoMaker部署文档

news2024/10/7 12:41:45

image.png

一、介绍

PhotoMaker:一种高效的、个性化的文本转图像生成方法,能通过堆叠 ID 嵌入自定义逼真的人类照片。相当于把一张人的照片特征提取出来,然后可以生成你想要的不同风格照片,如写真等等。

主要特点:

  1. 在几秒钟内快速定制,无需额外的 LoRA 培训。
  2. 确保令人印象深刻的 ID 保真度,提供多样性、有前途的文本可控性和高质量的生成。
  3. 可以用作适配器 ,与社区中的其他基础模型以及 LoRA 模块进行协作。

二、部署

本文档基于ComfyUI进行搭建

环境要求:

  • Python >= 3.8(推荐使用 Anaconda 或 Miniconda)
  • PyTorch >= 2.0.0

1. 部署 ComfyUI

本篇的模型部署是在 ComfyUI 的基础上进行,如果没有部署过 ComfyUI,请按照下面流程先进行部署,如已安装请跳过该步:

(1)使用命令克隆 ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

(2)安装 conda(如已安装则跳过)

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程:

  • 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
  • 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
  • 遵循安装提示并初始化

按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。

  • 运行 source ~/.bashrc 命令激活 conda 环境
  • 再次输入 conda --version 命令来验证是否安装成功,如果出现类似 conda 4.10.3 这样的输出就成功了。

(3)创建虚拟环境

输入下面的命令:

conda create -n comfyui
conda activate comfyui

(4)安装 pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

(5)安装项目依赖

pip install -r requirements.txt

此时所需环境就已经搭建完成,通过下面命令进行启动:

python main.py

访问网址得到类似下图界面即表示成功启动:

image.png

(6)安装Manager

manager 是一个用来加强 ComfyUI 可用性的扩展,提供了对 ComfyUI 各种自定义节点的安装、删除、禁用、启用等管理功能。同时还提供了中心功能和便利功能,用来访问 ComfyUI 中各种信息。

cd /ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

成功安装之后重启界面会出现一个“Manager”如图:

image.png

到这里 Comfy UI 就初步搭建好了(这里只是简单实现 ComfyUI 的基础功能,如果想要安装更多细节,请查看“ComfyUI”部署教程)

2. 部署PhotoMaker v2

(1)克隆PhotoMaker-Plus

输入启动命令启动comfyui进入UI界面,点击Manager打开管理器,点击“节点管理”:

image.png

然后点击搜索“PhotoMaker-plus”(comfyui版)点击下载安装,等待下载完成之后如下图:

image.png

(2)下载模型

  1. 该项目需配合stable-diffusion-xl模型使用,所以需下载SDXL:从 Hugging Face搜索下载"RealVisXL_v4.0"将其放到 /ComfyUI/models/diffusers/文件夹中。

    image.png

    其中,text_encoder_2vae和 unet文件夹中的模型文件根据自己的设备能力选择其一下载即可
  2. 从 Hugging Face搜索下载“photomaker-v2"模型,并将其放置在 ComfyUI/models/photomaker文件夹中

    image.png

  3. 然后搜索 laion/CLIP-ViT-H-14-laion2B-s32B-b79K将其下载到 /ComfyUI/models/clip_vision/文件夹下:

    image.png

(3)启动项目

在 /ComfyUI目录下输入下面命令启动项目

conda activate comfyui
cd ComfyUI
python main.py

出现下面界面表示运行成功:

image.png

此时通过开放IP和端口号访问UI界面,如下图:

image.png

将/ComfyUI/custom_nodes/ComfyUI-PhotoMaker-Plus/examples/文件夹下的 v2-workflow.json文件(工作流)放入UI界面即可,可出现类似下图:

image.png

上图即为PotoMaker项目的工作流,输入各参数后即可出图:

image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2194168.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

求1000以内的完数

题目:一个数如果恰好等于他的因子之和(包括1,但不包括这个数),这个数就是完数。编写算法找出1000之内的所有完数,并按下面格式输出其因子:28 its factors are 1,2,4,7,14 代码如下:…

Dell服务器电源配置

Dell服务器电源配置规则 PowerEdge 电源设置

医院综合服务系统小程序的设计

管理员账户功能包括:系统首页,个人中心,患者管理,医生管理,就诊信息管理,科室信息管理,挂号信息管理,系统管理 微信端账号功能包括:系统首页,订单排队&#…

《PyTorch深度学习快速入门教程》学习笔记(第15周)

目录 摘要 Abstract 1. 安装Anaconda 2. 查看显卡驱动 3. 安装Pytorch 4. Pytorch加载数据 5. 常用数据集两种形式 6. 路径直接加载数据 7. Dataset加载数据 摘要 本周报的目的在于汇报《PyTorch深度学习快速入门教程》课程第一周的学习成果,主要聚焦于py…

微服务Sleuth解析部署使用全流程

目录 1、Sleuth链路追踪 1、添加依赖 2、修改日志配置文件 3、测试 2、zipkin可视化界面 1、docker安装 2、添加依赖 3、修改配置文件 4、查看页面 5、ribbon配置 1、Sleuth链路追踪 sleuth是链路追踪框架,用于在微服务架构下开发,各个微服务之…

轻松部署大模型:Titan Takeoff入门指南

轻松部署大模型:Titan Takeoff入门指南 在人工智能的快速发展中,处理自然语言处理(NLP)任务的大规模语言模型(LLM)至关重要。然而,部署这些模型往往具有挑战性,需要高性能的硬件和优…

设计模式之适配器模式(Adapter)

一、适配器模式介绍 适配器模式(adapter pattern )的原始定义是:将类的接口转换为客户期望的另一个接口, 适配器可以让不兼容的两个类一起协同工作。 适配器模式是用来做适配,它将不兼容的接口转换为可兼容的接口,让原本由于接口…

YOLOv10改进,YOLOv10添加CA注意力机制,二次创新C2f结构,助力涨点

改进前训练结果: 二次创新C2f结构训练结果: 摘要 在本文中,提出了一种新的移动网络注意力机制,将位置信息嵌入到信道注意力中称之为“协调注意力”。与渠道关注不同通过 2D 全局池将特征张量转换为单个特征向量,坐标注意力因子将通道注意力转化为两个 1D 特征编码过程…

如何在AI时代成为优秀的AI产品经理?全面解析与全套学习路径分享!!!

前言 在当前人工智能技术飞速发展的时代背景下,AI产品经理无疑成为了职场中的一片蓝海。随着AI技术在各行各业的广泛应用,AI产品经理的角色变得越来越重要,成为了众多求职者眼中的优质赛道。那么,如何在AI的大环境下成为一名优秀…

李宏毅深度学习-自注意力机制

输入是向量序列的情况 在图像识别的时候,假设输入的图像大小都是一样的。但如果问题变得复杂,如图6.2所示,输入是一组向量,并且输入的向量的数量是会改变的,即每次模型输入的序列长度都不一样,这个时候应该…

搬砖 网盘一键转存源码

网盘一键转存源码,免费资源没测试 网盘一键转存源码,可以将您的百度网盘资源一键转存到。并支持后台设置开屏广告 源码截图: 下载地址: https://yuncv.lanzouw.com/i8dZk2btyl4h

六自由度机械重力补偿控制

1.动力学方程 六自由度机械臂动力学方程形式如下: 进行重力补偿,就是在驱动力矩中对重力G进行补偿,从而消除重力的影响,这样就能够在进行闭环控制的时候避免重力影响带来的大超调问题,使得机器人更好的实现轨迹跟踪控…

如何使用BlinkShot.io生成照片

在当今的数字时代,AI生成照片已经成为一项令人惊叹的技术。而BlinkShot.io就是这样一个平台,它可以让你轻松生成各种类型的照片。以下是详细步骤,教你如何使用BlinkShot.io生成照片。 第一步:访问网站 首先,打开Blin…

python调用父类同名成员

语法 print(f"父类的厂商是:{Phone.producer}“) Phone.call_by_5g(self) print(f"父类的厂商是:{super().producer}”) print(f"父类的序列号是:{super().IMEI}") super().call_by_5g() print(“关闭CPU单核模式&…

AIGC下的数据战略,助力还是阻力?

AIGC下的数据战略,助力还是阻力? 前言一、生成式AI的崛起与影响二、企业数据战略的关键要点(一)找准应用方向,激发创新价值(二)准备专有数据,确保数据安全(三&#xff09…

毕业设计项目(难度高)——文本驱动的可控人体动作生成方法(论文/代码)

完整的论文代码见文章末尾 以下为核心内容 摘要 本文实现了一种基于扩散模型的文本驱动的可控人体动作生成方法。本文利用先进的交叉模态线性变换器及细粒度控制技术,根据自然语言描述生成逼真的人体动作序列。扩散模型在生成高质量图像和视频方面有较大优点&…

爆火!最新大模型算法岗 100 道面试题全解析,赶紧收藏!

大模型应该是目前当之无愧的最有影响力的AI技术,它正在革新各个行业,包括自然语言处理、机器翻译、内容创作和客户服务等等,正在成为未来商业环境的重要组成部分。 截至目前大模型已经超过200个,在大模型纵横的时代,不…

【C++】多线程编程图文详解(多角度详解,小白一看就懂!!)

目录 一、前言 二、什么是C多线程? 💢线程与进程 💢并发与并行 💢多线程 三、 线程库 - thread 1. 线程对象的构造方式 无参构造 带可变参数包的构造 移动构造 2. thread类的成员函数 join 和 joinable deta…

基于SpringBoot+Vue的网约车管理系统

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏:…

Diffusion models(扩散模型) 是怎么工作的

前言 给一个提示词, Midjourney, Stable Diffusion 和 DALL-E 可以生成很好看的图片,那么它们是怎么工作的呢?它们都用了 Diffusion models(扩散模型) 这项技术。 Diffusion models 正在成为生命科学等领域的一项尖端技术&…