前几天刷某乎的时候看到了一位大佬写的好文,可图 IP-Adapter 模型已开源,更多玩法,更强生态! - 知乎 (zhihu.com)
久闻ComfyUI大名,决定试一下。这次打算不走寻常路,不下载现成的一键包了,而是尝试从零(开局仅sd-webui秋叶大佬一键包内的A绘世启动器.exe这一个文件)开始安装。
【首先强烈建议要块N卡。亲测纯CPU也可以跑出图来,但这个耗时。。。不提也罢】
准备工作还是要的,但不多,主要就两个:
1、升级显卡驱动到最新。这个我疏忽了,通过Windows Update拿到的驱动是3年前的,cuda版本过低导致很多库不支持。因为玩sd-webui的时候从来没在这方面出过错所以一直没管它。但ComfyUI就不行了。
2、下载git客户端并安装。Git - Downloading Package (git-scm.com)。
3、下载并安装 .Net Core 6(如果启动器能正常运行就不用管它):下载 .NET 6.0 Desktop Runtime (v6.0.32) - Windows x64 Installer
好了,现在可以按装ComfyUI了。
第一步,新建一个目录给ComfyUI专用,例如,本次实验将使用E:\ComfyUI。复制“A绘世启动器.exe”到该目录下;
第二步,双击启动器,等待其下载完其它配套文件。这个过程结束后会跳出来一个框,提示启动器检测不到相关内核文件,不用理会,直接确定。
在下一个跳出的对话框中选择“是”。
第三步,请注意!此时在“选择内核分支”界面内必须选“ComfyUI”!
第四步,耐心等待安装完成,完成后会自动静默退出。重新运行启动器,按“一键启动“先跑一次让它继续下载必备的运行环境,这一步也可能需要较长时间;
可能还会有下一个对话框(尤其是在有GPU的情况下),如果不确定怎么选就选第三个,后续系统自己会下载相应的库:
会有点久,请保持耐心。
第五步,ComfyUI的第一阶段完成!正常情况下此时已经能够进入主界面了!虽然可能一片空白。接下来的工作就是如何让它更适合人类操作。
第六步,汉化。首先要安装管理插件。打开文件资源管理器并进入E:\ComfyUI\custom_nodes,点右键,Open GIT Bash here,输入:git clone https://github.com/ltdrdata/ComfyUI-Manager.git 并回车;
github容易抽风,很可能需要多刷几次才能成功。实在不行或者没装git客户端,也可以从别人能用的ComfyUI那里拷贝整个ComfyUI-Manager目录并复制到E:\ComfyUI\custom_nodes\目录下。
第七步,关闭网页、彻底关闭启动器,然后重新运行它。等待网页重新打开后会发现右侧控制面板多了一个Manager选项。点它,弹出如下界面:
继续点Custom Nodes Manager。在Search框里填“translation”,安装AIGODLIKE-COMFYUI-TRANSLATION。
好了以后点Restart,并且重新点启动器控制台右上角的”一键启动“,再次起来后就有中文了!
第八步,安装其它必备实用插件。仍然使用管理器 -> 节点管理,搜索以下插件:ComfyUI_IPAdapter_plus、ComfyUI_Custom_Nodes_AlekPet 、ComfyUI-Advanced-ControlNet、ComfyUI's ControlNet Auxiliary Preprocessors、ComfyUI-Kolors-MZ、ComfyUI-KwaiKolorsWrapper 等插件并安装。记得重启 。
第九步(可选),如果之前已经装过sd-webui,并且想复用它的大模型,则可以先找到E:\comfy-UI\extra_model_paths.yaml.example这个文件。首先去掉.example后缀然后用任何你喜欢的文本编辑器修改这个文件。找到a111,修改base_path,改为你实际的webui安装路径(此例中我的webui在D:\sd-webui-aki-v4.6下):
注意,base_path的冒号后面有个空格,斜杠方向采用linux标准,哪怕是在windows下用也必须用linux格式的路径。
第十步,终于进入正题了。打开大佬的文章,拉到文末找到网盘共享并下载(一共大概35G左右。为尊重原创作者的劳动这里就不直接放网盘链接了):可图 IP-Adapter 模型已开源,更多玩法,更强生态! - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/710097505
我另外补充了一些文件。可能大佬认为这些文件比较基础大家都会有所以就没放,但至少我在跟着学习的时候发现还真没有。这些缺失的文件我整理了一下上传网盘了:链接:https://pan.baidu.com/s/1mM4lCVBiUlSaDXeo1K9MUQ?pwd=rytm
提取码:rytm
两个网盘文件都下载后打开文件资源管理器并进入“E:\ComfyUI\models\”目录。
把下载来的文件中的“模型文件\IP-Adapter\”中的ipadapter、clip_vision 整个目录复制到该目录中;
把“模型文件\”下的 unet、LLM 整个目录复制到该目录中;
把“模型文件\Kolors\”整个目录复制到“E:\ComfyUI\models\diffusers\”目录下。
解压我补充的包,同样把vae、loras、controlnet目录复制到“E:\ComfyUI\models”目录下。
第十一步,关闭网页和启动器并重新运行启动器。现在可以测试了!在主界面的面板上加载工作流,就选刚从网盘下载的工作流目录里的,然后按下“执行队列”。左侧和模型相关的三个节点可能会报错(大佬用了子目录而我没用),分别点击模型名字重新选择一次即可。
好了,享受开盲盒吧!
有意思的是,ComfyUI画图是比WebUI省显存。我的显卡是N记的A2000 12G显存版,用WebUI跑图分辨率上到1024*1024就有一定的概率跑崩。然而ComfyUI我是敢画968*1280的。但崩溃也会有,都发生在chatglm3推理的时候。12G显存对于chatglm3-fp16来说有点勉强,显存小的可以找一下chatglm3-8bit.safetensors这个模型。(8bit模型链接:https://pan.baidu.com/s/1gwhaQgSBWunSqtx0tCcWpw?pwd=o6jp
提取码:o6jp )
看GPU专用内存利用率,前面近乎打满的时候就是在chatgml,后面画图几乎就一半。