什么是Stable Diffusion WebUI?能用来干嘛?
Stable Diffusion WebUI(以下简称SD)是一个基于Gradio库的Stable Diffusion的浏览器界面,可以方便地配置和生成AI绘画作品,并且进行各种精细地配置。Stable Diffusion是2022年发布的深度学习文字到图像生成模型。是一款功能异常强大的AI图片生成器。它不仅支持生成图片,使用各种各样的模型来达到你想要的效果,还能训练你自己的专属模型。
SD的主要功能有两个:文生图(text2img)和图生图(img2img)。文生图是根据提示词(Prompt)的描述生成相应的图片,而图生图是将一张图片根据提示词(Prompt)描述的特点生成另一张新的图片。
如何搭建Stable Diffusion WebUI?
1. 安装Git + Python + Nvidia CUDA
(1)安装Git
首先,进入Git官网,根据自己电脑选择相应系统版本进行下载。Linux系统(以Ubuntu为例)可直接使用apt-get install git命令进行下载。
根据自己系统下载对应版本。
下载完成后使用默认选项进行安装即可。
安装完成后可以打开终端,输入git --version查看是否安装完成。如何输出版本号说明git已经安装完成了。
(2)安装Python
首先进入Python官网,这里建议安装python3.10,SD官方文档使用的是3.10,低版本可能会有各种三方包不适配问题,由于Linux不同的发行版默认软件包版本不同,不保证一定是3.10,故需自行下载编译。
下载完成后,在命令行窗口输入python --version可以进行查看是否安装完成。
(3)安装Nvidia CUDA
首先命令输入nvidia-smi,看输出的右上角CUDA Version版本号,再输入nvcc --version命令查看是否已安装,如已安装且版本号对应则无需再装,如版本号不对应则需要进入NVIDIA官网重新下载对应版本进行安装。
CUDA需要搭配Nvidia显卡驱动进行安装和使用。如果你使用的是AMD显卡,则需要使用Ort。因为使用N卡的人比较多,所有这里只说N卡,不说A卡。
2. 下载Stable Diffusion WebUI项目
首先进入你想要安装的目录,命令行进入当前目录,输入以下命令下载SD项目:
关于如何使用git进行安装,可以关注公众号《乔说科技》添加作者,欢迎加入AI交流群
git clone https://ghproxy.com/github.com/AUTOMATIC1111/stable-diffusion-webui.git
下载好项目,可以看到上面就是完整的项目目录,接下来需要先进入项目目录,输入cd stable-diffusion-webui。
3. 安装虚拟运行环境
进入项目目录后,在命令行中输入以下命令,安装虚拟环境.
python -m venv venv
安装号虚拟环境,可以看到项目目录下多了一个venv目录。
进入venv目录,编辑pyvenv.cfg配置文件,将“include-system-site-packages = false”改为“include-system-site-packages = true”。这一步的作用是允许虚拟环境中的 Python 解释器访问系统全局的 site-packages 目录。
修改完之后,Windows用户进入venv\Script目录(Linux用户则进入venv\bin目录),运行activate文件激活虚拟运行环境。Windows用户需要在命令行输入activate(Linux用户需要执行source activate)。
执行完上面操作就可以看见前面有venv虚拟环境出现。
接下来执行以下命令安装运行环境所需要的三方包,这可能需要很久。
pip install requirements_versions.txt
小技巧:像torch这种比较大的三方包,可以复制下载链接,然后到浏览器使用迅雷进行下载,这样下载会很快,下载下来的.whl文件放入项目下(任何位置都可以,只要记住路径),然后在当前虚拟环境下使用pip install + .whl文件根目录进行安装即可。
安装完成后基本工作已完成,接下来还需要进行模型的下载。
4.下载模型(必须)
所有环境下载好之后,我们必须要下载至少一个模型,否则无法运行项目,模型我们一般都是去Hugging Face、C站、炼丹阁、海艺、Hotiq这些网站进行下载。
下面是Huggin Face:
下面是Civitai(简称C站)
下面是Hotiq:
下面是炼丹阁:
下面是海艺:
选择上面的Models可以看见有很多模型供下载,根据自己的需要进行下载,模型文件直接放入项目目录的\models\Stable-diffusion文件夹中,接下来就可以运行项目了
5. 运行项目
Windows用户运行webui-user.bat(Linux用户运行bash webui.sh)。
运行之后,操作界面自动跳转到默认浏览器中,接下来就可以进行文生图和图生图的操作了。
Linux用户如果想在后台运行,这样关掉终端也不影响界面运行,可以执行以下命令:
#bash webui.sh
nohup bash webui.sh > webui.log &
其中,
- nohup:运行在后台模式下,即使在终端关闭时也可以继续运行。
- bash webui.sh:运行名为webui.sh的Bash脚本,该脚本的作用可能是启动一个Web应用程序或服务。
-
> webui.log:将命令的输出重定向到名为webui.log的文件中,这意味着脚本输出的所有内容将写入该文件,而不是在终端上显示。
- &:在后台运行命令,这意味着命令将在后台运行,而不会占用当前终端的控制权。
关于如何自动关闭以及如何清理缓存等问题,可以关注公众号《乔说科技》添加作者,也欢迎加入AI交流群)
6. 问题汇总
(1)运行SD极为耗费显卡,至少需要4GB以上的虚拟内存,如果没有最低配置硬件要求,不建议在本地搭建。
(2)一般torch比较大,需要手动下载好,再进行手动安装比较好。
(3)Windows用户可以在webui-user.bat文件中修改参数进行相应配置:
set COMMANDLINE_ARGS=--lowvram --no-half-vae --deepdanbooru --xformers
Linux用户则是在webui-user.sh中修改:
export COMMANDLINE_ARGS="--lowvram --no-half-vae --deepdanbooru --xformers"
其中,--lowvram是表示适合4GB以上机型,还有medvarm(>6GB)、lowram(>16GB),如果添加该项,则表示无优化。--xformers表示显卡的VARAM占用率就会减少为原来的一般,能较大提升图片的生成效率,但是图片生成的质量相对也会变差。--deepdanbooru是训练tag的时候可以在图片分割预处理的时候自动推断包含的tag。--no-half-vae主要用于解决生成图片时控制台报modules.devices.NansException的问题。
更多参数配置,可以查看github源码或官方WiKi上面说明文档。
(4)windows如果上网了,则需要在配置中加入--no-gradio-queue才可以正常使用。
(5)插件安装问题
SD是可以安装插件的,而安装插件的方式很简单,一般有两种方法,第一种就是直接将需要的插件放入SD项目目录下的extensions目录下。
关于如何安装这些插件,一个是启动时自动安装,另一个是进入到这些插件目录,在当前虚拟环境下使用pip install .(这里有一个点,注意!)命令安装。
第二种在运行页面上方找到Extensions(扩展)选项卡,然后再选择Avaliable(可用),点击Load from:(加载自)按钮,加载完后下面会出来个列表,在里面选择自己想要的就可以了。
(6)脚本文件放到项目目录下的scripts目录下。
暂时只想到这些问题,有其他问题后面会及时补充。
大家有任何问题,可以扫描下方公众号,关注公众号《乔说科技》添加作者,邀请你加入AI交流群,欢迎大家加入。