手把手教你使用stable diffusion生成自己的艺术二维码

news2024/9/23 11:21:59

艺术二维码制作指南

导读
- midjourney
- stable diffusion
环境准备安装
- stable diffusion webui
- sd-webui-qrcode-toolkit
- - 安装
- 草料二维码
- 模型准备
- - QR Pattern
  - QR Code Monster
  - IoC Lab Control Net
艺术二维码制作
- 1. 二维码信息提取
- 2. 使用`QR Tookit`生成二维码
- 3. 下载二维码图片
- 4. prompt设置
- 5.Controlnet参数设置
- 6. 调节参数，生成艺术二维码图片
- 7. 最终出图
总结
- 1. 关于扫码
- 2. 关于调参

导读

随着AIGC的发展，CV领域也涌出了一大批优秀的工具，如md(midjourney)和sd(stable diffusion)

midjourney

上手简单(只需要学一些prompt的写法和命令的使用)
需要一个discord账号
效果稳定比较容易出图
可定制性差

stable diffusion

成本高，需要显卡(可以是云服务器)
上手难度大，需要自己配置环境，熟悉各种参数的设置
可玩性强，社区(C站)提供了大量的base model和lora模型等
可定制，可以自己用某个领域(模特、场景、产品)的数据训练checkpoint、lora、dreambooth等模型

上面列举了一些md和sd的一些优缺点，今天我们的主角就是stalbe diffusion，下面我就来介绍一下如何使用sd来生成自己的艺术二维码

环境准备安装

stable diffusion webui

stable diffusion webui基于web的一个工具，用来进行AI生图，你可以去安装一些大神开源的安装包

下载地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui

sd-webui-qrcode-toolkit

用来生成出能够用于AI生成艺术二维码的二维码，正是因为它的出现才让我们能够基于sd来生成艺术二维码，sd-webui-qrcode-toolkit是sd-webui的一款插件
在这里插入图片描述

下载地址：https://github.com/antfu/sd-webui-qrcode-toolkit

安装

进入到stable-diffusion-webui/extensions目录下
git clone sd-webui-qrcode-toolkit到extensions中，如果网络不行可以直接下载再解压
重启sd-webui即可
安装成功打开sd-webui会出现QR ToolKit选项

草料二维码

用来解析二维码的内容，然后我们再利用sd-webui-qrcode-toolkit来生成二维码

网址：https://cli.im/deqr

模型准备

需要提前下载好以下几个模型，我们需要利用这三个模型结合Controllnet来控制生成艺术二维码

QR Pattern
QR Code Monster
IoC Lab Control Net

QR Pattern

下载好controlnetQRPatternQR_v2Sd15.safetensors模型，将其放入到stable-diffusion-webui/extensions/sd-webui-controlnet/models目录下

从这两天生成的艺术二维码来看，QR Pattern V2比QR Code Monster的效果要好很多，无论是从出图率还是从生成图片的可观赏性来说，毕竟V2版是最近几天才更新的版本
在这里插入图片描述

QR Code Monster

下载好control_v1p_sd15_qrcode_monster.safetensors和control_v1p_sd15_qrcode_monster.yaml两个文件，将其放入到stable-diffusion-webui/extensions/sd-webui-controlnet/models目录下
在这里插入图片描述

IoC Lab Control Net

下载control_v1p_sd15_brightness.safetensors放到stable-diffusion-webui/extensions/sd-webui-controlnet/models目录下即可，这个主要是用来调节二维码检测点的亮度配合二维码的controllnet来提高二维码扫码的成功率