Stable Diffusion绘画 | LCM模型：实现秒出图

news2024/10/1 11:59:23

在过往，不管使用 SD 还是 MJ，生成一张图片起码要等上10秒。

而现在，有了 LCM 技术的加持，已经能做到秒出图，甚至是实时出图。

LCM(潜空间一致性模型) 是由清华大学信息科学技术研究院研发的大模型，它最大的特点就是生成图片速度超级快，能在2-4步生成质量不错的图片。

安装部署

LoRA下载

Latent Consistency Model (LCM) LoRA: SDXL 下载链接：

https://huggingface.co/latent-consistency/lcm-lora-sdxl/tree/main

Latent Consistency Model (LCM) LoRA: SDv1-5 下载链接：

https://huggingface.co/latent-consistency/lcm-lora-sdv1-5/tree/main

以上两个模型下载后，放置位置：SD安装目录\models\Lora\lcm

模型下载

目前唯一支持 SD webui 的LCM模型：LCM_Dreamshaper_v7

下载链接：https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7/tree/main

模型下载后，放置在：SD安装目录\models\Stable-diffusion

sd-webui-lcm 插件

PS：LCM_Dreamshaper_v7 模型不能直接使用，需要搭配 sd-webui-lcm插件使用。

下载链接：https://github.com/0xbitches/sd-webui-lcm

插件下载解压后，放置在：SD安装目录\extensions

修改代码

在 SD安装目录\modules 中找到 sd_samplers_extra.py 与 sd_samplers_kdiffusion.py 两个文件。

在修改之前，切记要把这两个文件进行复制备份，以免改坏了还能还原回来。

sd_samplers_kdiffusion.py 修改：

在对应位置添加代码后保存：('LCM', sd_samplers_extra.sample_lcm, ['k_lcm'], {}),

sd_samplers_extra.py 修改：

在如下位置添加代码后保存：

@torch.no_grad()
def sample_lcm(model, x, sigmas, extra_args=None, callback=None, disable=None, noise_sampler=None):
    extra_args = {} if extra_args is None else extra_args
    noise_sampler = k_diffusion.sampling.default_noise_sampler(x) if noise_sampler is None else noise_sampler
    s_in = x.new_ones([x.shape[0]])
    for i in tqdm.auto.trange(len(sigmas) - 1, disable=disable):
        denoised = model(x, sigmas[i] * s_in, **extra_args)
        if callback is not None:
            callback({"x": x, "i": i, "sigma": sigmas[i], "sigma_hat": sigmas[i], "denoised": denoised})
        x = denoised
        if sigmas[i+1] > 0:
            x += sigmas[i+1] * noise_sampler(sigmas[i], sigmas[i+1])
    return x