Stable Diffusion系列（一）：古早显卡上最新版 WebUI 安装及简单操作

news2024/10/6 18:26:10

文章目录

    • Stable Diffusion安装
      • AnimateDiff插件适配
      • sdxl模型适配
    • Stable Diffusion使用
      • 插件安装
      • 界面设置
      • 基础文生图
      • 加入lora的文生图

Stable Diffusion安装

我的情况比较特殊，显卡版本太老，最高也就支持cuda10.2，因此只能安装pytorch1.12.1，并且无法安装xformers。
在这里插入图片描述

在安装好虚拟环境和对应pytorch版本后，按照github教程安装stable diffusion webui即可，在webui.sh中将use_venv=1 (默认) 修改为use_venv=0，以在当前激活的虚拟环境中运行webui，然后执行bash webus.sh安装相关依赖。

针对显卡使用情况，可在webui-user.sh中设置可见显卡export CUDA_VISIBLE_DEVICES=0,1,2，并在执行webui.py时在命令行中通过--device-id=1指定具体的使用设备。

为了使用最新的模型和插件，需要做出以下适配:

AnimateDiff插件适配

该插件的原理是在调用和完成时分别向原始模型中注入（inject）和删除（restore）时间步模块从而生成连续变化的GIF，由于整体版本过老，直接执行该插件会报没有insert和pop方法的错误，因此需要在animatediff_mm.py文件中手动实现这两个函数，需要注意insert和pop的操作和通常理解不一样：

    def inject(self, sd_model, model_name="mm_sd_v15.ckpt"):
        unet = sd_model.model.diffusion_model
        self._load(model_name)
        self.gn32_original_forward = GroupNorm32.forward
        gn32_original_forward = self.gn32_original_forward
        # self.tes_original_forward = TimestepEmbedSequential.forward

        # def mm_tes_forward(self, x, emb, context=None):
        #     for layer in self:
        #         if isinstance(layer, TimestepBlock):
        #             x = layer(x, emb)
        #         elif isinstance(layer, (SpatialTransformer, VanillaTemporalModule)):
        #             x = layer(x, context)
        #         else:
        #             x = layer(x)
        #     return x

        # TimestepEmbedSequential.forward = mm_tes_forward
        if self.mm.using_v2:
            logger.info(f"Injecting motion module {model_name} into SD1.5 UNet middle block.")
            # unet.middle_block.insert(-1, self.mm.mid_block.motion_modules[0])
            # unet.middle_block.add_module('new_module', self.mm.mid_block.motion_modules[0])
            # unet.middle_block.appendself.mm.mid_block.motion_modules[0])
            unet.middle_block = unet.middle_block[0:-1].append(self.mm.mid_block.motion_modules[0]).append(unet.middle_block[-1])
            # n = len(unet.middle_block._modules)
            # index = -1
            # if index < 0:
            #     index += n
            # for i in range(n, index, -1):
            #     unet.middle_block._modules[str(i)] = unet.middle_block._modules[str(i - 1)]
            # unet.middle_block._modules[str(index)] = unet.middle_block
        else:
            logger.info(f"Hacking GroupNorm32 forward function.")

            def groupnorm32_mm_forward(self, x):
                x = rearrange(x, "(b f) c h w -> b c f h w", b=2)
                x = gn32_original_forward(self, x)
                x = rearrange(x, "b c f h w -> (b f) c h w", b=2)
                return x

            GroupNorm32.forward = groupnorm32_mm_forward

        logger.info(f"Injecting motion module {model_name} into SD1.5 UNet input blocks.")
        for mm_idx, unet_idx in enumerate([1, 2, 4, 5, 7, 8, 10, 11]):
            mm_idx0, mm_idx1 = mm_idx // 2, mm_idx % 2
            unet.input_blocks[unet_idx].append(
                self.mm.down_blocks[mm_idx0].motion_modules[mm_idx1]
            )

        logger.info(f"Injecting motion module {model_name} into SD1.5 UNet output blocks.")
        for unet_idx in range(12):
            mm_idx0, mm_idx1 = unet_idx // 3, unet_idx % 3
            if unet_idx % 3 == 2 and unet_idx != 11:
                # unet.output_blocks[unet_idx].insert(
                #     -1, self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1]
                # )
                # unet.output_blocks[unet_idx].add_module('new_module', self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1])
                # unet.output_blocks[unet_idx].append(self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1])
                unet.output_blocks[unet_idx] = unet.output_blocks[unet_idx][0:-1].append(self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1]).append(unet.output_blocks[unet_idx][-1])
            else:
                unet.output_blocks[unet_idx].append(
                    self.mm.up_blocks[mm_idx0].motion_modules[mm_idx1]
                )

        self._set_ddim_alpha(sd_model)
        self._set_layer_mapping(sd_model)
        logger.info(f"Injection finished.")


    def restore(self, sd_model):
        self._restore_ddim_alpha(sd_model)
        unet = sd_model.model.diffusion_model
        logger.info(f"Removing motion module from SD1.5 UNet input blocks.")
        for unet_idx in [1, 2, 4, 5, 7, 8, 10, 11]:
            # unet.input_blocks[unet_idx].pop(-1)
            unet.input_blocks[unet_idx] = unet.input_blocks[unet_idx][:-1]
        logger.info(f"Removing motion module from SD1.5 UNet output blocks.")
        for unet_idx in range(12):
            if unet_idx % 3 == 2 and unet_idx != 11:
                # unet.output_blocks[unet_idx].pop(-2)
                unet.output_blocks[unet_idx] = unet.output_blocks[unet_idx][:-2].append(unet.output_blocks[unet_idx][-1])
            else:
                # unet.output_blocks[unet_idx].pop(-1)
                unet.output_blocks[unet_idx] = unet.output_blocks[unet_idx][:-1]
        if self.mm.using_v2:
            logger.info(f"Removing motion module from SD1.5 UNet middle block.")
            # unet.middle_block.pop(-2)
            unet.middle_block = unet.middle_block[:-2].append(unet.middle_block[-1])
        else:
            logger.info(f"Restoring GroupNorm32 forward function.")
            GroupNorm32.forward = self.gn32_original_forward
        # TimestepEmbedSequential.forward = self.tes_original_forward
        logger.info(f"Removal finished.")
        if shared.cmd_opts.lowvram:
            self.unload()

sdxl模型适配

在选择sdxl模型时，会收到如下报错：

AssertionError: We do not support vanilla attention in 1.12.1+cu102 anymore, as it is too expensive. Please install xformers via e.g. 'pip install xformers==0.0.16'

然后就会自动下载模型，但由于hugging face的连接问题，会报这种错误：

requests.exceptions.ConnectTimeout: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /laion/CLIP-ViT-bigG-14-laion2B-39B-b160k/resolve/main/open_clip_pytorch_model.bin (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x7fc89a4438b0>, 'Connection to huggingface.co timed out. (connect timeout=10)'))"), '(Request ID: 9f90780e-6ae0-4531-83df-2f5052c4a1a3)')

这时就需要把所有下不了的模型下载到本地，然后把代码里的version由模型名称改成模型路径，例如将repositories/generative-models/configs/inference/sd_xl_base.yaml中的version: laion2b_s39b_b160k改成本地的/models/hugfac/CLIP-ViT-bigG-14-laion2B-39B-b160k/open_clip_pytorch_model.bin

但到这里还没完，为了能正常运行，需要在代码里把对于xformer的检查相关Assert部分注释掉，并重新实现repositories/generative-models/sgm/modules/diffusionmodules/model.py中的attention函数：

def attention(self, h_: torch.Tensor) -> torch.Tensor:
        h_ = self.norm(h_)
        q = self.q(h_)
        k = self.k(h_)
        v = self.v(h_)

        # compute attention
        B, C, H, W = q.shape
        q, k, v = map(lambda x: rearrange(x, "b c h w -> b (h w) c"), (q, k, v))

        q, k, v = map(
            lambda t: t.unsqueeze(3)
            .reshape(B, t.shape[1], 1, C)
            .permute(0, 2, 1, 3)
            .reshape(B * 1, t.shape[1], C)
            .contiguous(),
            (q, k, v),
        )
        # out = xformers.ops.memory_efficient_attention(
        #     q, k, v, attn_bias=None, op=self.attention_op
        # )
        k = k / (k.shape[-1] ** 0.5)
        attn = torch.matmul(q, k.transpose(-2, -1))
        attn = torch.softmax(attn, dim=-1)
        out = torch.matmul(attn, v)
        out = (
            out.unsqueeze(0)
            .reshape(B, 1, out.shape[1], C)
            .permute(0, 2, 1, 3)
            .reshape(B, out.shape[1], C)
        )
        return rearrange(out, "b (h w) c -> b c h w", b=B, h=H, w=W, c=C)

Stable Diffusion使用

插件安装

点击扩展→可用→简单粗暴按星数排序：
在这里插入图片描述
如果github无法访问，可以复制链接后前面加上https://ghproxy.com/从网址安装：
在这里插入图片描述

最终安装的部分插件如下，注意需要手动把插件模型下载到对应路径下才能使用：
在这里插入图片描述

界面设置

在设置→用户界面中对快捷设置和UItab做修改：
在这里插入图片描述
点击右上角设置kitchen插件主题：
在这里插入图片描述
在这里插入图片描述

最终效果如下：
在这里插入图片描述

基础文生图

首先在模型左侧选择Stable Diffusion模型及其对应VAE，然后输入正向和反向提示词，在下面点击生成相关设置如采样方法、采样迭代次数和宽高等。

需要注意的几点：

  • Clip跳过层设置：CLIP 是用来给提示词编码的神经网络，默认是使用模型最后一层的输出作为提示词的嵌入表示，将其设为2就可以使用模型倒数第二层的输出作为嵌入表示。增加这一参数时，可以更好地保留提示中的信息，生成与提示更匹配的图片，但设置的值过大也会影响编码的准确性。该参数仅适用于使用CLIP的模型，即1.x模型及其派生物。2.0模型及其派生物不与CLIP交互，因为它们使用OpenCLIP。
  • 将交叉关注层向上转型到float32设置：遇到NAN报错或者花屏图片时可以试试。
  • 图片大小设置：对于SDXL模型，为了保证生成质量图片至少为1024x1024
    • 16:9（电影摄影）1820x1024
    • 3:2（专业摄影）1536x1024
    • 4:3（普通图片）1365x1024
  • 采样方法：对SDXL 1.0来说，建议使用任何DPM++采样器，特别是带有Karras采样器的DPM++。比如DPM++ 2M Karras或DPM++ 2S a Karras

生成示例如下：

在这里插入图片描述

加入lora的文生图

lora是一类对模型进行微调的方法，是一系列参数量较小的模型，在与原始模型结合后，可以对生成图片做特定修饰，可以理解为化妆技术。
lora的使用方法是将模型下载到models/Lora文件夹下，注意最好分文件夹存放，方便调用和管理：
在这里插入图片描述
对应的前端界面如下：
在这里插入图片描述
使用方法很简单，在输入提示词后直接点击lora模型，就会自动添加到输入末尾：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1148643.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

05、SpringCloud -- 秒杀按钮、秒杀请求流程（各种请求到后台的判断、减库存、下单数据和次数保存）

05、SpringCloud -- 秒杀按钮、秒杀请求流程（各种请求到后台的判断、减库存、下单数据和次数保存）

目录 秒杀按钮代码实现：vue的JS实现：秒杀请求需求：代码前端后端Seckill-apidomainSeckill-serverWebConfig1、秒杀请求判断controller2、重复下单判断MapperService 接口Impl 实现类controller3、库存判断4、秒杀涉及到的操作_01、减库存_02、创建订单对象并保存_03、用户下…
阅读更多...
mycat2.X读写分离

mycat2.X读写分离

一、数据库中间件介绍 二、下载安装包 2.1下载地址： 下载两个一个是mycat程序，一个是mycat的驱动 http://dl.mycat.org.cn/2.0/install-template/mycat2-install-template-1.20.zip http://dl.mycat.org.cn/2.0/1.21-release/mycat2-1.21-release-jar-with-dependencies-2…
阅读更多...
电子邮件钓鱼攻击的防范：如何识别并避免网络诈骗

电子邮件钓鱼攻击的防范：如何识别并避免网络诈骗

在数字化的今天&#xff0c;电子邮件成为我们日常工作和生活中不可或缺的通讯工具。然而&#xff0c;电子邮件钓鱼攻击也随之成为网络诈骗的常见手法。通过识别和避免电子邮件钓鱼攻击&#xff0c;我们可以在很大程度上保护自己的网络安全。本文将为您提供一些实用的识别和防范…
阅读更多...
nacos在linux中的安装、集群的配置、mysql生产配置

nacos在linux中的安装、集群的配置、mysql生产配置

1.下载和安装 官方下载地址&#xff1a;https://github.com/alibaba/nacos/releases&#xff0c;根据自己需要的本版去下载就行 下载的是 .tar.gz 后缀的文件是linux版本的 使用tar命令解压&#xff0c;完成之后是一个nacos的文件夹 和windows下的文件夹目录是一样的 要启…
阅读更多...
小黑子—spring：第三章 AOP开发

小黑子—spring：第三章 AOP开发

spring入门3.0 三 小黑子的springAOP开发1. AOP简介1.1 AOP的概念1.2 AOP思想的实现方案1.3 模拟AOP思想实现的基础代码1.4 AOP的相关概念 2. 基于xml配置的AOP2.1 XML方式AOP快速入门2.2 XML方式AOP配置详解2.3 xml方式AOP的原理解析2.3.1 AOP底层两种生成Proxy的方式 3. 基于…
阅读更多...
一个老旧优盘从2M变回8G的逆袭之路

一个老旧优盘从2M变回8G的逆袭之路

前言 最近收拾资料&#xff0c;发现了一个比较老的优盘&#xff0c;上面标记8G内存&#xff0c;就好奇里边存了点啥。用电脑打开&#xff0c;啥内容都没有&#xff0c;结果大小还显示2M&#xff1f;&#xff1f;&#xff1f;看看今天能不能救活吧。 正文 步骤一、清空磁盘 …
阅读更多...
并发安全问题之超卖问题

并发安全问题之超卖问题

并发安全问题之超卖问题 乐观锁总结&#xff1a; 优点&#xff1a;不加锁性能好。 缺点&#xff1a;同时请求成功率低&#xff08;即只要发现数据变了就放弃了&#xff09;。 乐观锁思想的具体体现&#xff1a;一共两步&#xff0c;第一步&#xff0c;先查询状态。第二步&…
阅读更多...
Java VMTranslator Part I

Java VMTranslator Part I

目录 堆栈运算命令 基本思路 核心代码 Parser Code Writer Main 实验结果&#xff0c;使用SimpleAdd、StackTest进行验证 内存访问命令 基本思路 核心代码 Parser Code Writer Main 实验结果&#xff0c;使用进行验证。对比生成的二进制代码文件。 用Java写一个翻…
阅读更多...
MySQL6：索引使用原则，联合索引，联合主键/复合主键，覆盖索引、什么是回表？索引条件下推，索引的创建与使用，索引的创建与使用，索引失效

MySQL6：索引使用原则，联合索引，联合主键/复合主键，覆盖索引、什么是回表？索引条件下推，索引的创建与使用，索引的创建与使用，索引失效

MySQL6&#xff1a;索引使用原则&#xff0c;联合索引&#xff0c;联合主键/复合主键&#xff0c;覆盖索引、什么是回表&#xff1f;索引条件下推&#xff0c;索引的创建与使用&#xff0c;索引的创建与使用&#xff0c;索引失效 索引使用原则列的离散(sdn)度 联合索引创建联合…
阅读更多...
【C++初探：简单易懂的入门指南】二

【C++初探：简单易懂的入门指南】二

【C初探&#xff1a;简单易懂的入门指南】二 1.引用1.1引用做函数的参数1.2 引用做返回值1.2.1 关于引用做返回值的几点补充 1.3 多引用(对一个变量取多个别名)1.4 引用类型一致性原则以及权限的问题阐述1.5引用的效率问题1.6引用和指针的比较 2.auto关键字2.1 auto关键字的使用…
阅读更多...
BSTree二叉树讲解

BSTree二叉树讲解

二叉搜索树的概念&#xff1a; 二叉搜索树又称二叉排序树&#xff0c;它或者是一棵空树&#xff0c;或者是具有以下性质的二叉树: 若它的左子树不为空&#xff0c;则左子树上所有节点的值都小于根节点的值 若它的右子树不为空&#xff0c;则右子树上所有节点的值…
阅读更多...
重置 VCSA 6.7 root密码和SSO密码

重置 VCSA 6.7 root密码和SSO密码

原贴地址&#xff1a;https://www.cnblogs.com/airoot/p/16059033.html 问题描述 1、用root用户登录 VMware vCenter Server Appliance虚拟机失败&#xff0c;无法登录 2、vCenter Server Appliance 6.7 U1的root帐户错误尝试次数超过3次已锁定或帐户已过期 官方说明 在VC…
阅读更多...
【Spring Boot 源码学习】RedisAutoConfiguration 详解

【Spring Boot 源码学习】RedisAutoConfiguration 详解

Spring Boot 源码学习系列 RedisAutoConfiguration 详解 引言往期内容主要内容1. Spring Data Redis2. RedisAutoConfiguration2.1 加载自动配置组件2.2 过滤自动配置组件2.2.1 涉及注解2.2.2 redisTemplate 方法2.2.3 stringRedisTemplate 方法 总结 引言 上篇博文&#xff0…
阅读更多...
【C++基础入门】44.C++中对象模型分析（上）

【C++基础入门】44.C++中对象模型分析（上）

一、回归本质 class 是一种特殊的 struct 在内存中 class 依旧可以看作变量的集合class 与 struct 遵循相同的内存对齐规则class 中的成员函数与成员变量是分开存放的 每个对象有独立的成员变量所有对象共享类中的成员函数值得思考的问题 下面看一个对象内存布局的代码&#x…
阅读更多...
Go学习第十七章——Gin中间件与路由

Go学习第十七章——Gin中间件与路由

Go web框架——Gin中间件与路由 1 单独注册中间件1.1 入门案例1.2 多个中间件1.3 中间件拦截响应1.4 中间件放行 2 全局注册中间件3 自定义参数传递4 路由分组4.1 入门案例4.2 路由分组注册中间件4.3 综合使用 5 使用内置的中间件6 中间件案例权限验证耗时统计 1 单独注册中间件…
阅读更多...
Java项目之网络考试系统

Java项目之网络考试系统

视频教程&#xff1a; 01-创建数据库_哔哩哔哩_bilibili 源码下载&#xff1a;百度网盘 请输入提取码 准备工作 创建数据库配置IDEA后端导入前端 前言&#xff1a; 把代码掰开写进博客里&#xff0c;主要是让自己在整理笔记的过程中&#xff0c;多去思考完成这个功能的核心…
阅读更多...
基于深度学习的单图像人群计数研究:网络设计、损失函数和监控信号

基于深度学习的单图像人群计数研究:网络设计、损失函数和监控信号

摘要 https://arxiv.org/pdf/2012.15685v2.pdf 单图像人群计数是一个具有挑战性的计算机视觉问题，在公共安全、城市规划、交通管理等领域有着广泛的应用。近年来，随着深度学习技术的发展，人群计数引起了广泛的关注并取得了巨大的成功。通过系统地回顾和总结2015年以来基于深…
阅读更多...
rust学习——智能指针Rc

rust学习——智能指针Rc

文章目录 Rc 与 ArcRcRc::clone观察引用计数的变化不可变引用一个综合例子Rc 简单总结 多线程无力的 RcArcArc 的性能损耗 总结 Rc 与 Arc Rust 所有权机制要求一个值只能有一个所有者&#xff0c;在大多数情况下&#xff0c;都没有问题&#xff0c;但是考虑以下情况&#xff1…
阅读更多...
二维码智慧门牌管理系统升级解决方案：采集要素为智慧城市建设提供精准数据支持

二维码智慧门牌管理系统升级解决方案：采集要素为智慧城市建设提供精准数据支持

文章目录 前言一、二维码智慧门牌管理系统的升级需求二、采集要素在系统升级中的应用三、消防栓、井盖等采集要素的应用 前言 随着城市化进程的加速&#xff0c;智慧城市的建设已成为未来城市发展的必然趋势。其中&#xff0c;二维码智慧门牌管理系统作为智慧城市的重要组成部…
阅读更多...
基于Spring Boot的大学课程排课系统设计与实现

基于Spring Boot的大学课程排课系统设计与实现

摘 要 大学课程排课是现代教育管理中重要的一环。目前&#xff0c;传统的排课方式已经无法满足日益增长的课程需求和学生个性化的诉求。因此&#xff0c;研究一种基于遗传算法的大学课程排课系统是非常必要的。本研究旨在开发一种基于SpringBoot Vue的大学课程排课系统&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023