AIGC - Stable Diffusion 超分辨率插件 StableSR v2 (768x768) 配置与使用

news2024/9/19 15:28:44

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/131582734

Stable Diffusion

论文：Exploiting Diffusion Prior for Real-World Image Super-Resolution

StableSR 算法提出了一种新颖的方法，利用预训练的文本到图像扩散模型中封装的先验知识，来实现盲超分辨率（SR）。具体来说，通过使用时间感知编码器，可以在不改变预训练的合成模型的情况下，实现令人满意的恢复结果，从而保留了生成先验并最小化了训练成本。为了弥补扩散模型固有的随机性造成的保真度损失，引入了一个可控的特征包裹模块，允许用户在推理过程中通过简单地调整一个标量值来平衡质量和保真度。此外，开发了一种渐进式聚合采样策略，以克服预训练扩散模型的固定尺寸限制，使其能够适应任何尺寸的分辨率。使用合成和真实世界的基准数据集对我们的方法进行了全面的评估，结果表明它优于当前最先进的方法。

工程：sd-webui-stablesr

网站：https://github.com/pkuliyi2015/sd-webui-stablesr/blob/master/README_CN.md

插件依赖 Tiled Diffusion 和 Tiled VAE。

启动命令：

cd stable-diffusion-webui
conda deactivate
source venv/bin/activate
nohup python -u launch.py --port 9301 --xformers --theme dark > nohup.sd.out &
tail -f nohup.sd.out

1. 模型和插件

下载参考：https://github.com/pkuliyi2015/sd-webui-stablesr/blob/master/README_CN.md

下载 StableSR 模型的v2版本，即768版本，准备使用，建议提前下载 (下载时间大约 40 min)：

  • v2-1_768-ema-pruned.ckpt (5.21G): https://huggingface.co/stabilityai/stable-diffusion-2-1/blob/main/v2-1_768-ema-pruned.ckpt
  • webui_768v_139.ckpt (422M): https://huggingface.co/Iceclear/StableSR/blob/main/webui_768v_139.ckpt
  • vqgan_cfw_00011_vae_only.ckpt (746M): https://drive.google.com/file/d/1ARtDMia3_CbwNsGxxGcZ5UP75W4PeIEI/view

需要安装 2 个扩展插件工程：

  • sd-webui-stablesr: https://ghproxy.com/https://github.com/pkuliyi2015/sd-webui-stablesr.git
  • multidiffusion-upscaler-for-automatic1111: https://ghproxy.com/https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git

在 GitHub 工程链接之前，加入前缀 https://ghproxy.com/ ，即可快速安装，例如：

https://ghproxy.com/https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git

使用百度云盘下载模型至服务器：

pip install bypy
bypy info
bypy --help
bypy downdir /stable_diffusion/stable_sr/ stable_sr/

复制模型至工程目录：

  • Stable Diffusion 模型，v2-1_768-ema-pruned.ckpt 至 stable-diffusion-webui/models/Stable-diffusion
  • VAE 模型，vqgan_cfw_00011_vae_only.ckpt 至 stable-diffusion-webui/models/VAE
  • StableSR 模型，webui_768v_139.ckpt 至 stable-diffusion-webui/extensions/sd-webui-stablesr/models

模型与插件安装完成之后，重新启动即可，即：

Extensions

2. 参数配置

选择合适的参数配置，出图效果较好。

2.1 配置模型与提示词

修改 Stable Diffusion 模型 与 外挂 VAE 模型 为已准备的模型：

  • Stable Diffusion 模型：v2-1_768-ema-pruned.ckpt
  • 外挂 VAE 模型：vqgan_cfw_00011_vae_only.ckpt

即：

Model

同时，采样方法使用 Eular a，即可，其余不需修改。

注意：不需勾选 面部修复，重绘幅度 使用默认 0.7，重回尺寸倍数 也不需修改，默认1倍，其实以 StableSR 脚本为准，脚本设置 2 倍，即缩放 2 倍。

根据官方指引，添加 负向提示词，效果更好，即

3d, cartoon, anime, sketches, (worst quality:2), (low quality:2)

2.2 配置 StableSR

点击 图生图 选项，在最下面的脚本中，选择 StableSR，配置参数：

  1. 选择 SR Model：webui_768v_139.ckpt
  2. Color Fix：选择 Wavelet
  3. 勾选 Pure Noise
  4. 注意：StableSR 的放大倍数，需要与 Tiled Diffusion 的放大倍数保持一致。

即：

StableSR

2.3 配置 Tiled Diffusion 和 Tiled VAE

Tiled DIffusion 和 Tiled VAE 都是用于减轻内存消耗，否则显存溢出，无法运行。

  • 参考官网配置：https://github.com/pkuliyi2015/sd-webui-stablesr/blob/master/README_CN.md

Tiled DIffusion：根据官方最新说明，v2版本 (768x768)，不需要修改数值，使用默认的 96x96 即可，速度可明显加快。

  • 启用 Tiled DIffusion
  • 修改方案：Mixture of Diffusers
  • 注意：StableSR 的放大倍数，需要与 Tiled Diffusion 的放大倍数保持一致。
  • 其他，如噪声反转、分区提示词控制，均使用默认。

即：

Tiled DIffusion

Tiled VAE：启用 Tiled VAE，其余保持默认。

即：

Tiled VAE

3. 图像效果

运行日志，如下：

[StableSR] Target image size: 2048x3072
[Tiled Diffusion] StableSR found, support is enabled.
MixtureOfDiffusers Sampling: : 0it [00:00, ?it/s]Mixture of Diffusers hooked into 'Euler a' sampler, Tile size: 96x96, Tile batches: 9, Batch size: 4.
[Tiled VAE]: the input size is tiny and unnecessary to tile.
MixtureOfDiffusers Sampling: : 0it [00:02, ?it/s]
100%|███████████████████████████████████████████████████████████████████████████████| 30/30 [00:57<00:00,  1.93s/it]
[Tiled VAE]: input_size: torch.Size([1, 4, 384, 256]), tile_size: 256, padding: 11██| 30/30 [00:57<00:00,  1.90s/it]
[Tiled VAE]: split to 2x1 = 2 tiles. Optimal tile size 256x192, original tile size 256x256
[Tiled VAE]: Fast mode enabled, estimating group norm parameters on 170 x 256 image
[Tiled VAE]: Executing Decoder Task Queue: 100%|█████████████████████████████████| 246/246 [00:01<00:00, 205.38it/s]
[Tiled VAE]: Done in 2.509s, max VRAM alloc 10456.432 MB
Total progress: 100%|███████████████████████████████████████████████████████████████| 30/30 [01:07<00:00,  2.26s/it]
Total progress: 100%|███████████████████████████████████████████████████████████████| 30/30 [01:07<00:00,  1.90s/it]

出图效果的差距，非常明显，经过 StableSR 处理的图像，明显细节丰富。使用 Imgsli，如图所示：

v1

眼睛、皮肤、嘴唇等细节差异，也非常明显。右侧是StableSR的图，左侧是原图：

v2

其他

Imgsli 图像对比

图像对比的网站 imgsli，链接：https://imgsli.com/MTg5MzAx/0/1，用于对比图像差异。

Bugfix

Bug1: 遇到 Bug “/tmp/gradio/ 已满，无法缓存文件，导致 图库浏览器 功能无法使用”

原因是：服务器的 /tmp 空间较小，导致 gradio 无法缓存，替换为新的 /tmp 空间，即可。

在 launch.py 中，添加如下代码：

import tempfile
print(f"[Info] old tempfile: {tempfile.gettempdir()}")
tempfile.tempdir = "/data/chenlong/tmp/"
print(f"[Info] new tempfile: {tempfile.gettempdir()}")

输出日志：

[Info] old tempfile: /tmp
[Info] new tempfile: /data/tmp/

参考

  • 如何安装/更新/卸载 Stable Diffusion WebUI 插件？一篇文章帮你弄懂！
  • GitHub - Web UI, How to set it to dark mode?
  • 探索【Stable-Diffusion WEBUI】的图片超分辨插件：StableSR
  • GitHub - 运行web_demo_hf.py时遇到tmp文件写入被拒的问题

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/726085.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Java项目】Vue+ElementUI+Ceph实现多类型文件上传功能

【Java项目】Vue+ElementUI+Ceph实现多类型文件上传功能

文章目录 前端后端Java 前端 ElementUI 文件上传的页面使用的是ElementUI的 下面是index.vue页面&#xff0c;有点小bug&#xff08;但是我真改不动&#xff0c;前端还在学习中&#xff09; <template><div><el-uploadclass"upload-demo":action&qu…
阅读更多...
1.浮动 ( float )

1.浮动 ( float )

学习目标&#xff1a; 1.1 传统网页布局的三种方式 网页布局的本质——用 CSS来摆放盒子&#xff0c;把盒子摆放到相应位置 CSS提供了三种传统布局方式(简单说,就是盒子如何进行排列顺序) : ●普通流(标准流) ●浮动 ●定位 1.2 标准流(普通流/文档流) 所谓的标准流&#xf…
阅读更多...
Go基础知识学习

Go基础知识学习

文章目录 介绍背景和起源特点和优势 安装和设置下载和安装Go语言配置Go环境变量GOROOT和GOPATHGOPROXY 编辑器、IDE等工具Hello, World!基本结构和数据类型关键字标识符变量常量基本数据类型类型转换 控制流程数组和切片数组切片 函数定义和调用函数函数参数和返回值 结构体和方…
阅读更多...
Jmeter学习笔记

Jmeter学习笔记

Jmeter学习笔记 1、安装 1.1、下载 官方地址&#xff1a;https://archive.apache.org/dist/jmeter/binaries/ 1.2、环境变量 此电脑 --> 属性 --> 高级系统设置 --> 环境变量 设置JMETER_HOME&#xff0c;值为jmeter的路径D:\apache-jmeter-4.0 设置Path&…
阅读更多...
【设计模式】第十四章：策略模式详解及应用案例

【设计模式】第十四章：策略模式详解及应用案例

系列文章 【设计模式】七大设计原则 【设计模式】第一章&#xff1a;单例模式 【设计模式】第二章&#xff1a;工厂模式 【设计模式】第三章&#xff1a;建造者模式 【设计模式】第四章&#xff1a;原型模式 【设计模式】第五章&#xff1a;适配器模式 【设计模式】第六章&…
阅读更多...
scanpy sc.pp.normalize_per_cell bug

scanpy sc.pp.normalize_per_cell bug

今天遇到一个很奇怪的bug, 当今天跑covid_atlas数据集的时候&#xff0c;在123服务器总是报错&#xff0c;但是我记得在122服务器上是跑过没问题的 最终的测试结果如下 import scanpy as sc import numpy as np from QUEST import QUEST from QUEST.utils import get_free_…
阅读更多...
【MySQL】简介 MySQL 事务

【MySQL】简介 MySQL 事务

一、事务 ACID 原则 什么是事务呢&#xff1f;事务通常是一个或一组 SQL 组成的&#xff0c;组成一个事务的 SQL 一般都是一个业务操作&#xff0c;例如下单操作&#xff1a;【扣库存数量、增加订单详情记录、插入物流信息】&#xff0c;这一组 SQL 就可以组成一个事务。 而数据…
阅读更多...
推特开始限制用户可以阅读的推文数量

推特开始限制用户可以阅读的推文数量

推特正在限制用户可以阅读的推文数量&#xff0c;因为埃隆马斯克 (Elon Musk) 拥有的服务长期中断&#xff0c;阻碍了用户跟踪新帖子的能力。 在一条推文中&#xff0c;马斯克详细介绍了修改后的使用配额。 经过验证的帐户持有者每天最多可以浏览 6000 个帖子&#xff0c;而未…
阅读更多...
docker的联合文件系统 UnionFS《深入docker底层原理》

docker的联合文件系统 UnionFS《深入docker底层原理》

介绍 docker最大的贡献就是定义了容器镜像的分层的存储格式&#xff0c;docker镜像技术的基础是联合文件系统(UnionFS)&#xff0c;其文件系统是分层的。这样既可以充分利用共享层&#xff0c;又可以减少存储空间占用。 联合挂载系统的工作原理&#xff1a;读&#xff1a;如果…
阅读更多...
结束 guard else 只能使用 return ?

结束 guard else 只能使用 return ?

Guard 语句 A guard statement is used to transfer program control out of a scope if one or more conditions aren’t met. 如果一个或者多个条件不成立&#xff0c;可用 guard 语句来退出当前作用域 (guard所在的作用域)。 Statement Form 语句格式 guard condition1, co…
阅读更多...
软件设计模式与体系结构-设计模式-行为型软件设计模式-中介者模式

软件设计模式与体系结构-设计模式-行为型软件设计模式-中介者模式

三、中介者模式&#xff08;迪米特法则&#xff09; 概念 模式动机&#xff1a; 为了减少对象两之间复杂的引用关系&#xff0c;使之成为一个松耦合的系统&#xff0c;需要适用中介者模式 定义&#xff1a; 用一个中介对象来封装一系列的对象交互&#xff0c;中介者使各对象…
阅读更多...
从0开始，手写Redis

从0开始，手写Redis

说在前面 从0开始&#xff0c;手写一个Redis的学习价值在于&#xff1a; 可以深入地理解Redis的内部机制和原理&#xff0c;Redis可谓是面试的绝对重点和难点从而更好地掌握Redis的使用和优化帮助你提高编程能力和解决问题的能力手写一个Redis可以作为一个优质的简历轮子项目…
阅读更多...
LVS和keepalived群集

LVS和keepalived群集

LVS和keepalived群集 一、keepalived概述&#xff1a;1.keepalived服务的重要功能&#xff1a;2.高可用故障切换转移原理&#xff1a;3.keepalived实现原理剖析&#xff1a;4.keepalived体系主要模块及作用&#xff1a;5.keepalived的工作原理&#xff1a; 二、部署LVS和keepal…
阅读更多...
Android JetPack深入分析DataBinding源码

Android JetPack深入分析DataBinding源码

前言 数据绑定库是一种支持库&#xff0c;借助该库&#xff0c;您可以使用声明性格式&#xff08;而非程序化地&#xff09;将布局中的界面组件绑定到应用中的数据源。 DataBinding支持双向绑定&#xff0c;数据变化的时候界面跟着变化&#xff0c;界面变化也同步给数据&…
阅读更多...
华为6605AC控制器大型组网wlan pool技术应用（自动漫游）

华为6605AC控制器大型组网wlan pool技术应用（自动漫游）

AC命令行配置&#xff1a; dis current-configuration set memory-usage threshold 0 ssl renegotiation-rate 1 vlan batch 100 vlan pool vlan_pool_test vlan 11 to 12 diffserv domain default radius-server template default free-rule-template name default_free_rule …
阅读更多...
win10通过conda安装pytorch gpu

win10通过conda安装pytorch gpu

1. 安装anaconda 到官网下载最新版的anaconda&#xff0c;下载对应的windows版本&#xff0c;地址&#xff1a;anaconda官网 下载后直接安装&#xff0c;安装完成后配置环境变量&#xff0c;具体可以百度anaconda安装说明。安装完成后&#xff0c;打开cmd&#xff0c;输入conda…
阅读更多...
Leetcode - 352周赛详解

Leetcode - 352周赛详解

一&#xff0c;最长奇偶子数组 看题可知可以使用暴力求解&#xff0c;从头开始遍历数组&#xff0c;另设一个变量来记录满足条件的子数组长度的最大值&#xff0c;将该变量不断与新得到的子数组长度比较&#xff0c;最终得到子数组长度的最大值。但是这样依次遍历的话&#xff…
阅读更多...
git 分支管理

git 分支管理

目录 一. 理解分支 1. master分支 二. 分支的&#xff08;创建&#xff0c;切换、合并、删除&#xff09; 1.查看分支 2.创建分支 3. 切换分支 4. 合并分支 5. 删除分支 三. 合并冲突 四. 合并模式 五. bug 分支 六. 强制删除分支 一. 理解分支 1. master分支 在我们的…
阅读更多...
省电，AMD 提交 Linux 新技术 FreeSync Panel Replay

省电，AMD 提交 Linux 新技术 FreeSync Panel Replay

导读AMD 近日发布了一系列补丁&#xff0c;为其 AMDGPU Linux 内核显卡驱动程序的显示代码 “DC” 添加了一个新功能&#xff1a;FreeSync Panel Replay。这个功能针对搭载 DCN v3.1.4 显示块或更新版本的 AMD Ryzen 笔记本电脑&#xff0c;可以在屏幕内容不变时降低功耗。 目…
阅读更多...
关于https的加密流程简介（图解）

关于https的加密流程简介（图解）

目录 对称加密&#xff1a; 非对称加密 对称加密&#xff1a; 在网络发展的初阶&#xff0c;为了保护数据安全&#xff0c;防止黑客攻击&#xff0c;我们发明了对称加密 即一把秘钥&#xff0c;客户端和服务器通过这把钥匙对数据进行加密/解密 理想情况下&#xff0c;只要没…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023