玩转 AIGC！使用 SD-WebUI 实现从文本到图像转换

news2024/12/22 17:57:07

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

基于大家的讨论和大模型实践，我们写了：

《大模型面试宝典》(2024版) 发布！
《大模型实战宝典》(2024版) 发布！

stable-diffusion-webui是一个很棒的开源项目，它是一款基于web的GUI应用，让用户能够方便地与 stable-diffusion模型进行交互，选择不同的模型，并实现从文本到图像（txt2img）的以及其他图像处理任务。也可进行图像生成图像以及图像高分辨、重绘（inpainting）、编辑等工作。

stable-diffusion-webui为创作者们提供了友好且直观的操作界面，无需直接编写代码就能够利用丰富的模型进行创作。用户也可以通过简单的参数配置，比如调整生成图片的尺寸、采样方式和步数、选择不同的预训练模型、调整seed等，来定制和优化生成图像的效果。同时，该Web UI也支持用户进行个性化训练，即在一定条件下训练自己的模型。

stable-diffusion-webui是一个便捷的工具，大大降低了复杂AI技术的使用门槛，让更多人能享受到AI驱动的图像生成技术带来的便利与创新可能。

图片

技术交流&资料

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了大模型面试和技术交流群，相关资料、技术交流&答疑，均可加我们的交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：来自CSDN + 技术交流

最佳实践

环境配置和安装：

  1. python 3.10及以上版本

  2. pytorch推荐2.0及以上版本

  3. 建议使用CUDA 11.8及以上

GPU环境镜像(python3.10)：

registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1

下载和部署stable-diffusion-webui

clone代码，并安装相关依赖：

%cd /mnt/workspace/
# 安装依赖和下载源码
!apt update
!apt install -y aria2
!pip install gradio==3.41.2
!pip install insightface
!pip install gdown
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

下载一些经典的文生图模型（包含SD基础模型，Lora，Controlnet等），并存放到models目录的相关子目录下。小伙伴们可以选择自己希望使用的模型并下载，如下代码注释了模型类型，并映射到了对应的存储文件夹。

# 基础模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-1/repo?Revision=master&FilePath=v2-1_768-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o v2-1_768-ema-pruned.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-base/repo?Revision=master&FilePath=512-base-ema.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o 512-base-ema.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/anything-v3.0/repo?Revision=master&FilePath=Anything-V3.0-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.ckpt

# VAE模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/sd-vae-ft-mse-original/repo?Revision=master&FilePath=vae-ft-mse-840000-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.vae.pt

# clip模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/clip-vit-large-patch14.git /mnt/workspace/stable-diffusion-webui/openai/clip-vit-large-patch14

# controlnet模型下载
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=canny-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o canny-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=depth-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o depth-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=hed-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o hed-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=openpose-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o openpose-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=scribble-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o scribble-sd21-safe.safetensors
# Embedding模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/negative.git /mnt/workspace/stable-diffusion-webui/embeddings/negative

# lora模型下载
!git clone https://www.modelscope.cn/sd_lora/embed_lora.git /mnt/workspace/stable-diffusion-webui/models/Lora/positive

# 放大模型（upscaler）下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/upscale/repo?Revision=master&FilePath=4x-UltraSharp.pth" -d /mnt/workspace/stable-diffusion-webui/models/ESRGAN -o 4x-UltraSharp.pth

运行sd-webui的前端gradio组件，拉起服务：

%cd stable-diffusion-webui
!python launch.py --listen --xformers --enable-insecure-extension-access --theme dark --gradio-queue --lowvram

切换模型，可以看到不同的生成效果：

Anything-V3.0

图片

sd2.1

图片

通俗易懂讲解大模型系列

  • 重磅消息！《大模型面试宝典》(2024版) 正式发布！

  • 重磅消息！《大模型实战宝典》(2024版) 正式发布！

  • 做大模型也有1年多了，聊聊这段时间的感悟！

  • 用通俗易懂的方式讲解：大模型算法工程师最全面试题汇总

  • 用通俗易懂的方式讲解：不要再苦苦寻觅了！AI 大模型面试指南（含答案）的最全总结来了！

  • 用通俗易懂的方式讲解：我的大模型岗位面试总结：共24家，9个offer

  • 用通俗易懂的方式讲解：大模型 RAG 在 LangChain 中的应用实战

  • 用通俗易懂的方式讲解：ChatGPT 开放的多模态的DALL-E 3功能，好玩到停不下来！

  • 用通俗易懂的方式讲解：基于扩散模型（Diffusion）,文生图 AnyText 的效果太棒了

  • 用通俗易懂的方式讲解：在 CPU 服务器上部署 ChatGLM3-6B 模型

  • 用通俗易懂的方式讲解：ChatGLM3-6B 部署指南

  • 用通俗易懂的方式讲解：使用 LangChain 封装自定义的 LLM，太棒了

  • 用通俗易懂的方式讲解：基于 Langchain 和 ChatChat 部署本地知识库问答系统

  • 用通俗易懂的方式讲解：Llama2 部署讲解及试用方式

  • 用通俗易懂的方式讲解：一份保姆级的 Stable Diffusion 部署教程，开启你的炼丹之路

  • 用通俗易懂的方式讲解：LlamaIndex 官方发布高清大图，纵览高级 RAG技术

  • 用通俗易懂的方式讲解：为什么大模型 Advanced RAG 方法对于AI的未来至关重要？

  • 用通俗易懂的方式讲解：基于 Langchain 框架，利用 MongoDB 矢量搜索实现大模型 RAG 高级检索方法

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1615572.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

500道Python毕业设计题目推荐，附源码

500道Python毕业设计题目推荐，附源码

博主介绍：✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…
阅读更多...
Quick Service Setup（快速服务设置）

Quick Service Setup（快速服务设置）

Quick Service Setup界面使用户能够使用最少的参数快速配置和编辑简单的应用程序服务。Alteon自动为虚拟服务创建所需的对象(虚拟服务器、服务器组、真实服务器、SSL策略、FastView策略等)。通过快速服务设置，您可以配置HTTP, HTTPS，基本slb(第4层TCP或U…
阅读更多...
BootstrapAdmin Net7：基于RBAC的后台管理框架,实现精细化权限管理与多站点单点登录

BootstrapAdmin Net7：基于RBAC的后台管理框架,实现精细化权限管理与多站点单点登录

BootstrapAdmin Net7：基于RBAC的后台管理框架,实现精细化权限管理与多站点单点登录 摘要 随着企业信息化建设的不断深入，后台管理系统在企业运营中扮演着越来越重要的角色。本文介绍了一款基于RBAC（Role-Based Access Control）的…
阅读更多...
海外媒体如何发布软文通稿

海外媒体如何发布软文通稿

大舍传媒-带您了解海外发布新潮流 随着全球化的不断深入，越来越多的中国企业开始关注海外市场。为了在国际舞台上树立品牌形象，企业纷纷寻求与海外媒体合作，通过发布软文通稿的方式，传递正面信息，提升品牌知名度。作为…
阅读更多...
算法导论 总结索引 | 第三部分 第十一章：散列表

算法导论 总结索引 | 第三部分 第十一章：散列表

1、动态集合结构，它至少要支持 INSERT、SEARCH 和 DELETE字典操作 散列表 是实现字典操作的 一种有效的数据结构。尽管 最坏情况下，散列表中 查找一个元素的时间 与链表中 查找的时间相同，达到了 Θ(n)。在实际应用中，散列表的性…
阅读更多...
制造业降本，为什么要关注流程挖掘？

制造业降本，为什么要关注流程挖掘？

不同于传统制造,智能制造企业数字化启动早、程度高,却总因“集成陷阱”无法摆脱业财协同差的问题。长期的“治标不治本”,导致超支、违规、资金分配不合理等问题仍藏于每个任务流中,甚至直接影响营运现金流的健康度。 《从流程挖掘到降本增收——智能制造企业支出洞察》报告,基…
阅读更多...
实验2 NFS部署和配置

实验2 NFS部署和配置

一、实训目的 1.了解NFS基本概念 2.实现NFS的配置和部署 二、实训准备 1.准备一台能够安装OpenStack的实验用计算机，建议使用VMware虚拟机。 2.该计算机应安装CentOS 7，建议采用CentOS 7.8版本。 3.准备两台虚拟机机（客户机和服务器机&…
阅读更多...
NTLM认证

NTLM认证

文章目录 1.概念(1) 本地认证(2) SAM(3) NTLM Hash(4) NTLM 和 NTLM Hash(5) NTLM v2 1.概念 (1) 本地认证 Windows不存储用户的明文密码，它会将用户的明文密码经过加密后存储在 SAM (Security Account Manager Database，安全账号管理数据库)中。 (2)…
阅读更多...
短视频素材哪里找？8个视频素材库免费下载无水印

短视频素材哪里找？8个视频素材库免费下载无水印

是不是想要拓宽你的视频素材资源库，探索更多能够为你的视频项目注入新鲜血液的网站。这一次，我们将介绍一系列全球精选的视频素材网站，每一个都能为你的创作带来不同的视觉享受和灵感启发。 1. 蛙学府（中国） 提供广泛…
阅读更多...
Docker② —— Cgroups详解

Docker② —— Cgroups详解

1. 概述 Cgroups 的全称是control groups，cgroups为每种可以控制的资源定义了一个子系统。Cgroups分为三个部分： cgroup 本身：对进程进行分组hierarchy：将 cgroup 形成树形结构subsystem：真正起到限制作用的部组件 cp…
阅读更多...
从底层分析并详解SpringAOP底层实现

从底层分析并详解SpringAOP底层实现

首先分析AOP的实现 首先切面（Advisor）由通知(Advice)和切点(Pointcut)组成 包括前置通知后置通知等等最终都会被转化为实现 MethodInterceptor 接口的环绕通知 先看一段代码了解一下是aop是怎么运作的 首先定义了两个类实现了MethodInterceptor接口&…
阅读更多...
OpenCV与AI深度学习 | OpenCV如何读取仪表中的指针刻度

OpenCV与AI深度学习 | OpenCV如何读取仪表中的指针刻度

本文来源公众号“OpenCV与AI深度学习”，仅用于学术分享，侵权删，干货满满。 原文链接：OpenCV如何读取仪表中的指针刻度 最近遇到一个问题，如何读取仪表中的指针指向的刻度。 解决方法有多种，比如&#xff…
阅读更多...
67条tips实战案例渗透测试大佬的技巧总结

67条tips实战案例渗透测试大佬的技巧总结

67条tips实战案例渗透测试大佬的技巧总结。 Tips 1. 手动端口探测 nmap的-sV可以探测出服务版本，但有些情况下必须手动探测去验证 使用Wireshark获取响应包未免大材小用，可通过nc简单判断 eg. 对于8001端口，nc连接上去，随便输…
阅读更多...
oracle 执行计划详解

oracle 执行计划详解

执行计划是指示 Oracle 如何获取和过滤数据、产生最终的结果集，是影响SQL 语句执行性能的关键因素。在深入了解执行计划之前，首先需要知道执行计划是在什么时候产生的，以及如何让 SQL 引擎为语句生成执行划。 先了解 SQL 语句的处理执行过程…
阅读更多...
LocalAi，Ollama+AnythingLLM搭建部署本地大模型AI知识库，汉化版本

LocalAi，Ollama+AnythingLLM搭建部署本地大模型AI知识库，汉化版本

AnythingLLM 是一个全栈应用程序，您可以使用商业现成的 LLM 或流行的开源 LLM 和 vectorDB 解决方案来构建私有 ChatGPT，无需任何妥协，您可以在本地运行，也可以远程托管并能够智能聊天以及您提供的任何文件。 AnythingLLM 将您的文…
阅读更多...
【系统架构师】-案例考点（三）

【系统架构师】-案例考点（三）

1、信息系统架构ISA设计 四种架构模型： 1）单机应用 2）客户机/服务器模式：两层、三层C/S、B/S模型、MVC模式等 3）面向服务架构SOA 4）企业数据交换总线：不同企业应用之间通过信息交换的公共频…
阅读更多...
思科 Packet Tracer 实验八 DHCP基本配置（以路由为中继）

思科 Packet Tracer 实验八 DHCP基本配置（以路由为中继）

一、实验目的 了解思科网络设备的配置基本特点及 IOS 命令基本操作方法 了解DHCP的工作原理及基本配置 二、实验过程 1) 实验拓扑如下： 2）由于使用DHCP‘协议动态配置ip，所以除了DHCP服务器和路由器接口外其他的主机，服务器的i…
阅读更多...
AB5 点击消除

AB5 点击消除

AB5 点击消除 可以用栈来解决。 当栈为空的时候，直接将字符入栈当栈非空的时候 当前字符与栈顶字符相同 出栈 当前字符与栈顶字符不同 入栈 重复上述2步即可。 栈在输出的时候不能从栈底开始输出，需要先把栈顶元素弹出并保存下来，在进行输…
阅读更多...
过滤器Filter和拦截器Interceptor心得

过滤器Filter和拦截器Interceptor心得

上一篇文章讲了监听器Listener，下面我们来讲一下过滤器和拦截器。 一、过滤器Filter。 首先，servlet容器（比如tomcat）肯定的要有servlet才能发挥它的光彩。在上古jsp时代，我们会写各种servlet通过不同的请求来实现我…
阅读更多...
E-MapReduce极客挑战赛季军方案

E-MapReduce极客挑战赛季军方案

前一段时间我参加了E-MapReduce极客挑战赛，很幸运的获得了季军。在这把我的比赛攻略给大家分享一下，希望可以抛砖引玉。 赛题分析与理解 赛题背景： 大数据时代，上云已成为越来越多终端客户大数据方案的落地选择，阿里…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023