本地用AIGC生成图像与视频

news2024/12/30 1:51:01

最近AI界最火的话题，当属Sora了。遗憾的是，Sora目前还没开源或提供模型下载，所以没法在本地跑起来。但是，业界有一些开源的图像与视频生成模型。虽然效果上还没那么惊艳，但还是值得我们体验与学习下的。

Stable Diffusion（SD）是比较流行的开源方案，可用于文生图、图生图及图像修复。Stability AI最近发布了Stable Diffusion 3，采用的是与Sora类似的Diffusion Transformer（DiT）技术。另外，Stable Video Diffusion（SVD）将图像升级到视频，可用于文生视频和图生视频。

下面介绍下如何在本地机器上运行SD和SVD。首先假定有一台带GPU的机器（本人用的RTX 4070），并装好Python和CUDA基本环境。

Stable Diffusion

最简单的方式是用Python脚本运行。我们可以用diffusers库来运行。该库集成了各种diffusion pipeline。注意脚本可能尝试从hugging-face官方下载模型。如果下载失败，可以设置下面的环境变量：

export HF_ENDPOINT=https://hf-mirror.com

按官方文档（https://hf-mirror.com/runwayml/stable-diffusion-v1-5）运行Stable diffusion 1.5：

from diffusers import StableDiffusionPipeline
import torch

model_id = "runwayml/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "a photo of an astronaut riding a horse on mars"
image = pipe(prompt).images[0]  
    
image.save("astronaut_rides_horse.png")

运行上面脚本，结果：
在这里插入图片描述

运行Stable Diffusion 2.1也是类似的。运行官方例子：

import torch
from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler

model_id = "stabilityai/stable-diffusion-2-1"

# Use the DPMSolverMultistepScheduler (DPM-Solver++) scheduler here instead
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")

prompt = "a photo of an astronaut riding a horse on mars"
image = pipe(prompt).images[0]
    
image.save("astronaut_rides_horse.png")

结果：
在这里插入图片描述

以上是文生图。图生图，图像修补的使用可参见：

  • https://hf-mirror.com/docs/diffusers/en/using-diffusers/img2img
  • https://hf-mirror.com/docs/diffusers/en/using-diffusers/inpaint

对结果不太满意可以调节参数。

Stable Diffusion XL（SDXL）是一个更为强大的生成模型。用法可参见：https://hf-mirror.com/docs/diffusers/en/using-diffusers/sdxl。比如文生图的例子：

from diffusers import AutoPipelineForText2Image
import torch

pipeline_text2image = AutoPipelineForText2Image.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
).to("cuda")

prompt = "a photo of an astronaut riding a horse on mars"
image = pipeline_text2image(prompt=prompt).images[0]

image.save("astronaut_rides_horse.png")

结果：
在这里插入图片描述

如果想用TensorRT加速的话可参见：https://github.com/NVIDIA/TensorRT/tree/release/8.6/demo/Diffusion。在此不再累述。

Stable Video Diffusion

Stable Video Diffusion（SVD）可用于生成视频。使用方法可参见：https://hf-mirror.com/docs/diffusers/en/using-diffusers/text-img2vid。如官方中的例子：

import torch
from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video

pipeline = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid", torch_dtype=torch.float16, variant="fp16"
)
pipeline.enable_model_cpu_offload()

image = load_image("https://hf-mirror.com/datasets/huggingface/documentation-images/resolve/main/diffusers/svd/rocket.png")
image = image.resize((1024, 576))

generator = torch.manual_seed(42)
frames = pipeline(image, decode_chunk_size=8, generator=generator).frames[0]
export_to_video(frames, "generated.mp4", fps=7)

由于stable-video-diffusion-img2vid-xt在我的4070卡上貌似会OOM，因此换成stable-video-diffusion-img2vid。

结果：

Stable Diffusion web UI

前面都是用的Python脚本。要调模型的各种参数需要改调用参数，不太易用和直观。接下来看看怎么基于Diffusion模型构建App。

stable-diffusion-webui是用Gradio库实现的Stable Diffusion的web接口。在Linux环境可以按照以下文档搭环境：
https://github.com/AUTOMATIC1111/stable-diffusion-webui?tab=readme-ov-file#automatic-installation-on-linux

如果在执行webui.sh的过程碰到下面问题：

stderr: ERROR: Could not find a version that satisfies the requirement tb-nightly (from versions: none)
ERROR: No matching distribution found for tb-nightly

可以换成阿里的pip源：

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple

另外脚本中会尝试从hugging-face官网下载，无法下载的话可以将地址替换成：

diff --git a/modules/sd_models.py b/modules/sd_models.py
index 9355f1e1..bf5dbba5 100644
--- a/modules/sd_models.py
+++ b/modules/sd_models.py
@@ -150,7 +150,7 @@ def list_models():
     if shared.cmd_opts.no_download_sd_model or cmd_ckpt != shared.sd_model_file or os.path.exists(cmd_ckpt):
         model_url = None
     else:
-        model_url = "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors"
+        model_url = "https://hf-mirror.com/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors"
 
     model_list = modelloader.load_models(model_path=model_path, model_url=model_url, command_path=shared.cmd_opts.ckpt_dir, ext_filter=[".ckpt", ".safetensors"], download_name="v1-5-pruned-emaonly.safetensors", ext_blacklist=[".vae.ckpt", ".vae.safetensors"])

脚本执行完，顺利的话就可以看到UI界面了。随便输入点啥点Generate按钮就可以出图了。
请添加图片描述
比起脚本，这里参数的调节就直观得多，使用上傻瓜得多。

ComfyUI

ComfyUI是图形化、模块化的Diffusion模型工作流构建工具。此外它还支持插件扩展。可以按照https://github.com/comfyanonymous/ComfyUI?tab=readme-ov-file#nvidia搭建环境，最后运行：

python main.py

运行成功后，打开http://127.0.0.1:8188，就可以看到UI界面：
请添加图片描述

接下来准备模型：

cd models/checkpoints
wget https://hf-mirror.com/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt

然后在UI中选择该模型后点Queue Prompt按钮，默认的例子就可以跑通了。整个过程图形化，很直观。
请添加图片描述

基本环境搭好后，接下来就可以试试官方的其它例子：https://comfyanonymous.github.io/ComfyUI_examples。比如用于视频生成的SVD（介绍可参见https://blog.comfyui.ca/comfyui/update/2023/11/24/Update.html）。根据说明：https://comfyanonymous.github.io/ComfyUI_examples/video，先下载所需模型：

cd models/checkpoints
wget https://hf-mirror.com/stabilityai/stable-video-diffusion-img2vid/resolve/main/svd.safetensors
wget https://hf-mirror.com/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors
https://hf-mirror.com/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors?download=true

然后运行。这是图生视频的效果：

这是文生图再生视频的效果：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1523275.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

python3GUI--qt仿暴风影音视频播放器By:PyQt5（附下载地址）

python3GUI--qt仿暴风影音视频播放器By:PyQt5（附下载地址）

文章目录 一．前言二．环境1.开发环境2.打包环境3.运行环境 三．软件截图1.启动页2.视频播放3.音频播放4.其他1.托盘2.对话框 四．功能总览五．代码展示&心得1.UI设计2.如何防止卡顿3.如何自定义组件 五．思考…
阅读更多...
实在智能Agent——RPA终极进化方向

实在智能Agent——RPA终极进化方向

RPA技术备受瞩目，它通过“机器人”自动化了人力执行的重复性、低复杂度任务，解放了员工并降低了企业成本。RPA机器人全天候运行，避免人为错误，高效处理任务，成为处理事务、操作数据、回应查询的理想选择。在管理后台&a…
阅读更多...
HTML基础：了解CSS的3种创建方法

HTML基础：了解CSS的3种创建方法

你好，我是云桃桃。 CSS，即层叠样式表（Cascading Style Sheets），是一种用于描述网页样式和布局的标记语言。它通过定义样式规则来控制网页元素的外观和排版，包括文字大小、颜色、边距、背景等，从…
阅读更多...
mac打开exe文件的三大方法 mac怎么运行exe文件 mac打开exe游戏 macbookpro打开exe

mac打开exe文件的三大方法 mac怎么运行exe文件 mac打开exe游戏 macbookpro打开exe

exe文件是Windows系统的可执行文件，虽然Mac系统上无法直接打开exe文件，但是你可以在Mac电脑上安装双系统或者虚拟机来实现mac电脑上运行exe文件。除了这两种方法之外，你还可以在Mac电脑上使用类虚拟机软件打开exe文件，这三种方法各…
阅读更多...
基于springboot的高校化学试剂仓储管理系统

基于springboot的高校化学试剂仓储管理系统

文章目录 项目介绍主要功能截图：部分代码展示设计总结项目获取方式 🍅 作者主页：超级无敌暴龙战士塔塔开 🍅 简介：Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我，都给你】 &…
阅读更多...
大数据面试题之SQL题

大数据面试题之SQL题

大数据面试题之SQL题 1.有一个录取学生人数表，记录的是每年录取学生人数和入学学生的学制 以下是表结构： CREATE TABLE admit ( id int(11) NOT NULL AUTO_INCREMENT, year int(255) DEFAULT NULL COMMENT ‘入学年度’, num int(255) DEFAULT NULL COMM…
阅读更多...
opencv中的图像均值模糊—blur

opencv中的图像均值模糊—blur

平均模糊是通过对图像的每个像素及其周围像素的值求平均来实现的。 blur函数通过计算输入图像image中每个像素及其邻域内像素的平均值来工作。 // 图像卷积 void QuickDemo::Conv_image_demo(Mat &image) {Mat dst;blur(image, dst, Size(3, 3), Point(-1, -1));// Point(…
阅读更多...
Android 地图SDK 设置中心点和缩放比例

Android 地图SDK 设置中心点和缩放比例

问题 Android 地图SDK 设置中心点和缩放比例 详细问题 笔者进行Android 项目开发，接入高德地图SDK。但是默认在地图所设置的中心点为北京天安门，缩放比例固定。如何修改 期望效果 解决方案 import com.amap.api.maps.model.LatLng; import com.amap…
阅读更多...
基于java+springboot+vue实现的学生宿舍管理系统（文末源码+Lw+ppt）23-438

基于java+springboot+vue实现的学生宿舍管理系统（文末源码+Lw+ppt）23-438

摘 要 伴随着我国社会的发展，人民生活质量日益提高。于是对贵工程学生宿舍进行规范而严格是十分有必要的，所以许许多多的信息管理系统应运而生。此时单靠人力应对这些事务就显得有些力不从心了。所以本论文将设计一套贵工程学生宿舍管理系统&#xff0…
阅读更多...
【机器学习300问】35、什么是随机森林？

【机器学习300问】35、什么是随机森林？

〇、让我们准备一些训练数据 idx0x1x2x3x4y04.34.94.14.75.5013.96.15.95.55.9022.74.84.15.05.6036.64.44.53.95.9146.52.94.74.66.1152.76.74.25.34.81 表格中的x0到x4一共有5个特征，y是目标值只有0,1两个值说明是一个二分类问题。 关于决策树相关的前置知识&am…
阅读更多...
实现一个横向的picker

实现一个横向的picker

Picker 选择器显示一个或多个选项集合的可滚动列表，相比于原生 picker，实现了 iOS 与 Android 端体验的一致性。 要实现横向 picker，其实跟纵向 picker差不多，都支持滚动时停留在指定位置，并且支持滚动到边界支持反弹…
阅读更多...
代码随想录 贪心算法-难度题目-其他题目

代码随想录 贪心算法-难度题目-其他题目

目录 53.最大子数组和 134.加油站 968.监控二叉树 53.最大子数组和 53. 最大子数组和 中等 给你一个整数数组 nums ，请你找出一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。 子数组 是数组中的一个…
阅读更多...
HJ212协议C#代码解析实现

HJ212协议C#代码解析实现

HJ212协议C#代码解析实现 HJ212协议是环保中一个非常重要的标准协议（字符串协议），之前写了两篇C HJ212协议解析的相关博文： 环保 HJ212协议解析基于Qt5.14.2的HJ212 TCP服务端接收解析入库程序 最近在学习C#，所以打算…
阅读更多...
T1.数据库MySQL

T1.数据库MySQL

二.SQL分类 2.1 DDL 2.1.1数据库操作 1). 查询所有数据库 show databases ; 2). 查询当前数据库 select database(); 3)创建数据库 create database [if not exists] 数据库名 [default charset 字符集] [collate 排序规则] ; 4）删除数据库 drop database …
阅读更多...
【你也能从零基础学会网站开发】Web建站之jQuery进阶篇 jQuery常见属性和方法概述与使用

【你也能从零基础学会网站开发】Web建站之jQuery进阶篇 jQuery常见属性和方法概述与使用

🚀 个人主页 极客小俊 ✍🏻 作者简介：程序猿、设计师、技术分享 🐋 希望大家多多支持, 我们一起学习和进步！ 🏅 欢迎评论 ❤️点赞💬评论 📂收藏 📂加关注 jQuery创建新的…
阅读更多...
Docker 哲学 - 容器操作 （二）

Docker 哲学 - 容器操作 （二）

命令行启动 参数键值之间可以使 " " 或者 空格 卷的挂载是在容器创建时指定的，不能在容器运行时再添加 当加上 --network-alias 设置同一网络下别名参数后 ，inspect 该容器发现 会同步到 容器信息中 2、给容器打日志 docker logs 【-…
阅读更多...
PHP+golang开源办公系统CRM管理系统

PHP+golang开源办公系统CRM管理系统

基于ThinkPHP6 Layui MySQL的企业办公系统。集成系统设置、人事管理、消息管理、审批管理、日常办公、客户管理、合同管理、项目管理、财务管理、电销接口集成、在线签章等模块。系统简约，易于功能扩展，方便二次开发。 服务器运行环境要求 PHP > 7.…
阅读更多...
静态库与动态库的制作和使用

静态库与动态库的制作和使用

个人主页：Lei宝啊 愿所有美好如期而遇 目录 前言 库？ 为什么要使用库 静态库 静态库的制作和使用 动态库 动态库的制作和使用 四种方法： 直接将库拷贝(安装)到系统路径中 配置环境变量 软链接 添加配置文件 动态库和静态库同时…
阅读更多...
jvm 内存泄露、内存溢出、栈溢出区别

jvm 内存泄露、内存溢出、栈溢出区别

JVM（Java虚拟机）是负责执行Java程序的运行环境。以下是对内存泄露、内存溢出和栈溢出这几个概念的解释： 内存泄露（Memory Leak）： 内存泄露指的是程序中分配的内存空间在不再被使用时没有被释放的情况。这可…
阅读更多...
【python】集合

【python】集合

前言 简洁整理，无废话 集合概念 含义：跟数学中的基本一样 形式：{1,a,(1,2)} 性质：不重复性，集合中每个元素不会有重复；集合中必须是不可变元素，不能有列表可以有元组 创建：{}或…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023