SD-WebUI视频重绘:TemporalKit+EbsynthUtility避坑指南

news2024/10/6 14:37:02

AI视频重绘,在当下大家并不陌生。我们的实现方式大致可以分为三种:

第三方平台和discord上转绘,如DomoAI ,GoEnhance AI 等。

  • 优点:效果佳,门槛低。

  • 缺点:需要科学上网,和支付一定的使用费用。

ComfyUI转绘工作流,通过animateDiff 结合CN控制网生成视频。

  • 优点:本地部署,可控性高,根据自己的配置灵活取舍。

  • 缺点:门槛高,安装麻烦,需要下载大量的模型。

SD-WebUI通过TemporalKit和EbsynthUtility插件插件生成视频。

  • 优点:本地部署,不需要网络。

  • 缺点:门槛中,操作也很多。

那么我们今天就详细地讲解一下SD-WebUI下重绘视频的详细生成步骤,如果你也想生成AI视频转绘高清视频,请继续往下看。

测试的视频资源我用的是GoEnhance.Al 官方上的视频。


如何使用:

1. 安装ffmpeg:

下载ffmpeg软件包,将其解压到C盘。

然后将其完整路径添加到系统环境变量,注意是bin目录。

然后我们可以“win+r” 输出“cmd”

调出控制台输入“ffmpeg -version” 出现详细信息就表示ffmpeg安装成功。

2. 安装transparent-background:

在开始“运行” 输入“cmd” (或者键盘Win+R,输入“cmd”)

在弹出的命令行里面输出“pip install transparent-background”

等待输入提示符闪烁,安装完成。

3. 安装SD插件:

首先我们需要有绘世SD webUI软件(如没有AI绘画软件SD,请看文末扫描获取),然后双击启动“A绘世启动器.exe”,在启动器面板左边“版本管理中”找到“安装新扩展”

搜索一下“Ebsynth ” 点击后面的“安装”,(如无法安装,请看文末获取本地插件安装包)

再搜索“Temporal” 点击安装。(如无法安装,请看文末获取本地插件安装包)

然后我们来到首页点击“一键启动” ,启动SD-WebUI。

它会自动下载安装插件,安装完成后会自动弹出URL网页链接。

此时我们需要的插件和环境都安装完成了,接下来看看如何使用。

4. 分割视频:

首先,我们找一个要转绘的视频,将其拖拽入WebUI中。设置如下,每1帧都采样,动作幅度较大就设置成每3帧提取一个关键帧。

分辨率我们可以在视频上右键“属性”-详细信息中查看,填写入视频的高度点击“保存设置”。

然后,我们需要在本地任意地方创建一个纯英文路径的文件夹。我在C:\Users\75691\Videos\test创建了个文件夹用于接收渲染的文件。

将这个路径填入设置,勾选“批量处理” 和“分割视频” 选项,然后我们就可以点击右边的“运行”了。

我们会看到刚创建的目录下面,会存放分割的视频文件图片。

0~6是刚刚每隔3帧取一个关键帧的储存文件夹。

input是原始视频逐帧图存放的文件夹。

output是一会儿要重绘的图的存放文件夹。

main_video.mp4是原始视频文件。

5. 确定风格:

然后我们需要确认我们转换的风格,比如是转换成卡通,还是3D又或者是真人,这些取决于我们选择的大模型的风格。我们这里选择卡通二次元。

将刚刚input路径下的图片拖入图生图,跑图测试。

修改提示词,先用DeepBooru 反推提示词。将红色背景,改成简单背景。加入LCM加速,提升出图速度。(我还加了个添加细节的lora这个随意)选择一个二次元模板。

如果你没有DeepBooru ,也可以用“WD 1.4标签器”反推提示词。

随后,我启用了“ADetailer”用于面部和手部修复。

加入了ControlNet 设置了两个单元,分别控制形态和前景。

渲染确定风格,这里风格主要取决于我们选择的大模型。

比如我选择的是tmndMix,你也可以选择写实的麦橘,那样出的风格就是写实的啦。

6. 批量渲染:

我们来到图生图的窗口,点击“批量处理”,将之前的输入输出目录的路径填入其中。

接下来,再将下面的“ControlNet ”的“批量处理” 页签打开,路径不用填写,它会继承图生图的路径设置。

注意上面是两个“ControlNet ”都要设置,完成后我们就可以点击“生成” 按钮了。

因为有lcm加速,所以速度要比以前快很多。显示大约需要的时间。

补充:这里有个bug注意一下,就是输出目录output填入了显示正常,但是跑图的时候无效。

我们会看见后台正常在跑图,但是填写的路径下目录里没东西。这时候我们需要“终止” 渲染。

将输出目录的地址清空不填写地址,用sd默认的地址。

然后我们点击“文件夹”图标,来到sd默认的img2img-images文件夹。

在弹出的目录里,选择今天日期的文件夹,将里面的图片清空。

回到SD,后面就会正常输出在这个默认的目录下了。将这些图片复制到之前的output目录中,但是这些图片是无法构建key的,因为input下的图片命名要和output下的图片命名一致。

所以我们需要使用批量修改命名工具去处理output下的图片命名。

左边是修改策略,右边是图片文件和预览修改后的样子。工具文末获取。

统一资源命名后,我们来到“Temporal-kit” 页签将视频和路径都填入设置。

填写完成后,点击“预处理 Ebsynth” 让其为我们的0-6文件跑“frames”和“keys”

后台完成后,我们即将进入自动生成补间帧环节。

7. 生成补间帧:

解压EbSynth-Beta-Win.zip压缩包到任意位置,这是一个exe执行程序,处理我们之前生成的0-6文件夹内的关键帧。资源可以在文末获取。

双击运行“EbSynth.exe”

将“frames”文件夹拖拽到,“Video:” 后面的路径里面。

将“keys”文件夹拖拽到,“Keyframes:” 后面的路径里面。

然后运行“EbSynth” 面板最下面的“Run AII” ,程序会开始自动生成补帧。

我们可以多开几个同时对0-6的文件夹处理,

注意每次使用,最好关掉重开!因为它不会自动更新最上级的路径。

完成后,我们将6个文件全部用上面一样的操作,执行一边。

8. 生成视频:

最后,我们再次回到“Temporal-Kit” 页签下“Ebsynth-流程” 页签,点击“重组 Ebsynth”来生成视频。

OK啦生成完成,流程部分到这里就结束了。但我一想其实还可结合之前的工具对视频进行放大处理。SD也有放大功能但是要重新渲染,下面的方式更简单。

工具获取看下方扫描获取


总结:

在本文中,我们详细探讨了使用SD-WebUI进行AI视频重绘的整个过程。这一过程涉及多个步骤,包括安装必要的软件和插件、分割视频、确定风格、批量渲染以及最终的视频生成。虽然这一流程相对复杂,需要一定的技术知识和耐心,但它提供了高度的自定义能力和本地化处理的优势,使得用户可以根据自己的需求和偏好来生成独特的视频内容。

总的来说,尽管SD-WebUI的视频重绘流程存在一定的门槛,但它提供了一个强大的平台,让用户能够创造出个性化的视频内容。通过本文的指导,即使是初学者也能够逐步掌握这一技术,享受到AI视频重绘带来的乐趣和创造力。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1891441.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Android设备信息(DevInfo)

软件介绍 设备信息(DevInfo)一款评分非常不错的手机硬件及各种信息检测应用,安卓设备硬件检测工具。可以全面查看手机的各种信息、包括:Android系统版本的详细信息、芯片CPU处理器的详细信息、全球卫星定位、测试功能、硬件温度、…

image媒体组件属性配合swiper轮播

图片组件&#xff08;image&#xff09; 先插入个图片试试&#xff0c;插入图片用src属性&#xff0c;这是图片&#xff1a; 代码如下&#xff1a; <template><view><swiper indicator-dots indicator-color "#126bae" indicator-active-color &…

高效生产力,手机也能工作#MixCopilot工作流

从一个DEMO说起&#xff1a; 制作完DEMO&#xff0c;体验完这一个手机专用的工作流之后&#xff0c;我感觉我以后再也不用待电脑前了&#xff0c;可以躺着玩手机了。。。 然后&#xff0c;我花了点时间把这个流程优化了&#xff0c;目前在MixCopilot的内部测试版已经支持此项功…

发送微信消息和文件

参考&#xff1a;https://www.bilibili.com/video/BV1S84y1m7xd 安装&#xff1a; pip install PyOfficeRobotimport PyOfficeRobotPyOfficeRobot.chat.send_message(who"文件传输助手", message"你好&#xff0c;我是PyOfficeRobot&#xff0c;有什么可以帮助…

【论文阅读】-- Strscope:不规则测量的时间序列数据的多尺度可视化

Stroscope: Multi-Scale Visualization of Irregularly Measured Time-Series Data 摘要1 引言2相关工作2.1&#xff08;大型&#xff09;时间序列数据可视化2.2 事件序列数据可视化2.3 评价 3问题分析3.1 数据集3.2 场景——现状3.3 设计流程3.4 设计原理 4 涟漪图&#xff1a…

JavaScrip——switch类型

目录 任务描述 相关知识 严格相等 switch语句 编程要求 任务描述 北美五大湖的名称和面积如下&#xff1a; 名称面积(平方公里)Superior82414Huron59600Michigan58016Erie25744Ontario19554 本关任务&#xff1a;根据面积判断湖泊的名字。 相关知识 上一关讲解的是拥…

Vulhub——struct2

文章目录 一、Struct21.1 Struct2简介1.2 判断Struct2框架1、URL中添加不存在路径2、URL添加/struts/domTT.css3、404、500响应码返回信息 4、URL 二、struct2相关漏洞复现2.1 s2-001手工复现工具探测 2.2 s2-005手工复现工具探测 2.3 s2-007手工复现工具检测 2.4 s2-008手工复…

修复 OpenSSH 爆出极其严重的安全漏洞!

最近几天OpenSSH爆出了一个高危漏洞&#xff1a;CVE-2024-6387&#xff0c;影响到了很多的Linux服务器系统。明月第一时间给所有的代维客户服务器进行了排查和漏洞修复&#xff0c;因此耽搁了一些时间。直到今天才算抽出空来给大家分享一下。严格上来说这个漏洞的危险性还是极高…

mongdb学习与使用

1. 基础概念 MongoDB简介&#xff1a; MongoDB是一个基于文档的NoSQL数据库&#xff0c;具有高性能、高可用性和易扩展性。数据存储在类似JSON的BSON格式中。 基本术语&#xff1a; Database&#xff08;数据库&#xff09;&#xff1a; 集合的容器。Collection&#xff08;集合…

ShareSDK iOS端如何实现小红书分享

下载SDK 请登陆官网 &#xff0c;找到SDK下载&#xff0c;勾选需要的平台下载 导入SDK &#xff08;1&#xff09;离线导入将上述下载到的SDK&#xff0c;直接将整个SDK资源文件拖进项目里&#xff0c;如下图&#xff1a; 并且勾选以下3个选项 在点击Finish&#xff0c;…

多载波调制与OFDM原理讲解以及MATLAB实现GUI设计

前言 基于MATLAB设计并实现了一个OFDM调制的图形用户界面&#xff08;GUI&#xff09;系统。该系统旨在简化OFDM调制过程的仿真&#xff0c;提供友好的用户交互界面。设计目标是通过GUI实现参数化的OFDM仿真&#xff0c;包括子载波数、符号数、IFFT长度、循环前缀长度、循环后…

Android 换肤之插件换肤

文章目录 Android 换肤之插件换肤概述效果使用步骤代码结构原理 代码下载 Android 换肤之插件换肤 概述 Android 实现应用内换肤的常用方式&#xff08;两种&#xff09;&#xff1a; 通过Theme切换主题&#xff0c;即静态方法。通过AssetManager切换主题&#xff0c;可实现…

单元测试总结,一文全通

&#x1f345; 视频学习&#xff1a;文末有免费的配套视频可观看 &#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 一、何为单测 测试有黑盒测试和白盒测试之分&#xff0c;黑盒测试顾名思义就是我们不了解盒子的…

数据泄露时代的安全之道:访问认证的重要性

引言 想象一下&#xff1a;你一觉醒来&#xff0c;收到一条通知——你的公司遭遇了数据泄露。你感到恐惧&#xff0c;因为这意味着客户数据被曝光&#xff0c;公司声誉受损&#xff0c;还有巨额罚款在等着你。在当今的数字化环境中&#xff0c;这种情况太常见了。全球各地的组…

ansible执行任务时,报错/usr/bin/env node没有文件或目录。

报错如图&#xff1a; 解决&#xff1a;添加软链即可 sudo ln -s /home/app/node-v18.20.3/bin/node /usr/bin/node

Qt开发 | qss简介与应用

文章目录 一、qss简介与应用二、QLineEdit qss介绍与使用三、QPushButton qss1.常用qss1.1 基本样式表1.2 背景图片1.3 图片在左文字在右 2.点击按钮弹出菜单以及右侧箭头样式设置3.鼠标悬浮按钮弹出对话框 四、QCheckBox qss妙用&#xff1a;实时打开关闭状态按钮五、QComboBo…

0-FreeCAD简介

这里写自定义目录标题 FreeCAD简介FreeCAD简介 FreeCAD是一款开源的三维计算机辅助设计(CAD)软件,它主要用于产品设计和工程制图。这款软件可以创建和修改3D模型,支持参数化设计,意味着你可以通过改变模型的参数来调整模型的大小、形状等属性。FreeCAD还支持多种3D文件格式…

【C语言】enum 关键字

在C语言中&#xff0c;enum关键字用于定义枚举类型。枚举是一种用户自定义的数据类型&#xff0c;由一组命名的整型常量构成。使用枚举可以提高代码的可读性和可维护性&#xff0c;特别是在表示一组相关的常量时。 定义和使用枚举类型 基本定义 要定义一个枚举类型&#xff…

党建科普3D数字化展馆支持实时更新迭代

3D虚拟策展逐渐成为新时代下的主流方式&#xff0c;深圳华锐视点作为专业的web3d开发公司&#xff0c;具有专业化的3D数字化空间还原能力&#xff0c;能根据企业/个人不同需求和预算&#xff0c;为您打造纯线上虚拟3D艺术展&#xff0c;让您彻底摆脱实体美术馆的限制&#xff0…

使用Ckman部署ClickHouse集群介绍

使用Ckman部署ClickHouse集群介绍 1. Ckman简介 ClickHouse Manager是一个为ClickHouse数据库量身定制的管理工具&#xff0c;它是由擎创科技数据库团队主导研发的一款用来管理和监控ClickHouse集群的可视化运维工具。目前该工具已在github上开源&#xff0c;开源地址为&…