Deforum也是一款文生视频插件,它把提示词跃迁和运镜结合到一起,生成的视频让人仿佛穿越不同时空,因此又被称作瞬息全宇宙。本节将介绍使用Deforum生成视频的方法。
在使用Deforum时,由于设置参数非常多,初次使用时很难厘清头绪。为了简化操 作,首先在文生图中选择一个大模型,然后在预设样式中导入画质和反向提示词。在本 例中,我们选择了SDXL-Lightning版的大模型,因此需要按照该模型的要求把“采样方 法”设置为“Euler a”,“迭代步数”设置为8,并将“提示词引导系数”设置为1。 接下来,设置生成尺寸,输入画面内容提示词,生成图片。在获得满意的图片后锁 定随机种子,如图所示。
以上这些流程和设置我们已经相当熟悉了。现在切换到“Deforum”选项卡,在“运 行”选项卡中设置相同的采样方法、迭代步数、生成尺寸和种子数,如图所示。
在“输出”选项卡中,根据需要设置“帧率”参数。然后,进入“关键帧”选项 卡,将帧率乘以想要的视频时长,得到“最大帧数”。在“动画模式”选项组中选择 “3D”,在“边界处理模式”选项组中选择“覆盖”,如图所示。
在“强度”选项卡中,“强度调度计划”参数用来控制上一帧图像对下一帧图像的 影响程度,该数值最好设置为0.5~0.6。 进入“CFG”选项卡,在“CFG系数调度计划”中输入“0:(1)”,如图所示。 需要注意的是,如果使用的是SD1.5和SDXL版的大模型,就不要修改这个参数。
在“运动”选项卡中可以设置镜 头的运动方式,例如“平移Z”中的 “0: (1.75)”,其冒号前的数字代表 帧数,圆括号里的数字代表运动量。 如果数值大于0,表示镜头向前运 动;如果数值小于0,则表示镜头向 后运动。另外,在“平移 X”中输入 “0: (-3), 80:(3)”,表示从第1帧开始 镜头向左移动,从第80帧开始镜头向 右移动,如图所示。
在“运行”选项组中勾选“运 动预览模式”复选框,然后单击 “生成”按钮。通过预览图片中的 摄像机运动轨迹,可以大致了解运 镜效果,如图所示。
进入“提示词”选项卡,在“正向提示词”中只输入画质提示词,在“反向提示 词”中输入反向提示词。在“提示词”文本框中提供了设置好的模板,模板中的提示词 分成4段,每段提示词都会生成一个画面,4个画面依次呈现就能得到我们所需的视频。 把文生图中的画面提示词输入到第一段中,然后修改剩下3段的提示词内容。当然, 根据需要,我们也可以删除或者添加更多段落。接下来,调整每个段落前面的数字,以 控制每个画面具体在第几帧时出现,如图所示。
进入“初始化”选项卡,勾选“启用初始化”复选框后,在“初始化图像链接”中 输入一张图片的路径,即可从该图片开始时引导生成画面,如图所示。 如果想在图片前面插入一段视频,以实现打开一扇门或者推开一扇窗后出现瞬息全 宇宙的故事性效果,可以把视频的最后一帧截取成图片,然后将截取的图片上传到初始 化选项卡中。生成视频后,再使用剪辑软件将其合成到一起。
最后进入“输出”选项卡,根据需要设置“帧率”参数,如图所示。在这里不建 议放大图像和添加音轨文件,因为在Topaz Video AI软件中进行放大和插帧的速度更快, 效果也更好。另外,在后期处理软件中合成音频文件可以避免产生音画不同步的问题。
单击“生成”按钮开始生成 视频。生成完毕后,可以单击“生 成”按钮上方的按钮预览视频。若 需要,可以单击页面下方的“保存 设置”按钮,把当前的所有设置参 数保存在文档中,以便分享或下次 使用,如图所示。
本期内容就到此啦,关注我不迷路,有机会免费获得书籍哦!
解密AI绘画与修图:Stable Diffusion+Photoshop-jd
本文摘自《解密AI绘画与修图:Stable Diffusion+Photoshop》,获出版社和作者授权发布。