定制化视频生成新模范!零样本主体驱动,精确运动控制!复旦阿里等发布DreamVideo-2

news2024/11/22 22:32:53

文章链接:https://arxiv.org/pdf/2410.13830
项目链接:https://dreamvideo2.github.io/

亮点直击

  • DreamVideo-2,首个无需微调,同时支持主体定制和运动控制的零样本视频定制框架,能够通过设计的参考注意力学习主体外观,并使用二值mask引导的运动模块实现运动轨迹控制。

  • 识别出DreamVideo-2中运动控制占主导的问题,并通过使用混合mask 增强参考注意力(即mask参考注意力)和设计重加权扩散损失来解决该问题,从而有效平衡了主体学习和运动控制。

  • 构建了一个大型、全面且多样性丰富的视频数据集,以支持零样本视频定制任务。

  • 大量实验结果表明,DreamVideo-2优于现有的先进视频定制方法。

总结速览

解决的问题

现有的视频定制生成方法需要在测试时进行复杂的微调,且难以平衡主体学习与运动控制,限制了其在实际应用中的效果。

提出的方案

提出了DreamVideo-2,一种无需测试时微调的零样本视频定制框架,通过单张图像和一组边界框序列指导视频生成,确保生成视频的特定主体和运动轨迹。

应用的技术

  • 参考注意力机制:利用模型固有的主体学习能力来学习特定主体。

  • mask 引导的运动模块:通过从边界框中提取的二值mask 来精准控制运动。

  • 掩码参考注意力:将混合隐空间mask 建模方案集成到参考注意力中,以增强目标位置的主体表征。

  • 重加权扩散损失:区分边界框内外区域的贡献,确保主体和运动控制的平衡。

达到的效果

在一个新构建的数据集上的大量实验表明,DreamVideo-2在主体定制和运动控制方面均优于现有的先进方法。

方法

给定一个定义主体外观的单个主体图像和一个描述运动轨迹的边界框序列,DreamVideo-2旨在生成包含指定主体和运动轨迹的视频,无需在推理时进行微调或修改,如下图2所示。为了学习主体外观,利用模型的固有能力,并引入了参考注意力。对于运动控制,提出使用mask作为运动控制信号,并设计了 mask 引导运动模块。此外,为了平衡主体学习和运动控制,通过混合 mask (即mask参考注意力)增强参考注意力,并设计了重加权扩散损失。最后,详细介绍了训练、推理和数据集构建过程。

通过参考注意力进行主体学习

对于主体学习,专注于使用单张图像来捕捉外观细节,这虽然具有挑战性,但有助于实际应用。给定单个输入图像,首先对其进行分割以获得主体图像 ,背景为空白,有效地保留了独特的ID特征,同时最小化背景干扰。

为了捕捉主体外观的复杂细节,先前的研究通常使用额外的图像编码器(例如,CLIP,类似ControlNet的编码器,ReferenceNet)来提取图像特征。然而,引入额外的网络往往会增加参数数量和训练成本。在本研究中,发现视频扩散模型本身就能够提取外观特征,从而无需额外模块即可提高训练效率。

为此,引入了参考注意力,利用模型的固有能力提取多尺度主体特征。将主体图像视为单帧视频并将其输入到原始视频扩散模型中,以获得主体注意力特征 ,这是公式(2)中自注意力或交叉注意力的输出。参考注意力通过实施残差交叉注意力将主体注意力特征注入视频注意力特征 :

当 , , 时,、 和 是参考注意力的投影矩阵,并被随机初始化。此外,将参考注意力中输出线性层的权重初始化为零,以保护预训练模型在训练初期不被破坏。

通过mask引导的运动模块实现运动控制

为了便于运动控制,利用边界框作为用户输入来描绘目标的运动轨迹,提供了灵活性和便利性。定义一组边界框输入序列为 ,其中每个边界框 包含其左上角和右下角的坐标。然后,将这些边界框转换为二值mask 序列 ,其中每个mask 的前景像素值为 1,背景像素值为 0。

最终的运动控制信号表示为 ,以便与包含空白背景的主体图像对齐。与以往工作中直接使用轨迹进行训练相比,mask 提供了更强的控制信号,并将目标限制在边界框内,从而提高了训练效率和运动控制精度。

为了从mask 序列中捕获运动信息,设计了一个mask 引导的运动模块,该模块使用一个时空编码器和一个空间 ControlNet,如前面图 2 所示。虽然先前的研究证明了 3D ControlNet 从序列输入中提取控制信息的有效性,但其高昂的训练成本在实际应用中存在潜在缺陷。鉴于mask 序列中简单的时序关系,使用一个轻量级的时空编码器足以提取所需的时序信息。因此,仅在该编码器上附加一个空间 ControlNet 以进一步提高控制精度。时空编码器由重复的二维卷积和非线性层组成,后接两个时序注意力层和一个输出卷积层,如前面图 2 右侧所示。此外,空间 ControlNet 提取多尺度特征,并将其添加到 VDM 解码器块的卷积层输入中。

平衡主体学习与运动控制

虽然上述两个组件已实现其预期功能,根据经验观察到,运动控制往往占主导地位,这可能削弱主体ID保持的质量。如下图 3(b) 所示,模型仅需少量步骤即可学会运动控制,部分说明了在指定位置生成主体相比于学习外观细节更简单。在图 3(c) 中,即使在延长训练步骤的情况下,参考注意力和运动模块的联合训练也仍然使运动控制占主导地位,从而导致主体ID被破坏。相比之下,如图 3(d) 所示,本文的方法通过以下两个关键设计有效平衡了主体学习和运动控制。

mask 参考注意力 为了在所需位置增强主体的ID特征,通过二值mask将混合隐空间mask 建模引入到参考注意力中。具体来说,将二值mask 调整为隐空间masks 以匹配不同层的注意力特征尺寸。然后,为背景(即框外区域)在 中分配相对较低的权重,得到混合masks ,强制模型在特征层面上更多关注主体,减少对背景的关注。

其中, 是mask 中背景的权重。相比使用忽略背景信息的二值masks ,混合masks 可以增强主体在所需位置的特征,同时减少背景失真。最终,mask 参考注意力可以表示为

其中 表示逐元素相乘操作。对于主体学习,冻结所有原始的 UNet 参数,仅训练附加在每个空间 Transformer 块中的mask 参考注意力,如前面图 2 所示。

重加权扩散损失 为了平衡主体学习和运动控制,进一步提出了一种重加权扩散损失,以区分边界框内外区域对标准扩散损失的贡献。具体而言,放大边界框内区域的贡献,以增强主体学习,同时保留边界框外区域的原始扩散损失。设计的重加权扩散损失可以定义为

其中, 是用于调整主体ID增强的损失权重。

训练、推理和数据集构建

训练 从训练视频中随机选择一帧并进行分割,以获得带有空白背景的主体图像,这相比于使用首帧能缓解过拟合。同时,从训练视频的所有帧中提取主体的边界框,并将其转换为mask 作为运动控制信号。在训练过程中,冻结原始的 3D UNet 参数,并根据公式 (6) 联合训练新添加的mask 参考注意力、时空编码器和 ControlNet。

推理 DreamVideo-2 在推理时无需微调,且不需要修改注意力图。用户只需提供主体图像和边界框序列,即可灵活生成包含指定主体和运动轨迹的定制视频。边界框可以从多种信号中获得,包括首帧和末帧的边界框、首帧边界框及运动轨迹,或参考视频。这些信号随后被转换为二值mask作为输入。

数据集构建 为了便于主体和运动控制的零样本视频定制任务,从 WebVid-10M数据集和内部数据中策展了一个包含视频mask 和边界框的单主体视频数据集。注释是使用 Grounding DINO、SAM和 DEVA模型生成的。本文的数据集与之前的数据集的比较见下表 1。目前已处理 230,160 个视频用于训练。

实验

实验设置

数据集 在策展的视频数据集上训练 DreamVideo-2,并通过包含 50 个主体和 36 个边界框的测试集进行评估。主体图像来源于之前的文献和互联网,而边界框来自 DAVIS 数据集中的视频和 FreeTraj 中使用的框。此外,设计了 60 个文本提示用于验证。

实现细节 使用 AdamW优化器对所有模块进行联合训练,学习率为 ,权重衰减设为 0,训练迭代次数为 30,000。训练时设置混合mask 权重 为 0.75,重加权扩散损失权重 为 2。视频的空间分辨率为 448×256,帧数 为 16。总批量大小为 144,基础模型采用 ModelScopeT2V。推理时,使用 50 步 DDIM 和强度9.0的无分类器指导,生成帧率为8fps 的视频。

基线方法 将本文的方法与 DreamVideo和 MotionBooth进行主体定制和运动控制的对比。此外,还与 DreamVideo 和 VideoBooth进行独立的主体定制对比,并与 Peekaboo、Direct-a-Video和 MotionCtrl进行运动轨迹控制的对比。

评估指标 通过 9 个指标评估方法,重点关注三个方面:总体一致性、主体保真度和运动控制精度。

  • 对于总体一致性,使用 CLIP 图文相似性 (CLIP-T)、时序一致性 (T. Cons.) 和动态程度 (DD) 进行评估,DD 使用光流来测量运动动态。

  • 对于主体保真度,引入了四个指标:CLIP 图像相似性 (CLIP-I)、DINO 图像相似性 (DINO-I)、区域 CLIP-I (R-CLIP) 和区域 DINO-I (R-DINO)。R-CLIP 和 R-DINO 计算主体图像与边界框定义的帧区域之间的相似性。

  • 对于运动控制精度,使用平均交并比 (mIoU) 和质心距离 (CD) 指标 。CD 计算生成的主体质心与目标边界框之间的归一化距离。使用 Grounding-DINO 来预测生成视频的边界框。

主要结果

主体定制和运动控制的联合 对比了本文的方法与基线方法生成带有指定主体和运动轨迹视频的质量,结果如下图 4 所示。观察到,DreamVideo 和 MotionBooth 难以在主体保留和运动控制之间取得平衡,尤其是在训练单一主体图像时。主体与运动的控制强度不平衡影响了它们的表现,导致在增强某一方面时损害了另一方面的效果。相较之下,DreamVideo-2 能够在各种上下文中和谐地生成带有期望主体外观和运动轨迹的定制视频。此外,本文的方法有效地将主体限制在边界框内,更好地符合用户的偏好,增强了其在实际应用中的适用性。

定量比较结果 如下表 2 所示。DreamVideo-2 在文本对齐、主体保真度和运动控制精度方面始终优于所有基线方法,同时在时序一致性上也达到了可比的表现。值得注意的是,本文的方法在 mIoU 和 CD 指标上显著超越了基线方法,验证了在运动控制方面的稳健性。相比之下,DreamVideo 在 CLIP-I 和 DINO-I 指标上表现第二优,但在 mIoU 和 CD 上较弱,表明其在主体ID保留方面具有优势,但在运动控制方面存在局限性。MotionBooth 由于对整个模型进行了微调,CLIP-T 得分最低,但在 mIoU 和 CD 指标上比 DreamVideo 更好,表明使用显式运动控制信号(例如边界框)可能比从参考视频学习更为有效。

主体定制 还评估了独立的主体定制能力。下图 5 展示了定性比较结果。观察到,VideoBooth 对于其训练数据中未包含的主体表现出有限的泛化能力,而 DreamVideo 在单张图像训练时未能捕捉到外观细节。相反,当在与 VideoBooth 相同的数据集上训练时,DreamVideo-2 结合参考注意力和重加权扩散损失,可以生成符合文本提示的目标主体视频。

表 3 的定量比较结果显示,尽管 DreamVideo-2 在 CLIP-I 和时序一致性上保持相当的表现,但它在 CLIP-T、DINO-I 和动态程度上取得了最高分,验证了本文的方法在文本对齐、主体保真度和运动动态方面的优越性。

运动控制 除了主体定制之外,还评估了运动控制能力,如图 6 所示。结果表明,所有基线方法在准确控制主体按边界框定义的运动方面都存在困难。同时,Direct-a-Video 可能会因修改注意力图值而导致生成的物体外观损坏。相比之下,仅使用运动编码器的 DreamVideo-2 能够实现精确的运动控制,并有效地确保主体保持在边界框内,展示了稳健的控制能力。

如下表 4 所示,尽管与 MotionCtrl 相比在时序一致性(T. Cons.)上略低,本文的方法在 CLIP-T 上取得最高得分,并且在 mIoU 和 CD 指标上大幅超越基线方法。

用户研究 为进一步评估 DreamVideo-2,进行了用户研究,邀请 15 名标注员对三种方法生成的 300 组视频进行评分。每组包含 3 个生成的视频、一个主体图像、文本提示和对应的边界框。根据文本对齐度、主体保真度、运动对齐度和总体质量四个方面进行评估,并通过多数投票得出结果。下图 7 显示,用户在四个方面均更偏好本文的方法。

消融实验

各组件的效果 本文进行了消融实验以探究各组件的效果,如下图 8(a) 所示。观察到,去除mask 机制或重加权扩散损失后,主体ID的质量因运动控制的主导性而下降。虽然在mask 参考注意中使用二值mask 有助于保留主体ID,但由于忽略了注意力中的背景信息,往往导致背景模糊、视频质量低下。值得注意的是,在没有运动编码器的情况下,mask 参考注意力仍然能够实现粗略的轨迹控制。

下表 5 的定量结果表明,去除mask 机制、运动编码器或重加权扩散损失后,所有指标的性能均会下降。这证实了各组件对整体性能的贡献;

混合mask 权重 的效果 为确定最佳混合mask 权重 ,对其值进行调整并测量其影响。如上图 8(b) 所示,使用 = 1 会导致主体ID退化,而 = 0 则会导致背景模糊。此外,观察到增加 可以提高视频质量。为平衡主体ID与视频质量,最终选择 = 0.75。

表 5 显示了定量结果。 会导致 CLIP-T 得分最低但 mIoU 最高。较小的 λM 可以增强位置信息但会抑制背景,从而提高控制精度但降低视频质量。此外,结果表明使用混合mask 在主体保真度方面始终优于不使用,突显其有效性。

结论

本文提出了 DreamVideo-2,这是一种创新的零样本视频定制框架,能够生成具有特定主体和运动轨迹的视频。引入了参考注意力用于主体学习,并设计了mask 引导的运动模块以实现运动控制。针对 DreamVideo-2 中运动控制主导性的问题,在参考注意力中引入了混合mask 并设计了重加权扩散损失,从而有效地平衡了主体学习和运动控制。大量实验结果表明,DreamVideo-2 在主体定制和运动轨迹控制方面均具有优势。

局限性 尽管本文的方法能够定制单个主体与单一轨迹,但在生成包含多个主体和多重轨迹的视频时仍存在不足。一种解决方案是构建更为多样化的数据集并训练通用模型。

参考文献

[1] DreamVideo-2: Zero-Shot Subject-Driven Video Customization with Precise Motion Control

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2230168.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java中的线程安全问题(如果想知道Java中有关线程安全问题的基本知识,那么只看这一篇就足够了!)

前言:多线程编程已经广泛开始使用,其可以充分利用系统资源来提升效率,但是线程安全问题也随之出现,它直接影响了程序的正确性和稳定性,需要对其进行深入的理解与解决。 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解…

Kubernetes Node 节点的生命周期简述

Node 节点是 Kubernetes 的核心组件之一,其生命周期可以简要概括为:注册、运行、下线。本文将简要介绍 Node 生命周期中发生的关键事件。 节点注册 每个 node 节点都需要运行 kubelet,kubelet 启动后会向 kube-apiserver 发起节点的注册请求…

GenAI 生态系统现状:不止大语言模型和向量数据库

自 20 个月前 ChatGPT 革命性的推出以来,生成式人工智能(GenAI)领域经历了显著的发展和创新。最初,大语言模型(LLMs)和向量数据库吸引了最多的关注。然而,GenAI 生态系统远不止这两个部分&#…

ctf文件上传题小总结与记录

解题思路:先看中间件,文件上传点(字典扫描,会员中心),绕过/验证(黑名单,白名单),解析漏洞,cms,编辑器,最新cve 文件上传漏…

如何使用VBA识别Excel中的“单元格中的图片”(2/2)

Excel 365升级了新功能,支持两种不同的插入图片方式: 放置在单元格中(Place in cell),新功能,此操作插入的图片下文中简称为单元格中的图片。放置在单元格上(Place over cell)&…

python绘制置信椭圆

置信椭圆 置信椭圆(Confidence Ellipse)是一种用来表示二维数据的置信区域的统计工具。它是多元统计分析中常用的图形,通过它可以表示两个变量之间的协方差关系以及同时包含两个变量的可能取值范围。置信椭圆一般用于描述一组二维数据的散布…

用Python设置、更新和获取Excel单元格的值

Excel工作簿作为一款广泛使用的数据管理工具,与Python相结合,可以使得自动化处理大量数据成为可能。通过Python来设置、更新以及读取Excel单元格的值,不仅可以极大地提高工作效率,减少重复劳动,还能增强数据处理流程的…

轴承故障全家桶更新 | 基于时频图像的分类算法

往期精彩内容: Python-凯斯西储大学(CWRU)轴承数据解读与分类处理 Pytorch-LSTM轴承故障一维信号分类(一)-CSDN博客 Pytorch-CNN轴承故障一维信号分类(二)-CSDN博客 Pytorch-Transformer轴承故障一维信号分类(三)-CSDN博客 三十多个开源…

001-Kotlin界面开发之Jetpack Compose Desktop学习路径

Compose Desktop学习之路 学习过程 理解Kotlin的基本语法 Compose Desktop采用Kotlin构建,因此对Kotlin的基本语法有很好的理解是必不可少的。你可以从官方的Kotlin文档开始。 用一句话概括,Kotlin是一种现代的、静态类型的编程语言,它结合…

阳振坤:云时代数据库的思考 | OceanBase发布会实录

在2024 OceanBase 年度发布会中,OceanBase 的创始人与首席科学家阳振坤进行了《云时代数据库的思考》的主题分享。本文为演讲实录。 亲爱的朋友们,衷心感谢各位莅临今天的发布会现场。今天是一个云的时代,我想与大家分享,我对于云…

JavaScript语法基础(函数,对象,常用类Array,String,Math和Date)【超详细!!!新手入!!!】

一、函数 1、函数的定义 函数指的是一段可被重复调用的代码块。函数与变量不同,需要先定义再调用。 定义函数的语法格式为: function 函数名(参数1,参数2,...) { 语句; …

OpenGL入门004——使用EBO绘制矩形

本节将利用EBO来绘制矩形 文章目录 一些概念EBO 实战简介utilswindowFactory.hRectangleModel.hRectangleModel.cpp main.cppCMakeLists.txt最终效果 一些概念 EBO 概述: Element Buffer Object 用于存储顶点的索引数据,以便在绘制图形时可以重用顶点数…

linux之网络子系统-用户层接收数据包之同步阻塞方案

一、前言 之前讲述了网络包是如何从网卡送到协议栈的,接下来内核还有一项重要的工作,就是在协议栈接收处理完输入包后要通知到用户进程,如何用户进程接收到并处理这些数据。 进程与内核配合有多种方案,这里我们这分析两种典型的…

高效消防应急:RFID技术救援装备的快速管理

基层应急救援消防设施管理面临着一个既复杂又迫切的挑战。通常,受限的资源和专业人才的短缺导致应对突发事件的反应迟缓,处理结果不理想。同时,消防团队的人员结构和技术能力也在一定程度上决定了应急救援的成效和效率。在数字化浪潮下&#…

TMDOG的Gin学习笔记_01——初识Gin框架

TMDOG的Gin学习笔记_01——初识Gin框架 博客地址:[TMDOG的博客](https://blog.tmdog114514.icu) 作者自述: 停更太久了,是因为开学了课太多了,并且我一直在准备上篇文章的内容正在coding,就先搁置了更新博客QAQ&…

【ROS的TF系统】

系列文章目录 TF系统简介 前面的章节实现了SLAM节点的建图功能: 激光雷达节点—> /scan话题 —>hector_mapping节点—> 地图数据话题/map 本期来实现SLAM节点的定位功能: TF(TransForm)主要描述的是两个坐标系的空间关…

Pandas JSON学习

1.JSON简介 JSON(JavaScript Object Notation,JavaScript 对象表示法),是存储和交换文本信息的语法,类似 XML。JSON 比 XML 更小、更快,更易解析,Pandas 可以很方便的处理 JSON 数据。 [{"…

SQL Server身份验证模式

SQL Server是一个广泛使用的关系数据库管理系统,通常使用两种身份验证模式:Windows身份验证和SQL Server身份验证。理解这些身份验证方式的概念与更改方式的操作,对于数据库管理员和开发者至关重要。本文将详细介绍身份验证方式的概念以及如何…

DC-9靶机通关

这是这个系列的最后一个靶机了!!!经过前面的锻炼和学习,这次我的目标是尽量不借助任何教程或者提示来拿下这个靶机!!!下面我们看能不能成功!!! 1.实验环境 攻…

百度SEO分析实用指南 提升网站搜索排名的有效策略

内容概要 在数字化时代,搜索引擎优化(SEO)已经成为提升网站曝光度的关键工具。本指南将带您了解SEO的基本知识,帮助您在复杂的网络环境中立足。我们将从关键词优化开始,重点讲解如何选择合适的关键词来提高搜索引擎排…