EasyAnimateV5 视频生成大模型原理详解与模型使用

news2025/2/27 6:46:29

在数字内容创作中，视频扮演的角色日益重要。然而，创作高质量视频通常耗时且昂贵。EasyAnimate 系列旨在利用人工智能技术简化这一过程。EasyAnimateV5 建立在其前代版本的基础之上，不仅在质量上有所提升，还在多模态数据处理和跨语言支持上有了进一步的增强。

EasyAnimate 是阿里云人工智能平台 PAI 自主研发的一款基于 DiT 的视频生成框架，能够生成高质量的长视频。它具备视频数据预处理、VAE 训练、DiT 训练、Lora训练、模型推理和模型评估等功能。此外，EasyAnimate 在预训练模型的基础上，通过少量图片进行 LoRA 微调，可实现视频风格的转变，大大增强了系统的扩展性和完整性，使其在众多方案中更具竞争优势。

EasyAnimate在人工智能平台PAI上进行了集成，供用户一键训练和部署，在之前EasyAnimate版本的基础上，EasyAnimateV5重点突出了以下特点：

  • 应用MMDIT结构，拓展模型规模到7B与12B。

  • 支持不同控制输入的控制模型。

  • 更大幅度的图生视频策略。

  • 更多数据和更好的多阶段训练。

用户可以使用EasyAnimate来进行任意风格视频模型的训练和推理。目前，EasyAnimate将持续优化来达到更好的生成效果，欢迎大家持续关注。

开源地址：https://github.com/aigc-apps/EasyAnimate

DSW测试地址：阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台

技术报告：https://arxiv.org/abs/2405.18991

技术原理详解

模型规模拓展与结构更新

在我们的模型中，我们借鉴了CogVideoX与Stable Diffusion 3的方法，将文本和视频的嵌入连接起来，进一步通过自注意力机制进行特征融合，相比于原来Pixart通过Cross Attention实现文本特征融合方法，该方法不仅节省了计算次数，提高了计算效率，还让模型可以根据输入的不同条件自适应地调整注意力权重，灵活地融合多模态信息。

不过，文本和视频两种模态的特征空间存在显著差异，这可能导致它们的数值相差较大，不利于对齐。为了解决这一问题，我们参考Stable Diffusion 3，采用MMDiT架构作为基础模型。我们为每种模态设计了不同的to_k、to_q、to_v和前馈网络，并在一个自注意力机制中实现信息交互，以增强模态间的对齐。

另外，为了提高模型的理解能力，我们将模型进行了放大。参考Flux，我们模型的总参数量扩展到了7B与12B。

视频控制

EasyAnimate系列模型早在V3时便通过inpaint的方式实现了图生视频的功能，现在我们将其拓展到视频控制上。

在原始的Inpaint模型基础上，我们引入了一个新的控制信号替代了原有的mask信号。具体而言，我们将控制信号经过VAE编码后，与latent变量一起输入到patch流程中作为Guidance。

我们从26M的预训练数据中筛选出了大约443K条高质量视频，并采用不同的方法来提取控制条件，包括OpenPose、Scribble、Canny、Anime、MLSD、Hed和Depth，这些被用作训练中的条件控制信号。在训练过程中，我们根据不同的Token长度对视频进行了缩放，整个训练分为两个阶段：第一个阶段为13312（对应512x512x49的视频），第二个阶段为53248（对应1024x1024x49的视频）。

以EasyAnimateV5-12b-Control模型为例：

  • 在13312阶段

  • Batch size为128，训练步数为5000。

  • 在53248阶段

  • Batch size为96，训练步数为2000。

训练后的模型可以输入Control Condition对输出视频进行控制，可控生成。以下是工作原理图：

基于Token长度的模型训练

EasyAnimateV5的训练分为多个阶段，除了图片对齐VAE的阶段外，其它阶段均为视频训练，分别对应了不同的Token长度。

我们首先使用图片让VAE与Transformer快速对齐，我们使用了10M的SAM数据集，进行从0开始的文本图片对齐训练，总共训练约120K步。相比于使用视频对齐，使用图片对齐的速度更快且对目标的描述更清晰，在训练完成后，模型已经有能力根据提示词去生成对应的图片，并且图片中的目标基本符合提示词描述。

然后我们使用视频训练，我们创新的根据不同的Token长度，对视频进行缩放后进行训练。视频训练分为多个阶段，每个阶段的Token长度分别是3328（对应256x256x49的视频），13312（对应512x512x49的视频），53248（对应1024x1024x49的视频）。其中：

  • 3328阶段

  • 使用了全部的数据（大约26.6M）训练文生视频模型，Batch size为1536，训练步数为66.5k。

  • 13312阶段

  • 使用了720P以上的视频训练（大约17.9M）训练文生视频模型，Batch size为768，训练步数为30k

  • 使用了最高质量的视频训练（大约0.5M）训练图生视频模型 ，Batch size为384，训练步数为5k

  • 53248阶段

  • 使用了最高质量的视频训练（大约0.5M）训练图生视频模型，Batch size为196，训练步数为5k。

训练时我们采用高低分辨率结合训练，因此模型支持从512到1024任意分辨率的视频生成，以13312 token长度为例：

  • 在512x512分辨率下，视频帧数为49；

  • 在768x768分辨率下，视频帧数为21；

  • 在1024x1024分辨率下，视频帧数为9；

这些分辨率与对应长度混合训练，模型可以完成不同大小分辨率的视频生成。

图生视频策略

我们采用inpaint的方式实现图生视频，需要重建的部分和重建的参考图分别通过VAE进行编码，上图黑色的部分代表需要重建的部分，白色的部分代表首图，然后和随机初始化的latent进行concat，传入网络当中进行预测。

假设我们期待生成一个384x672x49的视频，此时的初始latent就是16x13x48x84，需要重建的参考图编码后也是4x13x48x84，另外我们对mask信息进行Resize，Resize后是1x13x48x84，三个向量concat到一起后便是33x13x48x84，传入DiT模型中进行噪声预测。

由于我们mask信息可以根据需要传入，我们不仅可以指定首图，还可以指定尾图。另外，我们还可以通过指定区域的mask实现视频编辑。

在视频生成过程中，向视频中添加噪声会对生成结果产生显著影响。参考CogVideoX和SVD的做法，我们会在非背景的参考图上加入噪声，以打破原图并追求更大的运动幅度。与CogVideoX保持一致，我们从均值为-3.0、标准差为0.5的正态分布中采样得到噪声幅度，然后取其指数确保噪声幅度在合理范围内。我们通过函数会生成与输入视频形状相同的随机噪声，并根据已计算的噪声幅度进行缩放。这些噪声只添加到需要参考的帧上，得到加噪后的视频。

模型使用

DSW实践

我们支持从DSW上快速拉起，DSW上的免费体验产品包含30GB内存，可以支持EasyAnimateV5-7b-zh与EasyAnimateV5-12b-zh使用qfloat8在512分辨率下的运行：

DLC中默认使用的是app.py拉起的gradio-ui，在选择对应模型后，我们就可以填入下方的prompt进行预测了。

本地拉起

我们同样支持通过本地拉起使用EasyAnimate。

以使用ComfyUI为例，在本机上可以通过执行如下的代码首先将EasyAnimate插件和ComfyUI-VideoHelperSuite安装。

cd ComfyUI/custom_nodes/

# Git clone the easyanimate itself
git clone https://github.com/aigc-apps/EasyAnimate.git

# Git clone the video outout node
git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git

cd EasyAnimate/
python install.py

然后运行ComfyUI软件，根据需求将EasyAnimate的comfyui文件夹下的json文件拖入ComfyUI界面中，在如下页面中，进行视频生成。

联系我们

  • 项目开源地址：https://github.com/aigc-apps/EasyAnimate

  • 钉钉交流群号： 77450006752

参考文档

  • EasyAnimate: https://github.com/aigc-apps/EasyAnimate

  • CogVideo X: https://github.com/THUDM/CogVideo/

  • Flux: https://github.com/black-forest-labs/flux

  • Stable Diffusion 3: https://huggingface.co/stabilityai/stable-diffusion-3-medium/

  • SVD: https://arxiv.org/abs/2311.15127

  • MagVIT: https://github.com/google-research/magvit

  • PixArt: https://github.com/PixArt-alpha/PixArt-alpha

  • Open-Sora-Plan: https://github.com/PKU-YuanGroup/Open-Sora-Plan

  • Open-Sora: https://github.com/hpcaitech/Open-Sora

  • Animatediff: https://github.com/guoyww/AnimateDiff

  • Llava-v1.6-vicuna-7b:https://huggingface.co/liuhaotian/llava-v1.6-vicuna-7b

  • SAM: [PDF] Segment Anything | Semantic Scholar

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2255884.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【大语言模型】LangChain LCEL 表达式语言

【大语言模型】LangChain LCEL 表达式语言

【大语言模型】LangChain LCEL 表达式语言 一、简介二、LCEL的优势三、LCEL 的基本使用1、Runnable 对象 四、实战实例 一、简介 LangChain LCEL 的全称为 LangChain Expression Language 即可直译为 LangChain 表达式。 为了构造更复杂的 LLM 应用并且更为简便快捷的构造 LLM…
阅读更多...
java中的递归

java中的递归

大家好，今天我们来学习一下java中的递归，相信大家应该也对递归有一点了解吧，如果没有也没有关系，我们现在就来了解一下。 五、递归 自身中包含了自己,遇到的问题直接并不好解决,但是发现将原问题拆分成其子问题之后,子问题与原问…
阅读更多...
【pyspark学习从入门到精通23】机器学习库_6

【pyspark学习从入门到精通23】机器学习库_6

目录 分割连续变量 标准化连续变量 分类 分割连续变量 我们经常处理高度非线性的连续特征，而且只用一个系数很难拟合到我们的模型中。 在这种情况下，可能很难只通过一个系数来解释这样一个特征与目标之间的关系。有时，将值划分到离散的桶中…
阅读更多...
STM32 自学笔记

STM32 自学笔记

摘抄于大学期间记录在QQ空间的一篇自学笔记，当前清理空间，本来想直接删除掉的，但是感觉有些舍不得，因此先搬移过来。 RAM vs ROM vs FLASH 2013-09-05记录，ROM和RAM指的都是半导体存储器，ROM是Read Only …
阅读更多...
距离与AoA辅助的三维测距算法（适用于四个基站的情况的单点定位），MATLAB代码

距离与AoA辅助的三维测距算法（适用于四个基站的情况的单点定位），MATLAB代码

本MATLAB 代码实现了一个基于LOS/NLOS混合环境的单点定位系统，主要用于估计目标物体的单点位 文章目录 代码运行结果源代码代码功能概述主要步骤分析初始化部分 绘图与输出 代码运行结果 定位结果如下： 命令行的坐标和误差输出： 部分代码…
阅读更多...
2024年华中杯数学建模B题使用行车轨迹估计交通信号灯周期问题解题全过程文档及程序

2024年华中杯数学建模B题使用行车轨迹估计交通信号灯周期问题解题全过程文档及程序

2024年华中杯数学建模 B题 使用行车轨迹估计交通信号灯周期问题 原题再现 某电子地图服务商希望获取城市路网中所有交通信号灯的红绿周期，以便为司机提供更好的导航服务。由于许多信号灯未接入网络，无法直接从交通管理部门获取所有信号灯的数据&#x…
阅读更多...
Cesium-地球材质-坡度

Cesium-地球材质-坡度

1. 创建viewer 创建viewer并添加地形 const viewer new Cesium.Viewer("cesiumContainer", {terrainProvider: await Cesium.CesiumTerrainProvider.fromIonAssetId(3956, {requestVertexNormals: true}) }); 2. 创建canvas色条 添加getColorRamp方法&#xff0…
阅读更多...
OpenAI 12连更第一弹：o1完全体，200刀一个月的ChatGPT Pro

OpenAI 12连更第一弹：o1完全体，200刀一个月的ChatGPT Pro

来源 | 机器之心 一天前，OpenAI 官方 X 账户的一条推文将 AI 社区的期待值拉满了。这家世界头部 AI 公司宣布将在未来的 12 天进行 12 场直播，发布一些「大大小小的新东西」。 这是 OpenAI 准备的圣诞礼物。 至于这些「大大小小的新东西」究竟是什么&am…
阅读更多...
使用C#基于ADO.NET编写MySQL的程序

使用C#基于ADO.NET编写MySQL的程序

MySQL 是一个领先的开源数据库管理系统。它是一个多用户、多线程的数据库管理系统。MySQL 在网络上特别流行。MySQL 数据库可在大多数重要的操作系统平台上使用。它可在 BSD Unix、Linux、Windows 或 Mac OS 上运行。MySQL 有两个版本：MySQL 服务器系统和 MySQL 嵌入…
阅读更多...
运动模糊效果

运动模糊效果

1、运动模糊效果 运动模糊效果，是一种用于 模拟真实世界中快速移动物体产生的模糊现象 的图像处理技术，当一个物体以较高速度移动时，由于人眼或摄像机的曝光时间过长，该物体会在图像中留下模糊的运动轨迹。这种效果游戏、动画、电…
阅读更多...
三款电容麦的对比

三款电容麦的对比

纸面参数 第一款麦克风 灵敏度: -36 dB 2 dB（0 dB1V/Pa at 1 kHz） 灵敏度较低，需要更高的增益来拾取同样的音量。频率响应: 40 Hz - 18 kHz 响应范围较窄，尤其在高频区域。等效噪音级: ≤18 dB（A计权） 噪…
阅读更多...
nacos bootstrap.yml 和 spring.config.import 加载配置的流程区别

nacos bootstrap.yml 和 spring.config.import 加载配置的流程区别

相关依赖 springboot:2.7.15 nacos:2.2.3 bootstrap.yml加载方式 加载流程如下图所示 从图中可以看出,： 1.bootstrap.yml 的加载是在 BootstrapApplicationListener.onApplicationEvent 接收到 ApplicationEnvironmentPreparedEventEvent 事件后另起一个 Sprin…
阅读更多...
数据结构题库12

数据结构题库12

第六章 图 一、单项选择题 1．下面关于图的存储结构的叙述中正确的是 (1) 。 (1)：A．用邻接矩阵存储图占用空间大小只与图中顶点有关，与边数无关 B．用邻接矩阵存储图占用空间大小只与图中边数有关，而与顶点数…
阅读更多...
【adb】iqoo系统精简垃圾内置应用

【adb】iqoo系统精简垃圾内置应用

免责声明 这个得谨慎点，虽然我验证过两部手机和不同版本的系统，但是总会有特殊的存在、 本教程来自于互联网搜集整理， 按照本教程造成的用户设备硬件或数据损失，本人概不承担任何责任，如您不同意此协议，请不…
阅读更多...
sharedPreference包的使用总结

sharedPreference包的使用总结

文章目录 1 概念介绍2 实现方法3 示例代码我们在上一章回中介绍了"如何自定义评分条"相关的内容，本章回中将介绍如何实现本地存储.闲话休提，让我们一起Talk Flutter吧。 1 概念介绍 Flutter是一套跨平台的UI框架，它不像原生SDK一样提供本地存储功能，因此,我们在…
阅读更多...
嵌入式蓝桥杯学习4 lcd移植

嵌入式蓝桥杯学习4 lcd移植

cubemx配置 复制前面配置过的文件 打开cubemx，将PB8,PB9配置为GPIO-Output。 点击GENERATE CODE. 文件移植 1.打开比赛提供的文件包，点击Inc文件夹 2.点击Inc文件夹。复制fonts.h和lcd.h，粘贴到我们自己的工程文件夹的bsp中&#xff08…
阅读更多...
基于Matlab扩展卡尔曼滤波的GPS与DME组合无人机导航系统设计与实现

基于Matlab扩展卡尔曼滤波的GPS与DME组合无人机导航系统设计与实现

随着无人机（UAV）在农业监测、环境保护、物流运输、灾害救援等各个领域的广泛应用，精准且可靠的导航系统已成为提升无人机性能和任务执行能力的关键因素。传统的导航方法依赖于单一传感器，往往难以在复杂和动态的环境中提供足够的定…
阅读更多...
仿真键盘输入遇到Edge环境不识别 回车符如何处理

仿真键盘输入遇到Edge环境不识别 回车符如何处理

这个问题我也是最近才遇到，可能现在大家都喜欢用新架构，基于网页来写应用管理软件。 当遇到Edge环境下，文本框不识别回车符如何处理，根据笔者经验可通过配置Edge 基于键盘管理设置来解决这个事情。如图 即在Edge浏览器环境下&…
阅读更多...
黑马redis

黑马redis

Redis的多IO线程只是用来处理网络请求的，对于读写操作命令Redis仍然使用单线程来处理 Redisson分布式锁实现15问 文章目录 主线程和IO线程是如何协作的Unix网络编程中的五种IO模型Linux世界一切皆文件生产上限制keys *、flushdb、flushall等危险命令keys * 遍历查询100W数据花…
阅读更多...
JDK 并发编程工具类详解：CountDownLatch、Semaphore、Exchanger、CyclicBarrier 和 Phaser

JDK 并发编程工具类详解：CountDownLatch、Semaphore、Exchanger、CyclicBarrier 和 Phaser

在 Java 并发编程中，JDK 提供了一些强大的工具类来帮助开发者处理线程间的同步和通信问题。这些工具类主要包括 CountDownLatch、Semaphore、Exchanger、CyclicBarrier 和 Phaser，它们都位于 java.util.concurrent 包下，统称为 JUC&#xff0…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023