​中国版Sora:Vidu发布“主体参照”功能,支持让任意主体保持一致

news2024/9/18 13:09:01

OpenAI发布Sora模型后,掀起了AI视频生成热潮,一段60秒的视频不仅让ai领域的从业者兴奋不已,也让全世界的资本聚集在了这个领域上。

国内玩家在这个赛道也是卷了又卷。字节跳动的即梦AI,快手的可灵AI,智谱AI的CogVideoX一一走上了牌桌。9月11日,由生数科技和清华大学联合研发的国产自研原创视频大模型Vidu也迎来升级更新,上线了“主体参照”(Subject Consistency)功能,在其官网中名为“参考生视频”。

图片

据生数科技的相关负责人说,该功能能够实现对任意主体的一致性生成,目的是让视频生成更加稳定、可控。

“主体参照”的主要功能包括:

单一主体一致性:确保单一角色或物体在生成的图像中保持一致;

角色控制:支持真人、动物等各种类型角色的一致性;

同时支持不同的艺术风格(如写实、2D、3D等)的控制;

身体控制:该功能还提供角色面容、半身和全身图像的一致性控制;

支持商业广告场景的应用。

Bulu测试了用真人、动画人物、二次元人物都测试了一下这个功能,展示下部分的生成视频:

图片

图片

用上图“关羽”作为主体,提示词:关羽在成都春熙路跳舞。生成的视频以下⬇️

图片

图片

用上图“林黛玉”作主体,提示词:林黛玉穿职业装,在咖啡馆喝咖啡。生成的视频以下⬇️

用二次元人物作为主体,提示词:樱花树下,银发紫眸的二次元帅哥突然出现,对我轻轻弹唱。生成的视频以下⬇️

整体使用感受还不错:

生成速度比较快,生成4秒视频时间不超过30秒;

摒弃了传统的分镜头画面生成步骤,通过“上传主体图片+输入场景描述词”的方式,直接生成视频素材;

对提示词理解能力还不错,生成结果比较精准;

另外,对动漫风格优化的会好一些,能保持风格的一致性,写实的效果相对差一点。

话说回来,目前市场上大部分视频模型在生成视频时不稳定。比如:有时候主体、场景或者风格不能保持一致,特别是在需要进行复杂互动的时候这个问题更突出。另外,这些模型生成的结果往往带有很大的随机性,这意味着用户可能需要多次尝试才能得到满意的结果,并且对于像镜头运动、光影效果这样的细节,还不能做到精确控制。

不得不说,Vidu针对上述提到的这个痛点上做了优化。在“主体参照”功能下,用户只需上传一张任意主体的图片,就可以锁定该主体的形象,并通过输入不同的描述词来变换场景,从而生成主体形象一致的视频。

据官方说,此功能不仅限于单一人物,还可以应用于动物、商品、动漫角色以及虚构对象等各种不同的主体。感兴趣的朋友,可以去尝试下。

使用步骤

1

登陆Vidu官网:https://www.vidu.studio

图片

2

用邮箱或手机号注册

图片

新用户注册有80个积分,生成1个视频消耗4积分,也就是可以免费生成20个4秒的视频邮箱

3

点击“创作视频”,进入创作页面

图片

如上图所示,Vidu目前有三个功能:图生视频、参考生视频、文生视频。

操作界面比较简单,输入提示词点击创作,等待一会,就可以得到生成的视频。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2132509.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Kotlin 中的 `flatMap` 方法详解

在 Kotlin 中,flatMap 是一个非常强大的集合操作函数,它结合了 map 和 flatten 的功能。flatMap 能够将一个集合中的每个元素映射为另一个集合,然后将这些集合连接成一个单一的集合。在很多场景下,它比单独使用 map 和 flatten 更…

websim.ai 体验过程+感受

体验 websim.ai 后感觉网站更倾向于客户提需求或者满足客户需求的可视化页面阶段,比较像设计界面。就是一直命令AI添加功能,然后它绘图。导出的代码是单个HTML文件,用前端三件套写的。 体验过程 ① Create a relationship diagram between …

四数之和--力扣18

四数之和 题目思路代码 题目 思路 类似于三数之和,先排序,利用双指针解题。 如果排序后的第一个元素大于目标值,直接返回,为什么nums[i]需要大于等于0,因为目标值可能为负数。比如:数组是[-4, -3, -2, -1…

电水壶自复位热断循环测试合规性

在家用电器安全标准中,电水壶的安全性尤为重要,尤其是涉及热保护装置的部分。电水壶在日常使用中频繁接触高温水,极端情况下,温度可能异常升高。因此,为了确保用户的安全,热保护装置必须可靠工作。本文将探讨自复位热断路器(TCO)在电水壶中的作用,以及在100次循环测试…

9.13信锐面经

1.C程序的编译过程?C头文件是怎么预处理的? 当编译器遇到#include指令时,它会将指定的头文件内容插入到当前源文件中。这个过程是递归的,即如果被包含的头文件中又有其他的#include指令,那么也会继续包含相应的头文件。 头文件中可能包含宏…

Nature Aging | 还在做差异分析吗?相关性+常规机器学习模型,这篇顶刊纯生信的研究思路可以说领先了一个版本!

先前给大家分享了一篇 Nature Medince 的年龄相关建模文章,阅读量蛮高,大家也都十分感兴趣。这个领域的生信研究确实会有一些特色,一些高分模型研究或多或少都偏向于模型的可解释性。 ▲ Nature Medicine | 常规机器学习构建蛋白质组衰老时钟…

电巢科技携Ecosmos元宇宙产品亮相第25届中国光博会

第25届中国国际光电博览会(“CIOE中国光博会”)今日在深圳国际会展中心盛大开幕。本届博览会以“光电引领未来,驱动应用创新”为主题,吸引了全球超过3700家优质光电企业参展,展示了光电产业的最新成果和前沿技术。 电…

OAExploit一款基于OA产品的一键扫描工具

OAExploit一款基于OA产品的一键扫描工具 01 项目介绍 一款扩展性高的渗透测试框架渗透测试框架 出现卡死的几种情况:1.点击按钮太快 2. 打印log 的异常 02 工具展示

说真心话,在IT行业,项目经理不懂「敏捷管理」真混不下去!

根据PMI官方2015年的《职业脉搏调查》报告显示,高度敏捷、快速做出市场反应的组织与行动迟缓的组织相比,项目的成功率更高。 因此,在快速发展的IT行业中,项目经理如果能够具备快速迭代、灵活应对市场需求的“敏捷管理”思维会更吃…

--- 数据结构 优先级队列 --- java

之前提高到队列是一种先进先出的结构,但是在某些情况下操作的数据具有优先级,那么对他先进行操作,这时队列就不能满足需求了,因为队列只能操作对头的元素,而具有优先级的数据不一定是在对头,这样就需要优先…

RHCE--复习(二)之时间同步服务器

一、计时方式的发展 1.1.古代计时方式 在远古时期,人类用来确定时间的方式是一些自然界“相对”宜古不变的周期。如地球的公转是为一年,月球的公转是为一月,地球的自转是为一天等,最早的计时可以追溯到公元前大约2000年&#xff…

ESP8266+eclipse+AP+最简单webserver

实现AP模式下,http-server功能 在ESP8266_RTOS_SDK\ESP8266_RTOS_SDK\examples\wifi\getting_started\softAP增加webserver部分代码 1. 代码 //softap_example_main.c /* WiFi softAP ExampleThis example code is in the Public Domain (or CC0 licensed, at y…

LLaMA-Factory QuickStart

转自:知乎 1. 项目背景 开源大模型如LLaMA,Qwen,Baichuan等主要都是使用通用数据进行训练而来,其对于不同下游的使用场景和垂直领域的效果有待进一步提升,衍生出了微调训练相关的需求,包含预训练&#xf…

R1234yf汽车空调制冷剂简介

R1234yf汽车空调制冷剂是一种具有优异性能的环保型制冷剂,它被设计用于替代传统的R134a制冷剂。以下是关于R1234yf汽车空调制冷剂的详细介绍: 一、基本属性 化学名称:2,3,3,3-四氟丙烯 简称:R1234yf或HFO-1234yf 性质:无色HFO制冷剂气体 二、环保特性

2024网络安全人才实战能力白皮书安全测试评估篇

9月10日,国内首个聚焦“安全测试评估”的白皮书——《网络安全人才实战能力白皮书-安全测试评估篇》(以下简称“白皮书”)在国家网络安全宣传周正式发布。 作为《网络安全人才实战能力白皮书》的第三篇章,本次白皮书聚焦“安全测…

【原创】java+swing+mysql项目管理系统设计与实现

个人主页:程序员杨工 个人简介:从事软件开发多年,前后端均有涉猎,具有丰富的开发经验 博客内容:全栈开发,分享Java、Python、Php、小程序、前后端、数据库经验和实战 文末有本人名片,希望和大家…

小程序开发设计-第一个小程序:安装开发者工具③

第一个小程序:安装开发者工具 1.了解微信开发者工具: 微信开发者工具是官方推荐使用的小程序开发工具,它提供的主要功能如下: ①.快速创建小程序项目 ②.代码的查看和编辑 ③.对小程序功能进行测试 ④.小程序的预览和发布 2.下载…

swiftUI结构体数组修改属性UI没更新

SwiftUI使用了值语义,即当数组的值发生更改时,SwiftUI无法检测到具体的更改操作。 要解决这个问题,可以使用SwiftUI中的State属性包装器来创建一个可观察的状态变量。当数组发生更改时,通过更改状态变量的值来触发列表的更新,但是…

ASCII、Unicode、UCS-2、UTF-8互转编码原理

基础 ASCII (American Standard Code for Information Interchange),1967年 GB2312 是中华人民共和国国家汉字信息交换用编码,国家标准总局发布,1981年5月1日实施,对应的国标标准号:GB/T 2312-1980 Unicode 1990年开始研发,1994年发布初版…

【聊聊AI编程必不可少的NLTK及其punkt、punkt_tab安装】

聊聊AI编程必不可少的NLTK及其punkt、punkt_tab安装 前言一、NLTK是什么?二、安装NLTK1.通过cmd安装:2.通过conda安装: 三.下载NLTK Data数据包1.官网下载2.Github下载3.Gitee下载3.1 下载并安装nltk_data3.2 下载并安装punkt_tab 4. nltk_da…