VGMShield:揭秘视频生成模型滥用的检测与追踪技术

news2024/9/24 5:27:50

人工智能咨询培训老师叶梓 转载标明出处

视频生成模型,如 Stable Video Diffusion 和 Videocrafter,已经能够生成合理且高分辨率的视频。但这些技术进步也带来了被恶意利用的风险,比如用于制造假新闻或进行政治宣传。因此,来自弗吉尼亚大学和亥姆霍兹信息安全中心(CISPA)的研究团队着手开发了 VGMShield,一套旨在降低视频生成模型滥用风险的综合解决方案:

现实世界中的参与者分为三个不同的实体:创建者(Creator)、修改者(Modifier)和消费者(Consumer)。创建者可能是摄影师或记者,他们上传信息供消费者使用。修改者可能会恶意使用这些图像生成误导消费者的视频。为了解决视频生成模型带来的安全隐患,研究者提出了一个包含假视频检测、假视频来源追踪和滥用预防的综合防御框架。

消费者 (Consumer)、创建者 (Creator) 和修改者 (Modifier) 在信息/内容生成和消费周期中的角色

假视频检测和追踪

潜在的威胁模型基于两个关键因素:视频来源和生成视频所使用的模型。检测任务分为四种场景:在目标检测中,检测器不仅知道可能生成视频的模型,还知道用于生成视频的数据源。这种场景虽然理想化,但为研究者提供了一个起点,以理解在最佳条件下模型的表现。第二,数据盲检测,其中检测器知道视频的来源,但对生成视频使用的数据分布一无所知。模型盲检测则相反,检测器知道数据分布,但不知道使用的是哪种模型。最后,开放检测是一个更为现实和具有挑战性的场景,检测器对数据源和模型都一无所知。

假视频检测和追踪的不同场景,包括数据和模型的知识情况

研究者们在构建假视频检测和追踪方法时,将这个问题转化为了分类任务。他们基于一个关键假设:假视频会在空间维度上展示出异常特征,同时在时间维度上表现出不一致性。为了识别这些异常,研究者们选择了几种预训练的视频识别模型,这些模型能够理解视频的时空动态。他们选用的模型包括 Inflated 3D ConvNet (I3D)、X-CLIP 和 Video Masked Autoencoders (MAE),每种模型都以其独特的方式处理视频数据。

在检测部分,研究者们根据不同的应用场景调整了模型的训练方法。他们遵循两个基本原则:首先,为了应对开放检测设置,他们确保训练集尽可能多样化,包含了大量的真实和假视频;其次,当任务更加具体时,例如检测器需要识别特定模型或数据分布生成的视频,他们会缩小训练集的范围,使其更贴近实际任务的需求。

在追踪源模型的过程中,研究者们采取了一种假设所有视频均为假视频的方法,并使用多标签分类模型来确定视频可能来源于的九种不同模型之一。与检测任务不同,追踪任务的训练涉及到所有这些模型生成的假视频,这样做可以帮助模型学习到每种模型生成视频的独特特征。

为了验证所提出方法的有效性,研究者采用了两个广泛使用的数据集:WebVid-10M和InternVid,来进行评估。这些数据集拥有大量的视频和相应的文本描述,为训练和评估机器学习模型提供了丰富的资源。研究者进一步收集了所有可用的开源视频生成模型,并针对每一种模型生成了1000个视频,这些视频随后被用于检测和追踪任务。

假视频检测的实验流程

图2展示了假视频检测的实验流程。为了确保真实视频和假视频具有相似的分布特征,研究者们采用了一种特定的方法来生成假视频。这种方法利用了真实视频的第一帧(以及可能伴随的字幕)来生成对应的假视频。这样的处理旨在最小化真实视频和假视频之间的差异,从而使得检测模型不能依赖于其他特征(例如,真实视频总是关于动物的,而假视频总是关于汽车的)。

分类模型由两部分组成:一个作为主干的视频识别模型,以及一个全连接的模型。这个全连接的模型被训练来识别和区分真实视频和假视频。视频识别模型负责提取视频中的关键特征,而全连接层则用于学习如何根据这些特征来区分视频的真实性。通过在真实视频和假视频上训练这个复合模型,研究者们旨在提高检测系统的性能和准确性。这种训练方法有助于模型更好地理解真假视频之间的微妙差异,从而在实际应用中更有效地识别出假视频。

实验的详细参数,包括输入帧数、训练周期、学习率等

研究者展示了在不同数据集和多种生成任务中应用三种检测模型的结果。他们发现,Video Masked Autoencoders(MAE)模型在各种场景下都展现出了稳定性和高效性,尤其是在开放检测设置中,MAE模型的检测准确率显著高于其他模型。

使用不同的检测模型(X-CLIP, MAE, I3D)在 WebVid-10M 数据集上构造视频时的检测结果
 MAE 基础的假视频检测模型在 InternVid 数据集上四种设置下的性能

研究者展示了在数据知情和数据不知情两种设置下,使用X-CLIP、I3D和MAE作为后端的追踪模型的性能。特别地,在数据不知情的设置中,即使面对未知数据源的视频,MAE模型仍然能够保持高达90%的准确率,显示出其在追踪任务上的鲁棒性。

在数据感知和数据不可知设置下,使用 Webvid 和 InternVid 数据集的源追踪结果

研究者们采用了Grad-CAM技术来深入分析模型的决策过程。Grad-CAM(梯度类激活映射)是一种可视化技术,它能够展示模型在做出分类决策时所关注的视频区域。通过这种方式,研究者们可以直观地理解检测模型是如何识别出假视频的。

使用 Grad-CAM 展示了 I3D 和 MAE 检测模型在 InternVid-SVD 生成任务中做出检测决定的具体方面

研究者们首先观察了基于I3D和MAE的检测模型,这两种模型在假视频检测上都取得了超过90%的准确率。通过Grad-CAM生成的热图,研究者们发现这些模型主要依赖于视频中的对象来进行判断。例如,I3D模型倾向于关注人脸、栅栏、手指和引擎电池等对象,而MAE模型则集中于识别如下水道盖、人体和手指等异常对象。

源追踪模型依赖于视频中不同位置的特征来确定生成模型

研究者们还注意到,MAE模型在检测时空异常方面表现得更为灵活和敏感。与I3D模型相比,MAE模型不仅能够识别出对象在空间维度上的扭曲,还能够察觉到对象在时间维度上的不连贯性。例如,如果视频中的排水管在连续帧之间发生了明显的形状变化,MAE模型能够捕捉到这种变化,并据此判断视频为假。

通过Grad-CAM的分析,研究者们得出结论,MAE模型之所以在假视频检测上表现更为出色,是因为其能够同时关注视频中的时空异常,而不仅仅是空间上的失真。这一发现对于进一步优化和改进假视频检测技术具有重要意义。

滥用预防

与文本到视频的生成任务相比,图像到视频的生成任务更容易被滥用,因为存在修改者可能恶意使用这些技术。为了防止这种情况,研究者们设计了一种基于对抗性样本的防御机制,专门针对图像到视频的生成任务。

对抗性样本最初是为了解决分类问题而引入的,通过向原始图像中添加对人类视觉不可见但能导致神经网络做出错误判断的小扰动。研究者们采用类似的方法,创建对抗性样本来干扰视频生成模型,使模型的编码器误解输入图像,从而产生不正确和异常的视频帧,保护原始图像不被滥用。

通过引入扰动来实施预防策略,包括有向防御和无向防御策略

研究者们在多个开源和商业视频生成模型上测试了他们的防御策略。他们采用了两种不同的防御方法:有向防御和无向防御。有向防御需要选择一个目标图像来指导添加的扰动,而无向防御则不需要目标图像,直接优化图像以增加损失。

在实验中,研究者们使用了两种嵌入器,分别从Stable Video Diffusion模型中获取。他们设置了不同的参数,并测试了不同等级的扰动强度。实验结果表明,无论是有向防御还是无向防御,都能有效地防止Stable Video Diffusion生成正常的视频。然而,当面对未知的视频生成模型时,使用有向防御方法生成的对抗性样本可能效果较弱。

在不同 η 设置下,使用有向和无向防御方法生成的对抗性样本
不同扰动强度下对抗性样本的防御效果评估

虽然有向防御在某些情况下可以提供更有效的保护,但它可能需要精心选择目标图像,以确保扰动的不可见性。而无向防御虽然不需要目标图像,但可能需要更大的扰动强度来实现类似的防御效果。尽管存在这些挑战,研究者们提出的滥用预防策略为保护图像不被恶意用于视频生成提供了有价值的见解和工具。

论文链接:https://arxiv.org/abs/2402.13126

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1932247.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

BUUCTF逆向wp [HDCTF2019]Maze

第一步 查壳,本题是32位,有壳,进行脱壳。 第二步 这里的 jnz 指令会实现一个跳转,并且下面的0EC85D78Bh被标红了,应该是一个不存在的地址,这些东西就会导致IDA无法正常反汇编出原始代码,也称…

Kafka 高并发设计之数据压缩与批量消息处理

《Kafka 高性能架构设计 7 大秘诀》专栏第 6 章。 压缩,是一种用时间换空间的 trade-off 思想,用 CPU 的时间去换磁盘或者网络 I/O 传输量,用较小的 CPU 开销来换取更具性价比的磁盘占用和更少的网络 I/O 传输。 Kafka 是一个高吞吐量、可扩展…

python课设——宾馆管理系统

python课设——宾馆管理系统 数据库课设-宾馆管理系统-python3.7pyqt5 简介 大二数据库课程设计(3-4天工作量)的项目,登录界面的ui设计参考了他人成果,其余ui以及所有后端部分全部独立完成,详细功能见功能模块图使用…

国内新能源汽车芯片自给,承认差距,任重道远

【科技明说 | 科技热点关注】 据近日工信部电子五所元器件与材料研究院高级副院长罗道军表示,中国拥有最大的新能源车产能,芯片用量也是越来越多。但是芯片的自给率目前不到10%,是结构性的短缺。 中国拥有最大新能源车产能&#…

入门【消息队列】这一篇就够了

消息队列 消息队列的模型为什么要用消息队列分布式消息队列应用场景分布式消息队列选型RabbitMQ入门实战singleWorkFanoutDirectTopic核心特性消息过期机制消息确认机制死信队列消息队列的模型 生产者:Producer,发送消息的人(客户端) 消费者:Consumer,接受消息的人(客…

NLCISBNPlugin,从“中国国家图书馆”获取图书信息Calibre插件

NLCISBNPlugin可以从中国国家图书馆获取图书信息,包括 ISBN、书名、作者、出版日期等信息,然后将这些信息添加Calibre中。 插件安装:NLCISBNPlugin.zip 安装说明: 在 Calibre官方网站 上下载并安装Calibre。下载最新版本的 NLCISBNPlugin …

JUC 包中的 Atomic 原子类总结

人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 目录 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌…

RFID涉密载体管控系统|DW-S402功能介绍

文件载体管控系统DW-S402是用于对各种载体进行有效管理的智能柜(智能管理系统),实现对载体的智能化、规范化、标准化管理,广泛应用于保密、机要单位以及企事业单位等有载体保管需求的行业。 区域监控管理 主要是通过在需要监控的…

el-table表格操作列错行处理

解决方法&#xff1a; <style>::v-deep .el-table th.el-table__cell > .cell {white-space: nowrap !important;} </style>

ArkUI状态管理

State装饰器 在声明式UI中&#xff0c;是以状态驱动试图更新 状态 (State) 指驱动视图更新的数据(被装饰器标记的变量) 试图(View) 基于UI描述渲染得到用户界面 说明 1.State装饰器标记的变量必须初始化&#xff0c;不能为空 2.State支持Object、classstring、number、b…

Self-Attention 自注意力机制(二)——实例过程说明

一、自注意力机制核心过程 自注意力机制&#xff08;Self-Attention Mechanism&#xff09;&#xff0c;也称为内部注意力机制&#xff0c;是一种在序列模型中用于捕捉序列内部不同位置之间依赖关系的技术。这种机制允许模型在处理序列时&#xff0c;对序列中的每个元素分配不…

基于 Web 的家校联系系统的设计与实现

目录 基于 Web 的家校联系系统的设计与实现 一、绪论 &#xff08;一&#xff09;研究背景 &#xff08;二&#xff09; 研究目的 &#xff08;三&#xff09; 研究意义 二、需求分析 &#xff08;一&#xff09; 功能需求 &#xff08;二&#xff09; 性能需求 &#…

【C++】类和对象的基本概念与使用

本文通过面向对象的概念以及通俗易懂的例子介绍面向对象引出类和对象。最后通过与之有相似之处的C语言中的struct一步步引出C中的类的定义方式&#xff0c;并提出了一些注意事项&#xff0c;最后描述了类的大小的计算方法。 一、什么是面向对象&#xff1f; 1.面向对象的概念 …

解决一下git clone失败的问题

1&#xff09;.不开梯子&#xff0c;我们用https克隆 git clone https://github.com 报错&#xff1a; Failed to connect to github.com port 443 after 2091 ms: Couldnt connect to server 解决办法&#xff1a; 开梯子&#xff0c;然后# 注意修改成自己的IP和端口号 gi…

自适应巡航控制中的Stop Go功能详解

自适应巡航控制中的跟车行驶功能详解 文章目录 1. 背景介绍2. 功能定义3. 功能原理4. 传感器架构5. 实际应用案例6. 总结与展望 1. 背景介绍 自适应巡航控制&#xff08;Adaptive Cruise Control, ACC&#xff09;系统中的Stop & Go功能是提升驾驶舒适性和安全性的重要子…

Qt Splash样式的登录窗

Qt Splash样式的登录窗实现 目录 0 结果 1. 设计界面 2.鼠标拖动界面 3. 密码MD5加密 4. 保用户名和密码到注册表 0 结果 1. 设计界面 继承自QDialog&#xff0c;图片使用QLabel加载&#xff0c;windowFlag样式为 Qt::SplashScreen TLoginForm::TLoginForm(QWidget *pa…

PPOCR训练后acc为0解决方法

首先你需要先配置PPOCR源码和环境&#xff0c;可以按照如下流程 PPOCR训练和C#部署英文字符训练_ppocrlabel可以终端运行吗-CSDN博客 训练时如下 如下是rec训练模型 acc为0 det也是如此 如下没有 名为best的模型文件 解决办法就是 将如下的train和eval部分的batch_siz…

挂耳式蓝牙耳机什么牌子好?这五款综合表现遥遥领先

为什么这几年开放式耳机受到了越来越多消费者的喜爱&#xff1f;我想是因为它全方位的弥补了入耳式耳机堵塞耳朵、不够安全健康的缺陷&#xff0c;真正做到了安全性与舒适性兼得。那么刚入坑开放式耳机的小白该如何挑选一款品质较高的开放式耳机呢&#xff1f;挂耳式蓝牙耳机什…

第59期|GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区&#xff0c;集成了生成预训练Transformer&#xff08;GPT&#xff09;、人工智能生成内容&#xff08;AIGC&#xff09;以及大语言模型&#xff08;LLM&#xff09;等安全领域应用的知识。在这里&#xff0c;您可以找…

Python酷库之旅-第三方库Pandas(027)

目录 ​一、用法精讲 68、pandas.infer_freq函数 68-1、语法 68-2、参数 68-3、功能 68-4、返回值 68-5、说明 68-6、用法 68-6-1、数据准备 68-6-2、代码示例 68-6-3、结果输出 69、pandas.interval_range函数 69-1、语法 69-2、参数 69-3、功能 69-4、返回值…