网站关键词设置多少个,深圳建筑公司排名前二十,wordpress显示加载进度,最专业的网站建设视频生成模型#xff0c;如 Stable Video Diffusion 和 Videocrafter#xff0c;已经能够生成合理且高分辨率的视频。但这些技术进步也带来了被恶意利用的风险#xff0c;比如用于制造假新闻或进行政治宣传。因此#xff0c;来自弗吉尼亚大学和亥姆霍兹信息安全中心#x…视频生成模型如 Stable Video Diffusion 和 Videocrafter已经能够生成合理且高分辨率的视频。但这些技术进步也带来了被恶意利用的风险比如用于制造假新闻或进行政治宣传。因此来自弗吉尼亚大学和亥姆霍兹信息安全中心CISPA的研究团队着手开发了 VGMShield一套旨在降低视频生成模型滥用风险的综合解决方案 现实世界中的参与者分为三个不同的实体创建者Creator、修改者Modifier和消费者Consumer。创建者可能是摄影师或记者他们上传信息供消费者使用。修改者可能会恶意使用这些图像生成误导消费者的视频。为了解决视频生成模型带来的安全隐患研究者提出了一个包含假视频检测、假视频来源追踪和滥用预防的综合防御框架。 消费者 (Consumer)、创建者 (Creator) 和修改者 (Modifier) 在信息/内容生成和消费周期中的角色 假视频检测和追踪 潜在的威胁模型基于两个关键因素视频来源和生成视频所使用的模型。检测任务分为四种场景在目标检测中检测器不仅知道可能生成视频的模型还知道用于生成视频的数据源。这种场景虽然理想化但为研究者提供了一个起点以理解在最佳条件下模型的表现。第二数据盲检测其中检测器知道视频的来源但对生成视频使用的数据分布一无所知。模型盲检测则相反检测器知道数据分布但不知道使用的是哪种模型。最后开放检测是一个更为现实和具有挑战性的场景检测器对数据源和模型都一无所知。 假视频检测和追踪的不同场景包括数据和模型的知识情况 研究者们在构建假视频检测和追踪方法时将这个问题转化为了分类任务。他们基于一个关键假设假视频会在空间维度上展示出异常特征同时在时间维度上表现出不一致性。为了识别这些异常研究者们选择了几种预训练的视频识别模型这些模型能够理解视频的时空动态。他们选用的模型包括 Inflated 3D ConvNet (I3D)、X-CLIP 和 Video Masked Autoencoders (MAE)每种模型都以其独特的方式处理视频数据。 在检测部分研究者们根据不同的应用场景调整了模型的训练方法。他们遵循两个基本原则首先为了应对开放检测设置他们确保训练集尽可能多样化包含了大量的真实和假视频其次当任务更加具体时例如检测器需要识别特定模型或数据分布生成的视频他们会缩小训练集的范围使其更贴近实际任务的需求。 在追踪源模型的过程中研究者们采取了一种假设所有视频均为假视频的方法并使用多标签分类模型来确定视频可能来源于的九种不同模型之一。与检测任务不同追踪任务的训练涉及到所有这些模型生成的假视频这样做可以帮助模型学习到每种模型生成视频的独特特征。 为了验证所提出方法的有效性研究者采用了两个广泛使用的数据集WebVid-10M和InternVid来进行评估。这些数据集拥有大量的视频和相应的文本描述为训练和评估机器学习模型提供了丰富的资源。研究者进一步收集了所有可用的开源视频生成模型并针对每一种模型生成了1000个视频这些视频随后被用于检测和追踪任务。 假视频检测的实验流程 图2展示了假视频检测的实验流程。为了确保真实视频和假视频具有相似的分布特征研究者们采用了一种特定的方法来生成假视频。这种方法利用了真实视频的第一帧以及可能伴随的字幕来生成对应的假视频。这样的处理旨在最小化真实视频和假视频之间的差异从而使得检测模型不能依赖于其他特征例如真实视频总是关于动物的而假视频总是关于汽车的。 分类模型由两部分组成一个作为主干的视频识别模型以及一个全连接的模型。这个全连接的模型被训练来识别和区分真实视频和假视频。视频识别模型负责提取视频中的关键特征而全连接层则用于学习如何根据这些特征来区分视频的真实性。通过在真实视频和假视频上训练这个复合模型研究者们旨在提高检测系统的性能和准确性。这种训练方法有助于模型更好地理解真假视频之间的微妙差异从而在实际应用中更有效地识别出假视频。 实验的详细参数包括输入帧数、训练周期、学习率等 研究者展示了在不同数据集和多种生成任务中应用三种检测模型的结果。他们发现Video Masked AutoencodersMAE模型在各种场景下都展现出了稳定性和高效性尤其是在开放检测设置中MAE模型的检测准确率显著高于其他模型。 使用不同的检测模型X-CLIP, MAE, I3D在 WebVid-10M 数据集上构造视频时的检测结果 MAE 基础的假视频检测模型在 InternVid 数据集上四种设置下的性能 研究者展示了在数据知情和数据不知情两种设置下使用X-CLIP、I3D和MAE作为后端的追踪模型的性能。特别地在数据不知情的设置中即使面对未知数据源的视频MAE模型仍然能够保持高达90%的准确率显示出其在追踪任务上的鲁棒性。 在数据感知和数据不可知设置下使用 Webvid 和 InternVid 数据集的源追踪结果 研究者们采用了Grad-CAM技术来深入分析模型的决策过程。Grad-CAM梯度类激活映射是一种可视化技术它能够展示模型在做出分类决策时所关注的视频区域。通过这种方式研究者们可以直观地理解检测模型是如何识别出假视频的。 使用 Grad-CAM 展示了 I3D 和 MAE 检测模型在 InternVid-SVD 生成任务中做出检测决定的具体方面 研究者们首先观察了基于I3D和MAE的检测模型这两种模型在假视频检测上都取得了超过90%的准确率。通过Grad-CAM生成的热图研究者们发现这些模型主要依赖于视频中的对象来进行判断。例如I3D模型倾向于关注人脸、栅栏、手指和引擎电池等对象而MAE模型则集中于识别如下水道盖、人体和手指等异常对象。 源追踪模型依赖于视频中不同位置的特征来确定生成模型 研究者们还注意到MAE模型在检测时空异常方面表现得更为灵活和敏感。与I3D模型相比MAE模型不仅能够识别出对象在空间维度上的扭曲还能够察觉到对象在时间维度上的不连贯性。例如如果视频中的排水管在连续帧之间发生了明显的形状变化MAE模型能够捕捉到这种变化并据此判断视频为假。 通过Grad-CAM的分析研究者们得出结论MAE模型之所以在假视频检测上表现更为出色是因为其能够同时关注视频中的时空异常而不仅仅是空间上的失真。这一发现对于进一步优化和改进假视频检测技术具有重要意义。 滥用预防 与文本到视频的生成任务相比图像到视频的生成任务更容易被滥用因为存在修改者可能恶意使用这些技术。为了防止这种情况研究者们设计了一种基于对抗性样本的防御机制专门针对图像到视频的生成任务。 对抗性样本最初是为了解决分类问题而引入的通过向原始图像中添加对人类视觉不可见但能导致神经网络做出错误判断的小扰动。研究者们采用类似的方法创建对抗性样本来干扰视频生成模型使模型的编码器误解输入图像从而产生不正确和异常的视频帧保护原始图像不被滥用。 通过引入扰动来实施预防策略包括有向防御和无向防御策略 研究者们在多个开源和商业视频生成模型上测试了他们的防御策略。他们采用了两种不同的防御方法有向防御和无向防御。有向防御需要选择一个目标图像来指导添加的扰动而无向防御则不需要目标图像直接优化图像以增加损失。 在实验中研究者们使用了两种嵌入器分别从Stable Video Diffusion模型中获取。他们设置了不同的参数并测试了不同等级的扰动强度。实验结果表明无论是有向防御还是无向防御都能有效地防止Stable Video Diffusion生成正常的视频。然而当面对未知的视频生成模型时使用有向防御方法生成的对抗性样本可能效果较弱。 在不同 η 设置下使用有向和无向防御方法生成的对抗性样本 不同扰动强度下对抗性样本的防御效果评估 虽然有向防御在某些情况下可以提供更有效的保护但它可能需要精心选择目标图像以确保扰动的不可见性。而无向防御虽然不需要目标图像但可能需要更大的扰动强度来实现类似的防御效果。尽管存在这些挑战研究者们提出的滥用预防策略为保护图像不被恶意用于视频生成提供了有价值的见解和工具。 论文链接https://arxiv.org/abs/2402.13126