VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness

https://arxiv.org/pdf/2503.21755

当前视频生成模型（如 Sora, Kling）在 “表层保真度” 上已取得惊人进步：

然而，这些进步掩盖了一个根本性问题：生成的视频仅“看起来”逼真，但未必符合现实世界的深层法则。这对于追求构建 “世界模型” 的目标是远远不够的。

论文的洞见：视频生成的下一阶段，必须从 “表层保真度” 迈向 “内在保真度”。

为了系统评估这种“内在保真度”，作者推出了 VBench-2.0。

VBench-2.0 构建了一个层次分明、覆盖全面的评估体系。

图1 (b) 评估维度总览：
VBench-2.0 包含 5大核心维度，细分为 18项精细能力，形成了一个评估雷达图。

设计哲学：

针对性：每个子维度都配有精心设计的提示词套件和专门的评估流程。
混合评估：结合 “通才”与 “专家” 模型。
- 通才：利用最先进的视频语言模型（VLM）和大语言模型（LLM）进行结构化推理和问答。
- 专家：为特定问题（如人体异常检测）训练专用检测器。
与人对齐：进行了大规模人工标注，确保自动化评估结果符合人类判断。

为了利用VLM/LLM进行评估，论文设计了两种互补方案：

方法A：文本描述对齐（适合复杂、抽象概念）
- 流程：视频 → VLM描述 → 与标准答案比较 → LLM判断对错
- 应用场景：复杂情节、人类交互等需要高层语义理解的维度。
- 优势：将VLM的“看”和LLM的“想”解耦，发挥各自强项，提高可靠性。
方法B：基于视频的多问题回答（适合具体、显性概念）
- 流程：针对视频设计一系列互补且有时冗余的问题，直接让VLM回答。
- 应用场景：动态属性（颜色变化）、空间关系等表面视觉理解。
- 示例问题（评估河流颜色变化）：
  1. 起初，河流的颜色主要是蓝色吗？
  2. 最后，河流的颜色主要是棕色吗？
  3. 河流的颜色改变了吗？
- 优势：通过冗余提问过滤VLM的偶然错误，提高评估鲁棒性。

这是“专家”模型的典型代表，解决了VLM不擅长的具体问题。

图3 人体解剖检测器框架：
该框架针对身体、手部、面部分别训练了三个异常检测模型。

图4 人体解剖可视化：
直观展示了模型能检测出的各类异常，如扭曲的肢体、怪异的手部、畸变的面部。这证明了专门训练“专家”模型对于评估生成视频中不应出现的异常是必要的。

论文用丰富的可视化结果证明了评估的有效性：

对Sora、Kling、CogVideoX、HunyuanVideo四大顶尖模型的评估，揭示了丰富的信息。

图2 四大模型在VBench-2.0上的表现雷达图：

表II 详细数据揭示了更惊人的发现：

关键发现1：当前模型的“阿喀琉斯之踵”

复杂情节理解极差：所有模型在“复杂情节”维度得分均低于 12%。这说明现有模型本质上仍是“单镜头短片生成器”，远未具备电影级叙事能力。
简单动态控制困难：在“动态空间关系”和“动态属性”维度，失败率高达 ~80%。让一个物体从“左边”移动到“右边”，或者让树叶从“红”变“绿”这种简单变化，模型都难以准确执行。
- 根本原因推测：当前训练视频的文本描述（字幕）大多为静态、概括性描述（如“一片秋天的树林”），缺乏对物体属性随时间演变的细粒度描述，导致模型无法学习这种动态变化。

关键发现2：提示词工程的“双刃剑”效应
论文使用了统一的“提示词优化器”对输入进行改写，发现了一个有趣的权衡：

创造力 vs. 可控性：Sora（未使用外部优化器）创造力强但可控性弱；其他使用了优化器的模型则相反。这表明，优化器通过细化提示词来提升可控性时，可能牺牲了输出的多样性和创造性。
对物理常识的“讨巧”帮助：优化器可以通过精心设计的提示词，引导模型生成看似符合物理规律的结果，即使模型本身并不真正理解物理。这说明，部分物理问题可能本质是 “视频-文本对齐” 问题，而非真正的物理推理问题。
对知识驱动维度影响有限：像人体解剖、常识推理这类依赖模型内在知识的维度，提示词工程作用不大。这凸显了训练数据质量和模型架构本身的决定性作用。

建立了新标准：VBench-2.0 首次系统性地定义了“内在保真度”并提供了可量化的评估套件，为下一代视频生成模型（尤其是面向“世界模型”的模型）指明了前进方向和评估基准。
揭示了真实瓶颈：论文无情地指出，当前最先进的模型在叙事能力和精确动态控制上仍处于初级阶段，这比提升画面分辨率更具挑战性。
提供了评估方法论：其“通才+专家”、“冗余提问”、“人工对齐”的混合评估框架，为如何评估日益复杂的生成模型提供了宝贵范式。

未来挑战：