AI导读AI论文: WAN: OPEN AND ADVANCED LARGE-SCALE VIDEO GENERATIVE MODELS - 教程

1. 一段话总结

Wan是阿里巴巴推出的开源大规模视频生成基础模型套件，基于扩散Transformer范式，经过创新的时空变分自动编码器（Wan-VAE）、规模化预训练策略等核心技术，具备领先性能、全面性、消费级效率、开源性首个支持中英双语视觉文本生成的模型，14B版本在多个基准测试中超越主流开源及商业模型（如Sora、HunyuanVideo），所有代码和模型已开源（https://github.com/Wan-Video/Wan2.1），旨在推动视频生成领域的技术创新与产业应用。就是四大关键特征：提供1.3B（仅需8.19GB VRAM，适配消费级GPU）和14B参数模型，覆盖文本到视频、图像到视频等8类下游任务，

---

2. 思维导图（mindmap）

##  模型概述
- 名称：Wan 视频生成模型
- 开发团队：Alibaba Group Wan Team
- 核心架构：扩散Transformer（DiT）+ 流匹配（Flow Matching）
- 开源地址：https://github.com/Wan-Video/Wan2.1
##  核心特点
- 领先性能：14B模型超越开源/商业模型
- 全面性：1.3B/14B双模型，8类下游任务
- 消费级效率：1.3B仅需8.19GB VRAM
- 开源性：开放源码+全模型
##  关键技术
- 数据处理：四步清洗、时空质量筛选、密集字幕生成
- 模型设计：Wan-VAE（4×8×8压缩）、2D上下文并行
- 训练策略：图像预训练→联合训练→微调，混合精度优化
- 推理优化：扩散缓存、FP8量化、8-bit FlashAttention
##  下游应用
- 基础任务：文本到视频、图像到视频
- 扩展任务：视频编辑、个性化生成、相机运动控制
- 创新任务：实时视频生成、音频同步生成
##  评估体系
- 自建基准：Wan-Bench（14个细粒度指标）
- 第三方基准：VBench（14B总分86.22%）
- 评估维度：动态质量、图像质量、指令遵循度
##  局限与展望
- 局限：大运动细节保真度、模型计算成本、领域适配性
- 展望：扩大数据/模型规模、优化效率、社区共建

---

3. 详细总结

一、引言：模型背景与核心目标

• 背景：Sora等模型推动视频生成技术爆发，但开源模型存在性能、能力、效率三大差距
• 目标：推出高性能、多能力、高效率的开源视频基础模型，填补开源与商业模型鸿沟
• 核心创新：融合Diffusion Transformers与Flow Matching，引入全时空注意力机制

二、核心特点与关键参数

模型版本	参数量	显存需求	核心优势	适用场景
Wan 1.3B	1.3B	8.19GB	高效率、低资源消耗，性能超多数大尺寸开源模型	消费级GPU、实时生成场景
Wan 14B	14B	-	高性能，全面超越开源模型及主流商业模型	专业级视频生成、复杂任务

三、关键技术细节

3.1 数据处理管道

• 核心原则：高质量、高多样性、大规模（数十亿图像+视频，万亿级tokens）
• 预处理流程：四步清洗（基础维度筛选→视觉质量评估→运动质量分级→视觉文本处理）
• 后处理优化：图像精选（专家模型+人工筛选）、视频分类（简单/复杂运动，12大类别）
• 密集字幕生成：基于LLaVA架构，支持10类视觉维度描述，性能比肩Gemini 1.5 Pro

3.2 模型设计与优化

• Wan-VAE：3D因果VAE，时空压缩比4×8×8，参数仅127M，重建速度比HunyuanVideo快2.5倍
  

• 训练策略：

  1. 图像预训练（256px文本到图像）
  2. 图像-视频联合训练（分三阶段：256px→480px→720px）
  3. 微调阶段（480px/720px分辨率，聚焦高质量资料）

• 并行与内存优化：2D上下文并行（Ulysses+Ring Attention）、激活卸载+梯度检查点，支持百万级token序列训练
  

3.3 推理优化技术

优化手段	效果提升
扩散缓存	推理性能提升1.62×
FP8量化	DiT模块速度提升1.13×
8-bit FlashAttention	推理效率提升1.27×
提示对齐（LLM重写）	提升视频生成与指令匹配度

四、下游应用场景（8类核心任务）

1. 文本到视频（T2V）：帮助大运动、高保真、多风格生成
2. 图像到视频（I2V）：基于参考图像生成动态序列，支持视频续播、帧转换
3. 统一视频编辑：协助修复、扩展、深度控制等多任务，无需多模型部署
4. 视频个性化：零样本身份保持，支持参考人脸生成定制视频
5. 相机运动控制：协助平移、缩放、航拍等5类相机运动
6. 实时视频生成：基于Streamer+LCM蒸馏，单4090 GPU达20 FPS
7. 音频生成：视频到音频（V2A）同步，支持环境音+背景音乐
8. 文本到图像（T2I）：跨模态知识迁移，生成高保真图像

五、评估结果

5.1 Wan-Bench 加权得分对比

模型	加权得分	核心优势维度
Wan 14B	0.724	物理合理性、空间位置精度
Sora	0.700	动态平滑度
CN-TopA	0.693	单目标准确性
HunyuanVideo	0.673	图像综合质量

5.2 VBench 性能排名（总分）

模型	总分	视觉质量得分	语义一致性得分
Wan 14B	86.22%	86.67%	84.44%
Sora	84.28%	85.51%	79.35%
Wan 1.3B	83.96%	84.92%	80.10%
HunyuanVideo	83.24%	85.09%	75.82%

六、局限与结论

• 局限：大运动场景细粒度细节保真度不足；14B模型推理成本较高（单GPU约30分钟）；特定领域（教育、医疗）适配性有限
• 结论：Wan刷新视频生成基准，开源全模型及代码，未来将聚焦数据/模型规模化、效率优化及领域定制化

---

4. 关键问题

问题1：Wan模型的核心技术突破是什么，如何支撑其性能优势？

答案：核心技术突破集中在三大方向：① 创新的Wan-VAE架构：3D因果设计，时空压缩比达4×8×8，参数仅127M，重建速度比主流方案快2.5倍，同时保证时序一致性；② 高效训练策略：采用“图像预训练→分阶段联合训练→微调”流程，结合2D上下文并行（Ulysses+Ring Attention）和激活卸载工艺，支持14B参数模型的规模化训练；③ 精细化数据处理：四步清洗流程筛选高质量数据，密集字幕生成技术提升指令匹配度，中英双语视觉文本资料增强模型跨语言生成能力。这些技巧共同支撑Wan在动态质量、图像保真度、指令遵循度上超越主流开源及商业模型。

困难2：Wan模型的1.3B和14B版本有何差异，分别适配什么场景？

答案：两者差异及适配场景如下表所示，核心差异体现在性能、资源需求和适用场景上：

维度	Wan 1.3B	Wan 14B
参数量	1.3B	14B
显存需求	8.19GB VRAM	需专业级GPU（未明确标注，推理成本较高）
性能表现	超越多数大尺寸开源模型，VBench总分83.96%	超越Sora等商业模型，VBench总分86.22%
核心优势	消费级效率，适配普通GPU	顶尖性能，协助麻烦任务
适配场景	个人创作、实时生成、轻量化部署	专业内容生产、企业级应用、科研创新

问题3：Wan模型的开源特性将对视频生成领域产生哪些影响？

答案：主要产生三大影响：① 降低技术门槛：开源1.3B和14B全模型及代码，让开发者无需从零构建，基于消费级GPU即可开展二次开发；② 推动社区创新：开放数据处理管道、训练策略、评估基准（Wan-Bench），为学术界给出高质量基础模型，加速视频生成技巧迭代；③ 赋能产业应用：支持8类下游任务，覆盖内容创作、视频编辑、个性化生成等场景，帮助企业降低视频生产成本，拓展创意边界，尤其利好中小团队及创业公司。