Qwen3-VL 是 Qwen 系列在多模态方向上的最新成果，其在架构设计上并非简单地扩展参数规模，而是围绕视觉表示、模态融合、时序建模与长程理解进行了系统性的重构。

1. 模型架构

Qwen3-VL 延续了 Qwen2.5-VL 的经典三模块设计，整体架构由以下三部分组成：

1. Vision Encoder（视觉编码器）
2. Vision–Language Merger（视觉-语言融合模块）
3. Large Language Model（大语言模型）

模型架构

这种设计思路的核心目标是：

在不破坏语言模型能力的前提下，让视觉信息尽可能“自然”地融入语言建模过程。

1.1 LLM

1.1.1 模型规模与形态

Qwen3-VL 基于Qwen3 Backbone，提供了两类模型：

• Dense 模型：2B / 4B / 8B / 32B
• MoE 模型：30B-A3B、235B-A22B

其中旗舰模型Qwen3-VL-235B-A22B：

• 总参数量：235B
• 每 token 激活参数：22B

MoE 架构使得模型在推理成本可控的情况下，仍具备极强的表达能力。

1.1.2 多模态反而提升语言能力

一个非常值得注意的实验结论是：

Qwen3-VL 在多数语言基准上，甚至超过了其纯文本版本。

这说明视觉信号并未干扰语言建模，反而可能：

• 提供更丰富的世界知识约束
• 缓解纯语言训练中的过拟合问题

1.2. Vision Encoder

1.2.1 选择 SigLIP-2

Qwen3-VL 使用SigLIP-2作为视觉编码器，并从官方预训练权重继续训练：

• 强大的 ViT 表征能力
• 稳定的图文对齐特性
• 适合大规模多模态预训练

默认配置为SigLIP2-SO-400M，小模型（2B / 4B）使用SigLIP2-Large-300M。

1.2.2 动态分辨率支持

为了适应真实世界中分辨率多样的图像与视频输入，Qwen3-VL 采用动态输入分辨率，并配合两项关键技术：

• 2D-RoPE：在横向与纵向同时建模位置信息
• 位置嵌入插值（CoMP）：根据输入尺寸对绝对位置编码进行插值

这一设计使模型在高分辨率、长宽比变化明显的场景中仍能保持稳定的空间理解能力。

1.3. Vision–Language Merger

1.3.1 基础视觉 Token 压缩

Qwen3-VL 延续了 Qwen2.5-VL 的设计：

使用两层 MLP,将 Vision Encoder 输出的2×2 patch 特征,压缩为1 个视觉 token, 并映射到 LLM 的隐藏维度

该设计在信息保留与上下文长度之间取得了较好的平衡。

1.3.2 DeepStack：多层次视觉注入

Qwen3-VL 对DeepStack进行了关键扩展。

与原始 DeepStack 从多尺度输入堆叠 token 不同，Qwen3-VL：

• 从Vision Transformer 的中间层提取特征
• 覆盖低-中-高层语义表示
• 为每一层特征配备专用 Vision–Language Merger
• 将视觉 token直接注入 LLM 的前 3 层 hidden states

这一设计让语言模型在早期层就感知视觉结构，大幅提升复杂视觉推理与细粒度理解能力。

1.4、Interleaved MRoPE：重构多模态位置建模

1.4.1 原始 MRoPE 的局限

Qwen2-VL 提出的 MRoPE 将 embedding 维度划分为：

• 时间（t）
• 横向（h）
• 纵向（w）

但这种划分会造成频谱不均衡，尤其在长视频理解任务中表现不佳。

1.4.2 交错式频率分配

Qwen3-VL 采用Interleaved MRoPE：

• 将 t / h / w 维度交错分布在 embedding 中
• 确保每个维度同时覆盖高频与低频

这一改动显著缓解了频谱偏置问题，提升了长时序视频的建模能力。

1.5. Video Timestamp：用“语言”理解时间

1.5.1 旧方法的问题

Qwen2.5-VL 使用时间同步 MRoPE：

• 时间 ID 与绝对时间绑定
• 长视频中 ID 极大且稀疏
• 训练需覆盖大量 fps 分布，成本极高

1.5.2 文本化时间戳方案

Qwen3-VL 采用显式文本 token 表示时间：

<2.0 seconds> [Video_Patch]或者<00:00:02> [Video_Patch]

训练时混合使用：

• 秒制
• HMS（时:分:秒）

该方案虽然略微增加上下文长度，但极大增强了时间理解的稳定性与泛化性，并且由于训练时混合使用秒制和HMS，因此无论人怎么说时间，模型都能懂。

2.预训练

训练策略：四阶段逐步构建多模态与长上下文能力

Qwen3-VL 的预训练并非一次性完成，而是采用了一套循序渐进的四阶段训练策略。这种设计的核心目标并不是“尽快把模型训大”，而是在保证稳定性的前提下，逐步解锁多模态理解与超长上下文建模能力。

整体来看，这四个阶段遵循一个非常清晰的能力演进路径：

先对齐模态 → 再学习多模态 → 扩展上下文 → 冲刺超长序列

下表给出了各阶段的整体配置概览：

2.1 Stage 0：视觉–语言对齐（Alignment First）

在训练初期，Qwen3-VL 面临的首要问题并不是“不会看图”或“不会生成文本”，而是：

视觉编码器与语言模型之间缺乏统一的语义接口。

因此，在 Stage 0 中，模型采用了一种非常克制但高效的做法：

• 冻结 Vision Encoder（SigLIP-2）
• 冻结 LLM（Qwen3）
• 仅训练 MLP-based Vision–Language Merger

可以将这一阶段理解为：先调好“翻译器”，而不是直接重训两端。

训练数据规模约为67B tokens，主要由高质量的图文对齐数据构成，包括：

• 图像–描述对
• 视觉知识数据
• OCR 相关样本

所有训练均在8k 上下文长度下进行。这一阶段的目标非常明确：建立稳定、可控的跨模态对齐基础，为后续端到端训练扫清障碍。

2.2 Stage 1：多模态预训练（Multimodal Pre-Training）

在完成视觉–语言对齐后，Stage 1 进入真正的端到端多模态训练阶段。

在这一阶段：

• Vision Encoder、Merger 与 LLM全部解冻
• 模型开始联合学习视觉理解与语言生成

训练数据规模迅速扩大到约 1 万亿 tokens，上下文长度仍保持在8k，以保证训练稳定性。

2.2.1 数据混合策略

为了避免模型在学习视觉能力的同时损害原有语言能力，Stage 1 采用了精心设计的数据配比：

• 文本-only 数据：用于维持和强化语言建模能力
• 视觉–语言数据：覆盖多种任务形式，包括

• 图文交错文档
• Visual Question Answering
• Visual Grounding
• STEM 相关多模态数据
• 少量视频数据（引入基础时间概念）

这一阶段的核心成果是：模型开始具备通用的多模态理解与生成能力。

2.3 Stage 2：长上下文预训练（Long-Context Pre-Training）

在 Stage 2 中，训练重点从“多模态能力本身”转向：

如何在更长上下文中稳定地使用这些能力。

因此，这一阶段的关键变化是：

• 上下文长度从8k 提升至 32k
• 所有模型参数仍保持可训练

训练数据规模依旧约为1 万亿 tokens，但数据构成发生了明显调整：

• 文本-only 数据比例提升，以增强长文档理解和复杂推理能力
• 视觉–语言数据中：

• 视频数据占比显著提高
• 引入更多 agent-style、多步骤指令数据

Stage 2 是 Qwen3-VL长视频理解能力真正成型的关键阶段，模型开始能够：

• 在更长时间范围内建立跨帧关联
• 处理多步骤、多模态推理任务

2.4 Stage 3：超长上下文适配（Ultra-Long-Context Adaptation）

最后一个阶段并非传统意义上的“继续预训练”，而是一次针对极端上下文长度的专项适配。

在 Stage 3 中：

• 上下文长度被大幅提升至262k
• 训练数据规模缩减至100B tokens
• 数据高度聚焦于超长序列任务

数据重点包括：

• 超长文档理解
• 长时视频分析
• 长跨度信息定位与总结

这一阶段的目标并不是引入新的知识，而是：

确保模型在超长上下文下仍能稳定运作，不发生能力退化。

2.5 训练策略总结

从整体来看，Qwen3-VL 的训练策略体现了一种非常成熟的工程哲学：

• 不急于堆规模
• 不盲目拉长上下文
• 按能力解锁顺序逐步推进

可以将四个阶段总结为一句话：

对齐 → 学会 → 记得更久 → 扛住极限

这种分阶段设计，是 Qwen3-VL 能够同时具备强多模态能力与超长上下文处理能力的关键基础。

3. Qwen3-VL 的后训练体系：从“能用”到“好用”的关键进化
   ==================================

如果说预训练解决的是**“模型看过什么世界”**，那么后训练（Post-Training）决定的则是：

模型如何思考、如何对齐人类需求、以及在真实任务中是否可靠可控。

在 Qwen3-VL 中，后训练不是单一阶段的微调，而是一套分阶段、分目标、层层递进的系统工程。整体流程可以概括为三个核心阶段：

1. 监督微调（SFT）：学会“按指令做事”
2. 强到弱蒸馏（Strong-to-Weak Distillation）：学会“怎么推理”
3. 强化学习（RL）：学会“做得更好、做得更像人”

3.1. 总体后训练流程概览

Qwen3-VL 的后训练采用三阶段流水线：

值得注意的是：多模态能力并非每一阶段都直接参与，而是通过精心设计的训练顺序逐步注入。

3.2. SFT：让模型“会用”，而不仅是“会看”

3.2.1. 两阶段 SFT：从 32K 到 256K

SFT 是后训练的起点，其目标不是灌输知识，而是：

• 建立稳定的instruction-following 行为模式
• 激活模型在预训练中已具备、但尚未显式使用的推理能力

为兼顾效率与长上下文能力，SFT 采用分阶段上下文扩展策略：

1. 第一阶段：32K context

• 覆盖大多数标准任务

2. 第二阶段：256K context

• 超长技术文档

• 教材级文本

• 长视频（最长 2 小时）

• 聚焦：

并在第二阶段中，混合 32K 与 256K 数据进行 curriculum 训练，避免模型只适应极端长输入。

3.2.2. 标准模型 vs Thinking 模型（CoT）

SFT 数据被明确区分为两种格式：

• 标准格式：直接给出答案
• Chain-of-Thought（CoT）格式：显式展示推理过程

这种区分并不是为了“多写几步推理”，而是为了：

• 让 thinking 模型学习“如何思考”
• 同时保留 non-thinking 模型的简洁响应能力

3.3. Cold Start SFT 数据：能力导向的数据工程

3.3.1. 数据规模与结构

SFT 数据集规模约120 万条，其结构本身就反映了目标能力分布：

• 1/3 文本-only
• 2/3 多模态（图像 / 视频）
• 覆盖：

• 单轮 / 多轮对话
• 单图 / 多图 / 视频
• 图文交错、agent 场景

并且在中英为主的基础上，扩展至多语言，增强全球适用性。

3.3.2. 从“领域覆盖”到“真实能力”

相比 Qwen2.5-VL 已覆盖的 8 大类能力，Qwen3-VL 的 SFT 数据新增并强化了：

• 具身智能中的空间推理
• 细粒度image-grounded reasoning
• 视频中的时空 grounding
• 百页级技术文档理解
• Agent 场景下的工具增强推理

核心原则只有一句话：

以真实使用场景反推数据设计，而不是反过来。

3.3.3. 严格的数据过滤体系

SFT 数据质量直接决定模型上限，因此采用双阶段过滤：

（1）Query Filtering：问题本身是否值得学？

• 剔除：

• 不可验证
• 语义模糊
• 空洞的网页问题

• 轻微重写不清晰指令，但不改变原意
• 保证问题具有：

• 合理复杂度
• 明确上下文

（2）Response Filtering：答案是否“像一个好助手”？

• 规则过滤

• 去重复
• 去残缺
• 去不当内容

• 模型过滤

• 使用 Qwen2.5-VL reward model
• 从正确性、完整性、视觉利用、语言风格等多维度打分
• 捕捉规则难以发现的问题（如语言混用）

3.4. Long-CoT Cold Start：为“深度推理”打地基

Thinking 模型的核心不是“写得长”，而是：

在复杂问题中，真的需要一步一步推理。

3.4.1. 数据构成

• 纯文本 : 多模态 ≈1 : 1
• 多模态重点：

• STEM
• agent workflow

• 文本部分对齐 Qwen3 的高难度数学 / 编程 / 逻辑数据

3.4.2. 三重筛选，保证“真的难、真的需要想”

1. 难度筛选

• 只保留 baseline 模型低通过率样本

2. 多模态必要性筛选

• 如果去掉图像仍能答对 → 丢弃

3. 推理质量控制

• 去猜测
• 去错误结论
• 去语言异常

这一步本质上是在回答一个问题：

这个问题，值不值得模型认真想？

3.5、Strong-to-Weak Distillation：把“会想”教给小模型

蒸馏阶段只做一件事：

用强模型的行为，塑造弱模型的推理分布。

两阶段蒸馏

• Off-policy

• 用 teacher 的输出直接监督 student

• On-policy

• student 自己生成
• 与 teacher logits 做 KL 对齐

关键点在于：蒸馏只用文本数据，却能提升多模态推理能力，因为它直接作用于 LLM backbone 的推理结构。

3.6. 强化学习（RL）：精修能力与对齐人类偏好

3.6.1. Reasoning RL：让模型在“可验证任务”上变强

1. 任务类型

• 数学、代码、逻辑
• grounding、视觉谜题
• OCR、结构化推理

所有任务都有一个共同点：结果可用规则或程序验证

2. 训练策略

• 每个问题采样 16 个回答
• 去掉“过于简单”的样本
• 混合多任务 batch，比例通过实验确定

3. 奖励系统

• 统一基础设施
• 每个任务自定义 reward
• 不依赖格式 reward，而是通过 prompt 约束输出
• 惩罚语言混用

4. RL 算法

• 使用SAPO（Smooth Adaptive Policy Optimization）
• 在多模型、多任务上表现稳定

3.6.2. General RL：从“对”到“好”

General RL 的目标是：

• 提升泛化能力
• 修正 SFT 中遗留的错误先验
• 消灭“坏习惯”

(1). 两个核心对齐维度

1. Instruction Following

• 内容、格式、长度、JSON 等

2. Preference Alignment

• 有用性
• 事实性
• 风格自然度

(2) 定向纠错

针对模型常见顽疾：

• 错误计数
• 复杂时钟识别
• 重复、语言混杂、格式错误

通过专门构造的数据 + 高频惩罚，比泛化 RL 更高效。

(3) 混合奖励机制

• 规则奖励：高精度、抗 reward hacking
• 模型奖励：用 Qwen2.5-VL-72B / Qwen3 做 judge，处理开放问题

3.7. Thinking with Images：让模型像“视觉 agent”一样思考

这一部分是 Qwen3-VL 非常前沿的一步。

3.7.1. 两阶段训练范式

(1)第一阶段：冷启动视觉 agent

• ~10K 简单 grounding 任务
• 行为模式：

think → act → observe → answer

• SFT + 多轮 tool-integrated RL

(2)第二阶段：蒸馏扩展

• 用第一阶段 agent 生成 ~120K 多轮交互数据
• 再次进行 SFT + RL
• 应用于 Qwen3-VL

3.7.2. Tool-Integrated RL 的三类奖励

1. 答案正确性
2. 多轮推理一致性
3. 工具调用合理性

• 防止“只调一次工具”的 reward hacking

通过显式 tool-calling reward，模型学会根据任务复杂度自适应探索工具。

3.8. 总结

Qwen3-VL 的后训练并不是简单的：

SFT → RL → Done

而是一套围绕推理、对齐、agent 行为精心设计的工程系统：

• SFT：建立行为范式
• Long-CoT：教会模型“什么时候该想”
• 蒸馏：降低推理能力的使用门槛
• RL：让模型在真实世界里更可靠

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】