wen3-VL多模态检索模型详解：Embedding与Reranker架构、训练与应用（必学收藏）

本文介绍了Qwen3-VL-Embedding（嵌入模型）和Qwen3-VL-Reranker（重排序模型）两个基于Qwen3-VL的多模态检索模型。嵌入模型采用双编码器架构负责粗筛，将多模态输入映射为密集向量；重排序模型采用交叉编码器架构负责精排，输出精准相关性分数。两模型通过三阶段训练策略构建，支持2B和8B参数规模，可处理文本、图像、视频等多种模态数据，实现高效的多模态检索任务。

之前介绍了《[Qwen3 Embedding模型架构、训练方法、数据策略]》的开源模型，为纯文本RAG的检索阶段提供了一个优秀的向量模型。

Qwen3-VL-Embedding（嵌入模型）和Qwen3-VL-Reranker（重排序模型）的模型，下面这张图中的各个模态数据就不需要专有的模型进行向量化了。

现在继续看下Qwen3-VL-Embedding（嵌入模型）和Qwen3-VL-Reranker（重排序模型）的模型架构、训练策略，其目标场景是支持“多模态检索”（文本、图像、视频、视觉文档等），如下图：

两个模型系列均基于Qwen3-VL基础模型构建，目标是实现“任务感知的多模态相关性判断”，但分工不同：

Qwen3-VL-Embedding：负责将多模态输入（文本、图像、视频、视觉文档等）映射为 dense vector（密集向量），通过向量相似度快速筛选候选结果，负责检索的“粗筛阶段”。
Qwen3-VL-Reranker：负责对粗筛后的候选结果做细粒度相关性评估，输出精准的相关性分数，负责检索的“精排阶段”。

同时继承Qwen3-VL的世界知识、多模态感知能力和指令跟随能力，目前支持2B、8B两种参数规模，适配不同部署场景。

2B、8B两种参数模型规格

模型架构

两个模型均基于Qwen3-VL，采用因果注意力机制（causal attention），经过大规模多模态、多任务相关性数据训练后，保留了基础模型的核心能力，同时新增“相关性估计”能力。两个模型架构上一点细微的差异化特点：

Qwen3-VL-Embedding：双编码器（Bi-encoder），生成多模态统一向量表示，独立编码查询和文档，输出向量后用余弦相似度度量相关性。
Qwen3-VL-Reranker：交叉编码器（Cross-encoder），细粒度相关性打分，对查询和文档做深度交叉注意力，直接输出相关性概率。

输入模板规范

1. Qwen3-VL-Embedding 输入模板

用于生成多模态输入的向量表示，模板结构如下：

{Instruction}：任务指令，定义向量表示的目标（如“将输入的图像和文本映射为统一向量”），默认指令为“Represent the user’s input”（表示用户输入）。
{Instance}：多模态实例，可是文本、图像、视频、或其组合（如“文本+图像”“视频+说明文字”）。
< |endoftext| >：PAD token，用于标记输入结束，模型会取该token对应的最后隐藏状态作为最终的向量表示。

2. Qwen3-VL-Reranker 输入模板

用于判断查询（Query）与文档（Document）的相关性，模板结构如下：

{Instruction}：相关性判断规则（如“判断文档是否包含查询中提到的产品功能”）。
{Query}：检索查询，可是多模态（如“寻找展示‘城市建筑’的图像”“查询视频中提到的实验结论”）。
{Document}：候选文档，可是多模态（如图像、视频片段、视觉文档截图、文本段落）。
输出约束：模型仅输出“yes”（相关）或“no”（不相关），通过该预测结果计算相关性分数。

训练策略

如上图，模型采用三阶段训练 pipeline训练，每个阶段聚焦特定目标，逐步提升模型能力：

Stage 1：对比预训练

目标：让嵌入模型学习基础的多模态语义对齐，建立相关性判断基线。
训练数据：300M大规模多模态、多任务合成数据（通过3.3节方法挖掘，基于开源GME模型筛选）。
训练任务：仅针对Qwen3-VL-Embedding，采用对比学习优化。
优化目标：InfoNCE损失，通过正样本与多种负样本（硬负样本、批次内其他查询/文档）的对比，拉近语义相似样本的向量距离。
输出模型：Qwen3-VL-Embedding: s0（初始版本，具备基础多模态嵌入能力）。

Stage 2：多任务对比学习与监督微调

目标：提升嵌入模型的多任务适配性，同时训练重排序模型，实现双模型协同。
训练数据： curated公共数据集 + 私有内部数据 + 抽样合成数据（解决任务不平衡），由Stage 1输出的s0模型参与数据挖掘，确保数据质量。
训练任务：

嵌入模型：多任务对比学习，针对检索、分类、问答等不同任务设计定制化对比目标。
重排序模型：首次训练，基于检索专属子集数据（图像/视频/视觉文档检索等）优化。

优化目标：

嵌入模型：改进版InfoNCE损失（移除查询-查询、文档-文档对比项，适配高质量数据）。
重排序模型：二分类交叉熵损失，预测“查询-文档对”是否相关。

输出模型：

Qwen3-VL-Embedding: s1（多任务性能提升，适配分类、QA、检索等场景）。
Qwen3-VL-Reranker（初始版本，专注检索场景细粒度相关性打分）。

Stage 3：蒸馏与模型融合

目标：将重排序模型的精准判断能力迁移到嵌入模型，同时平衡各任务性能。
训练数据：公共+私有数据源筛选的紧凑子集（覆盖多检索类别，分布均衡）。
训练逻辑：

知识蒸馏：用Stage 2训练好的Qwen3-VL-Reranker对数据子集生成细粒度相关性分数，作为监督信号训练嵌入模型。
模型融合：蒸馏后的嵌入模型（s2）在检索任务上性能显著提升，但分类、QA任务略有退化，因此将s2与s1融合，平衡多任务性能。

优化目标：

蒸馏阶段：交叉熵损失，让嵌入模型的分数分布对齐重排序模型。

输出模型：

Qwen3-VL-Embedding: s2（检索任务性能最优，其他任务略有退化）。
Qwen3-VL-Embedding: s3（终版嵌入模型，多任务性能均衡最优）。

性能