大模型位置编码演进史：从RoPE到Interleaved MRoPE，小白也能看懂的多模态基础

本文系统解析了多模态大模型中位置编码的演进历程：从1D RoPE（文本序列）到2D-RoPE（图像）再到3D-RoPE（视频），最终发展为Qwen3-VL的Interleaved MRoPE。详细解释了各方法的数学原理、优缺点及代码实现，强调Interleaved MRoPE通过在频率维度上交错分配轴信息，解决了传统方法频谱不均衡、长视频位置分辨率下降等问题，使模型能更好地理解不同模态中的时空结构。

在多模态大模型中，**位置编码（Positional Encoding）并不是一个“实现细节”，而是决定模型是否真正理解结构（Structure）**的基础能力。

从：

文本的一维序列（1D）
图像的二维空间（2D）
视频的三维时空（3D）

位置建模的复杂度呈指数级上升。

Qwen3-VL 的位置编码设计，并非一次性“发明”，而是一条非常清晰、工程理性的演进路径：

RoPE（1D） → 2D-RoPE → 3D-RoPE → Interleaved MRoPE

本文将系统解析这一演进过程，并解释为什么：

Interleaved MRoPE 是 Qwen3-VL 的“基础设施级”创新，而不是简单 Trick。

一、RoPE（1D）回顾：为序列而生的旋转位置编码

1.1 RoPE 要解决什么问题？

传统 Transformer 使用绝对位置编码：

存在两个根本缺陷：

长度外推能力差（超过训练长度性能急剧下降）
注意力中无法显式建模相对位置

RoPE（Rotary Position Embedding）的目标是：

让注意力机制天然感知“相对位置”，而不是死记绝对索引。

1.2 RoPE 的核心数学定义（逐项解释）

对于序列中第 § 个 token，其 Query / Key 向量为：

RoPE 将 embedding按偶奇维度成对视为二维向量，并进行旋转：

其中频率项定义为：

直觉解释：

每两维构成一个二维平面
不同维度使用不同频率（低频 → 长距离，高频 → 细粒度）
位置 § 被编码为旋转角度

👉位置不再是“向量相加”，而是“相位变化”

1.3 为什么 RoPE 天然支持相对位置？

在注意力中真正使用的是内积：

该内积只与 ((p - q)) 有关，而与绝对位置无关。

因此，模型学到的是：

“你在我前面多远”，而不是“你是第几个 token”。

1.4 RoPE（1D）示意图

1.5 代码示例（1D RoPE）

import torchdef rope_1d(x, pos): dim = x.shape[-1] half = dim // 2 freq = torch.exp( -torch.arange(0, half, 2, device=x.device) * (torch.log(torch.tensor(10000.0)) / half) ) angle = pos[:, None] * freq[None, :] sin, cos = angle.sin(), angle.cos() x_even = x[:, 0::2] x_odd = x[:, 1::2] x_rot = torch.stack([ x_even * cos - x_odd * sin, x_even * sin + x_odd * cos ], dim=-1).flatten(-2) return x_rot

二、2D-RoPE：从序列到空间（图像）

2.1 为什么 1D-RoPE 不适合图像？

图像 patch 的位置不是一个标量，而是二维坐标：

若强行 flatten 为一维序列：

空间邻近关系被破坏
不同分辨率 / 长宽比泛化能力差

2.2 2D-RoPE 的核心思想

在 embedding 维度上显式区分高度与宽度。

2.3 数学定义

对于图像 patch token：

将 embedding 拆为两半：

分别应用 RoPE：

2.4 空间直觉示意图

2.5 代码示例（2D RoPE）

def rope_2d(x, h, w): d = x.shape[-1] x_h, x_w = x[..., :d//2], x[..., d//2:] x_h = rope_1d(x_h, h) x_w = rope_1d(x_w, w) return torch.cat([x_h, x_w], dim=-1)

三、3D-RoPE：视频中的时间 × 空间

3.1 视频多了什么？

视频 patch 的位置是三元组：

若只使用 2D-RoPE：

同一空间位置的不同时间帧不可区分
动作与事件演化难以建模

3.2 3D-RoPE 数学定义

3.3 3D 时空建模示意

3.4 代码示例（3D RoPE）

def rope_3d(x, t, h, w): d = x.shape[-1] dt = d // 3 x_t = rope_1d(x[..., :dt], t) x_h = rope_1d(x[..., dt:2*dt], h) x_w = rope_1d(x[..., 2*dt:], w) return torch.cat([x_t, x_h, x_w], dim=-1)

四、Interleaved MRoPE：Qwen3-VL 的关键突破

4.1 传统 2D / 3D-RoPE 的根本缺陷

embedding 被“整块切分”，导致频谱分配不均衡

结果：

时间轴高频不足
长视频位置分辨率下降
注意力退化为模糊对齐

4.2 MRoPE 的核心思想

不按“轴”切 embedding，而是在“频率维度”上交错分配轴信息。

4.3 Interleaved 直觉示意

每个轴同时拥有：

低频（长距离）
高频（精细位置）

4.4 数学形式（概念化）

对于第 (k) 个二维子空间：

其中：

旋转角度由对应轴的位置决定。

4.5 代码示意（Interleaved MRoPE）

def interleaved_mrope(x, pos_t, pos_h, pos_w): axes = [pos_t, pos_h, pos_w] out = x.clone() for i in range(0, x.shape[-1], 2): axis = (i // 2) % 3 out[..., i:i+2] = rope_1d( x[..., i:i+2], axes[axis] ) return out

五、方法对比总结

方法	空间	时间	频谱均衡	长视频
RoPE (1D)	❌	❌	✅	❌
2D-RoPE	✅	❌	❌	❌
3D-RoPE	✅	✅	❌	⚠️
Interleaved MRoPE	✅	✅	✅	✅