引言当 AI 学会「渲染」三维世界2025 年 10 月李飞飞创立的 World Labs 发布了 RTFMReal-Time Frame Model——一个仅需单块 H100 GPU 就能实时生成持久 3D 世界的生成式世界模型。这不仅是视频生成技术的延伸更是对「AI 如何理解三维空间」这一根本问题的全新解答。本文将从架构设计、核心算法、工程优化三个维度深度拆解 RTFM 的技术原理并附关键代码实现。一、背景为什么世界模型是「算力吞噬者」要理解 RTFM 的价值必须先理解世界模型面临的算力困境。假设我们要生成一段 4K 分辨率、60fps 的交互式视频流每秒需要生成的 token 数4K (3840×2160) × 60 fps ≈100K tokens/s维持 1 小时交互的上下文长度100K × 3600 ≈3.6 亿 tokens作为对比GPT-4 的上下文窗口仅为 128K tokens。这意味着如果直接套用现有的视频生成架构一个小时的交互就需要处理 3.6 亿 token 的上下文——这在当前算力基础设施上完全不现实。RTFM 的核心命题在不依赖极端算力的情况下设计一个今天就能部署、未来还能扩展的实时世界模型。二、整体架构自回归扩散 TransformerRTFM 的架构可以概括为基于自回归扩散 Transformer 的端到端学习型渲染器。2.1 架构总览输入: 一张/多张 2D 场景图像 目标视角位姿(pose)│ ▼ ┌─────────────────────┐ │ Image Encoder │ ← 将输入图像编码为隐式表征(KV Cache)│(Vision Transformer)│ └────────┬────────────┘ │ ┌────────▼────────────┐ │ Diffusion Transformer│ ← 自回归预测下一帧 │(Autoregressive DiT)│ └────────┬────────────┘ │ ▼ ┌─────────────────────┐ │ Frame Decoder │ ← 解码为 2D 图像 └─────────────────────┘ │ ▼ 输出: 目标视角下的场景图像与传统的 3D 图形管线不同RTFM不构建显式的三角网格或高斯溅射。它将输入帧转换为神经网络的激活值KV Cache通过注意力机制隐式地表征整个三维世界。2.2 扩散 Transformer 核心代码以下是简化的 RTFM 推理流程伪代码importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassRTFM_Block(nn.Module):RTFM 核心带空间感知的扩散 Transformer 块def__init__(self,dim,num_heads16):super().__init__()self.attnnn.MultiheadAttention(dim,num_heads,batch_firstTrue)self.ffnnn.Sequential(nn.Linear(dim,dim*4),nn.GELU(),nn.Linear(dim*4,dim),)self.norm1nn.LayerNorm(dim)self.norm2nn.LayerNorm(dim)defforward(self,x,kv_cacheNone):# 带 KV Cache 的自回归注意力xxself.attn(self.norm1(x),kv_cache,kv_cache)[0]xxself.ffn(self.norm2(x))returnxclassDiffusionTransformer(nn.Module):自回归扩散 Transformer 主模型def__init__(self,in_channels3,latent_dim1024,num_blocks24):super().__init__()self.patch_embednn.Conv2d(in_channels,latent_dim,kernel_size2,stride2)self.pos_embednn.Parameter(torch.randn(1,256,latent_dim))# 空间位姿编码核心创新self.pose_mlpnn.Sequential(nn.Linear(7,latent_dim),# 7 3位置 4四元数nn.SiLU(),nn.Linear(latent_dim,latent_dim),)self.blocksnn.ModuleList([RTFM_Block(latent_dim)for_inrange(num_blocks)])self.normnn.LayerNorm(latent_dim)self.headnn.Linear(latent_dim,in_channels*4)defforward(self,frames,poses,kv_cacheNone,timestep0): frames: [B, C, H, W] 输入帧 poses: [B, 7] 目标视角位姿 (x,y,z,qw,qx,qy,qz) Bframes.shape[0]xself.patch_embed(frames)xx.flatten(2).transpose(1,2)# [B, N, D]xxself.pos_embed[:,:x.size(1)]# 注入位姿信息pose_embself.pose_mlp(poses).unsqueeze(1)# [B, 1, D]xxpose_embforblockinself.blocks:xblock(x,kv_cache)xself.norm(x)patchesself.head(x)# [B, N, 12]returnpatches关键设计解读位姿编码 (Pose Embedding)通过 MLP 将 3D 空间位姿位置 朝向四元数编码为 token 级特征让模型「知道」当前要生成的是哪个视角的画面。KV Cache 作为隐式世界表征模型生成的每一帧都保留其 KV 激活值构成世界记忆。生成新帧时通过注意力机制从已有帧的 KV Cache 中读取信息——这是 RTFM「不建显式 3D 模型也能理解 3D 空间」的秘密。三、持久性Context Juggling 与空间记忆真实世界的核心属性是持久性——你转个身世界不会消失。但对自回归帧模型而言每生成一帧要处理的上下文就多一帧成本线性增长。3.1 问题分析朴素方案每帧都看所有历史帧 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 帧1→ 帧2→ 帧3→... → 帧 N │ │ │ │ context context context context123N 计算量: O(N²)— 不可扩展 ❌3.2 Context Juggling 方案RTFM 的突破在于给每一帧赋予一个 3D 位姿将其组织为「空间记忆」。RTFM 上下文调度(Context Juggling)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 空间记忆(Spatial Memory Buffer)┌──────┬──────┬──────┬──────┐ │帧P1 │帧P2 │帧P3 │帧P4 │... └──────┴──────┴──────┴──────┘ ▲位置1 ▲位置2 ▲位置3 ▲位置4 生成新帧 P_new:1. 从空间记忆中检索与 P_new 距离最近的 K 帧2. 只将这 K 帧作为上下文K 是常数3. 生成后也存入空间记忆 计算量: O(N × K)O(N)✅ 可扩展代码实现classSpatialMemory:基于位姿的空间记忆管理器def__init__(self,k_nearest8,max_frames10000):self.kk_nearest self.frames[]# 存储 (pose, frame_kv)self.poses[]# 存储位姿defquery(self,target_pose,kNone):检索与目标位姿最近的 K 帧kkorself.kifnotself.poses:returnNonetargettorch.tensor(target_pose).unsqueeze(0)storedtorch.tensor(self.poses)# 欧几里得距离位置部分pos_disttorch.cdist(target[:,:3],stored[:,:3],p2)# 四元数距离朝向部分quat_dist1-torch.abs((target[:,3:]*stored[:,3:]).sum(dim1))# 综合距离total_distpos_dist.squeeze(0)0.5*quat_dist# 取 Top-K 最近帧indicestorch.topk(total_dist,kk,largestFalse).indicesreturn[self.frames[i]foriinindices]defadd_frame(self,pose,frame_kv):存储新帧self.poses.append(pose)self.frames.append(frame_kv)iflen(self.frames)self.max_frames:# FIFO 淘汰self.poses.pop(0)self.frames.pop(0)defrtfm_generate(model,init_frames,init_poses,target_poses,memory): RTFM 自回归生成流程 - model: DiffusionTransformer - memory: SpatialMemory - target_poses: 要生成的视角序列 outputs[]fort,poseinenumerate(target_poses):ift0:# 第一帧以输入帧为条件contextinit_frames kv_cacheNoneelse:# 后续帧从空间记忆检索上下文contextmemory.query(pose)kv_cachecontext# 用检索帧的 KV 作为缓存# 生成新帧new_framemodel(context,pose.unsqueeze(0),kv_cachekv_cache,timestept)# 存入空间记忆memory.add_frame(pose.tolist(),new_frame)outputs.append(new_frame)returntorch.stack(outputs)这是 RTFM 最核心的工程创新。通过将自回归帧模型与 3D 空间结构结合RTFM 实现了「无论你走多远、交互多久世界记忆不丢失且计算成本 O(N) 线性增长」。四、学习型渲染器的范式突破4.1 传统 vs RTFM 对比维度传统 3D 渲染管线RTFM世界表征显式三角网格、高斯溅射隐式神经网络 KV Cache渲染方式光栅化/光线追踪人工设计注意力机制端到端学习反射/阴影需人工设计 Shader从训练数据中自动学习可扩展性受限于手工工程优化随数据和算力提升硬件需求专用 GPU 渲染管线单张 H100 推理4.2 重建与生成的统一RTFM 模糊了「重建」和「生成」的传统边界# 输入视图多 → 偏向重建约束强、内容确定# 输入视图少 → 偏向生成模型需外推想象defrtfm_render(model,input_views,camera_poses): 输入 N 张视图RTFM 自动平衡重建与生成 - N1: 接近零样本生成强烈生成 - N10: 偏向三维重建插值为主 memorySpatialMemory()# 将输入视图初始化到空间记忆forview,poseinzip(input_views,camera_poses):memory.add_frame(pose,model.encode(view))# 生成新视角时自动检索最近帧returnrtfm_generate(model,...)当 RTFM 接收到大量输入视图时它自动退化为「插值重建」模式当输入稀疏时它切换到「外推生成」模式。这本质上是一个连续谱而非传统计算机视觉中割裂的两个问题。五、工程优化单卡 H100 上实现实时推理5.1 优化栈全景RTFM 团队对整个推理栈做了端到端优化优化层级 具体技术 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 模型架构 │ 块稀疏注意力(Block Sparse Attention)│ 条件 Token 缓存机制 ─────────┼───────────────────────────────────── 模型压缩 │ 知识蒸馏(Distillation)│ 量化(FP8 / INT8)─────────┼───────────────────────────────────── 推理引擎 │ FlashAttention-3 │ 自定义 Triton Kernel │ TensorRT 编译优化 ─────────┼───────────────────────────────────── 调度策略 │ 上下文调度(Context Juggling)│ 异步预取(Async Prefetching)5.2 块稀疏注意力标准注意力机制的计算复杂度是 O(N²)对于高分辨率视频帧难以接受。RTFM 使用块稀疏注意力defblock_sparse_attention(Q,K,V,block_size32,sparsity0.9): 块稀疏注意力实现 - block_size: 块大小如 32×32 - sparsity: 稀疏度90% 的块不参与计算 B,N,DQ.shapeassertN%block_size0n_blocksN//block_size# 1. 计算块级相似度低精度近似Q_blocksQ.view(B,n_blocks,block_size,D).mean(dim2)K_blocksK.view(B,n_blocks,block_size,D).mean(dim2)block_scorestorch.matmul(Q_blocks,K_blocks.transpose(1,2))# 2. 选择 Top-K 块忽略不重要的块kint(n_blocks*(1-sparsity))topk_indicestorch.topk(block_scores,k,dim-1).indices# 3. 仅在选中的块上计算全精度注意力outputs[]forbinrange(B):selectedtopk_indices[b]Q_selQ[b].view(n_blocks,block_size,D)[selected]K_selK[b].view(n_blocks,block_size,D)[selected]V_selV[b].view(n_blocks,block_size,D)[selected]attntorch.matmul(Q_sel,K_sel.transpose(1,2))attnF.softmax(attn/(D**0.5),dim-1)outtorch.matmul(attn,V_sel)outputs.append(out.reshape(-1,D))returntorch.stack(outputs)通过 90% 的块稀疏度注意力计算量直接降低一个数量级这是 RTFM 能在单卡 H100 上跑实时交互帧率的关键。六、性能表现与实测数据根据 World Labs 官方技术报告及公开评测指标RTFM (单 H100)传统 3DGS 方案暴力视频生成GPU 需求1× H1001× H100≥ 8× A100帧率实时交互级实时 1 fps持久性∞Context Juggling受限于显存受限于上下文3D 一致性✅ 自回归保持✅❌ 常漂移反射/光泽✅ 端到端学习⚠️ 需额外处理⚠️ 不稳定单个场景训练❌ 不需要✅ 需要❌ 不需要RTFM 最大的优势是开箱即用——输入一张照片不需要对场景做任何预训练或重建直接就能探索。七、未来方向与技术启示7.1 演进路线RTFM 的架构设计具有清晰的扩展路径动态世界建模当前 RTFM 处理静态场景未来可加入时间维度的变化建模如风吹草动、人物走动。交互能力允许用户放置/移动物体模型实时更新画面。规模扩展更大的 DiT 模型 更大的推理预算 → 更高保真度。7.2 对 AI 技术栈的启示RTFM 的成功验证了一个关键原则「苦涩的教训」The Bitter Lesson——那些能随算力增长平滑扩展的简单架构往往比精心手工设计的方法更具长期优势。RTFM 没有用复杂的几何引擎或物理模拟器而是用一个自回归扩散 Transformer 端到端地学会了渲染 3D 世界。这种「以规模换精致」的哲学正在从 NLP 向计算机视觉和 3D 图形学全面渗透。八、总结RTFM 代表了世界模型领域的一个重要里程碑架构层面自回归扩散 Transformer 空间记忆 → 实时且持久的 3D 世界生成效率层面块稀疏注意力 全栈推理优化 → 单卡 H100 实时部署范式层面将世界模型视为「从数据中端到端学习的渲染器」→ 模糊重建与生成的边界对于 AI 工程师而言RTFM 最值得学习的并非某个具体技巧而是从系统层面协同优化架构、算法和工程的思维方式——在硬件约束下做出最优雅的设计选择。参考资源World Labs Blog: RTFM: A Real-Time Frame ModelWorld Labs 演示: https://rtfm.worldlabs.ai/Marble: A Multimodal World Model