上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！

单样例推理速度对比：SGLang 部署的 Qwen3-8B (NVIDIA) vs. LoPA-Dist 部署 (NVIDIA & Ascend)（注：NVIDIA平台相同，配置对齐）

在大语言模型（LLMs）领域，扩散大语言模型（dLLMs）因其并行预测特性，理论上具备超越传统自回归（AR）模型的推理速度潜力。然而在实践中，受限于现有的解码策略，dLLMs 的单步生成往往局限于 1-3 个 Token，难以真正释放其并行潜力。

近期，上海交通大学 DENG Lab 联合华为小艺团队的一项新研究打破了这一瓶颈。该工作提出了一种名为 LoPA （Lookahead Parallel Decoding）的无需训练的解码算法，通过主动探索最优填词顺序，显著提升了 dLLMs 的推理并行度和吞吐量。

实验显示，LoPA 将 D2F-Dream 在 GSM8K 基准上的单步生成 Token 数（TPF）从 3.1 提升至 10.1，并行度提升超 3 倍。配合团队自研的 LoPA-Dist 分布式推理系统，在华为 Ascend 910C 平台上实现了 1073.9 tokens/s 的单样本吞吐量，不仅大幅超越基线模型，更将 dLLMs 的推理效率推向了新高度。

图 1：LoPA的吞吐量结果展示。

LoPA 将 D2F-Dream 的单样本吞吐量在 MBPP 和 GSM8K 上分别提升至高达 1073.9 和 856.5 个 token/s，显著优于基线方法。

本文作者团队来自上海交通大学 DENG Lab 与华为小艺团队。该研究由徐晨开、金义杰同学等人共同完成，指导教师为邓志杰老师。DENG Lab 隶属上海交通大学，致力于高效、跨模态生成模型的研究。

论文地址：https://arxiv.org/abs/2512.16229
代码地址：https://github.com/zhijie-group/LoPA
博客地址：https://zhijie-group.github.io/blogs/lopa

简单来说，LoPA 为 dLLMs 赋予了以下核心特性：

极高的并行度：首次将 dLLMs 的每步生成数量（TPF）提升至 10 Token 量级，突破了传统方法的效率瓶颈。
无需训练：作为一种即插即用的解码算法，无需对模型进行重训或微调。
前瞻并行解码：通过引入分支并行机制，主动探索不同的填词顺序（TFO），避免模型陷入低置信度的局部最优。
系统级加速：配套设计的 LoPA-Dist 系统，支持 CUDA 和 Ascend 双平台，通过分支并行最大化硬件利用率。

图 2：对不同分支数的 D2F-Dream 进行 LoPA 扩展性分析。

结果表明，LoPA 能有效扩展 D2F 的 TPF，使其峰值超过 10，从而显著减少解码总步骤数。

问题的根源：填词顺序限制并行潜力

dLLMs 理论上支持全序列并行生成，但在实际应用中，现有的主流模型（如 Fast-dLLM, D2F, SDAR）普遍采用置信度驱动采样（Confidence-Driven Sampling）。这种策略倾向于贪婪地优先填充当前置信度最高的位置。

研究团队发现，并行度的高低与填词顺序（Token Filling Order, TFO）高度相关。贪婪策略虽然在当前步骤保证了准确性，但并不考虑后续步骤的预测置信度，导致模型在后续迭代中并没有充分释放并行度。

图 3：LoPA 算法流程概览。

在每次迭代中，LoPA 通过独立采样高置信度位置，生成一个锚定分支以及多个前瞻分支。然后，分支置信度验证机制并行评估所有分支，以选择最优路径。

LoPA 的核心设计：前瞻并行与分支验证

为了解决上述问题，LoPA 引入了前瞻并行解码机制。其核心思想是：利用少量的额外计算开销，同时探索多种填词顺序，从而找到一条能让未来预测“更自信”的路径。

LoPA 的工作流程包含三个关键阶段：

多分支并行探索
LoPA 在保留标准锚点分支（Anchor Branch，即常规贪婪策略）的同时，额外对当前的最高置信度的k个位置分别采样得到k个前瞻分支（Lookahead Branches）。每个分支代表一种不同的填词顺序尝试。
分支置信度验证
团队设计了分支置信度（Branch Confidence）指标，用于量化分支中剩余未填位置的平均预测置信度。较高的分支置信度意味着该路径在下一轮迭代中能填充更多的 Token，具备更高的并行潜力。
并行验证与复用
通过隔离不同分支的注意力设计，所有候选分支（锚点+前瞻）可以在一次前向传递中并行完成验证。系统最终选择未来潜力最大的分支作为本次迭代结果。验证过程中计算的 Logits 被直接复用于下一步生成，无需额外前向传播。

图 4：LoPA 分支并行分布式推理系统设计展示。

关键区别在于针对不同后端定制的键值缓存管理协议：LoPA-Dist-NV 采用稳健的两阶段更新机制以确保一致性，而LoPA-Dist-Ascend 则采用精简的单阶段更新策略以优化服务效率。

系统级创新：LoPA-Dist 分布式推理

为了承载 LoPA 的多分支计算，团队设计了 LoPA-Dist 分布式推理系统，引入了全新的分支并行（Branch Parallelism, BP）策略，可与张量并行（Tensor Parallelism，TP）等现有并行机制混合使用。

该系统针对不同硬件平台进行了定制优化：

LoPA-Dist-NV（CUDA）：面向低延迟场景。采用静态 KV Cache 和独创两阶段更新协议（Pre-Write & Commit-Winner-Cache），确保分支切换时的缓存一致性。
LoPA-Dist-Ascend（Ascend 910C）：面向高吞吐服务场景。采用混合并行策略（TP+BP），结合图编译技术融合算子，异步调度，以及量化机制，大幅降低 Kernel 启动开销。

图 5：LoPA 的并行度扩展曲线。

在 GSM8K 和 HumanEval+ 上，LoPA 分别将 D2F-Dream 和 D2F-DiffuCoder 的TPF 分别扩展至高达 10.1 和 8.3，并保持和基线相当的性能。