UniHetero：在200M+大规模数据下，生成任务能否促进视觉理解？

多模态大模型的研究中，将视觉理解与视觉生成统一在一个模型中已成为主流趋势，典型的代表工作包括 Chameleon 和 Emu3.5 。然而，业界对于“生成任务能否促进理解能力”这一问题仍存在争议。

尽管在小规模数据（<100M）上，部分研究观察到了正向增益，但在大规模生产环境（>100M）中，引入生成任务往往伴随着理解性能的下降。这背后的核心矛盾之一是表征的冲突：理解任务依赖高维语义表征，而生成任务依赖低维纹理表征。

近期提出的UniHetero 通过在200M+ 预训练样本上的大规模实验，消融分析了生成与理解任务的相互作用。本文将基于UniHetero的核心实验结果，探讨在大规模数据下实现两者协同的有效路径。

01. 核心结论：数据 Scaling 趋势分析

UniHetero 首先通过消融实验，展示了不同训练目标随着数据规模增加对理解能力的影响。

1.1 语义自回归带来更优的 Scaling 趋势

如图 4 所示，作者对比了基线模型（只有文本生成）与引入视觉语义自回归损失（+ploss）的模型。

数据解读：

蓝色实线 (Baseline)：仅使用文本生成自回归。
橙色实线 (+ploss)：在 Baseline 基础上，增加对视觉语义特征的自回归预测。
趋势分析：在训练初期，增加视觉生成的模型性能偏低。然而，随着训练步数和数据量的增加，增加视觉语义自回归策略展现出了斜率更高的增长趋势，并在后期超越了 Baseline。

这表明，在语义层面进行生成任务训练，能够提高模型对视觉数据的利用效率，从而在大规模数据下获得更好的理解能力。现在多模态预训练的数据利用率不高，以图文对齐数据为主。数据处理主要在文本侧做功，文本用原始数据质量差、用合成数据存在模板化和幻觉问题、还有短文本无法描述图像细节等问题，导致基于图文对齐数据难以激发出有效的>

原因分析：这验证了前文提到的表征冲突。像素级生成需要关注低维纹理细节，其产生的梯度回传至 LLM 后，干扰了 LLM 对高维语义信息的建模。因此，在多模态大模型(VLM)中，生成促进理解的关键是：在 LLM backbone 上进行的生成任务应当限定在语义表征层面，而非直接操作像素。

02. 定性分析：语义表征学到了什么？

为了进一步探究视觉语义自回归（ploss）为何能提升理解能力，作者对模型学习到的“语义表征”进行了可视化分析。具体做法是：先根据文本生成视觉语义特征，再利用该特征重建文本。

观察图 7 的重建结果（第四列）：

对象与属性：生成的图像还原了原图中的核心对象（如猫、湖泊河流）及其属性（颜色、大致形状）。
空间关系：对象之间的位置关系（如玩具球在猫左边）得到了保留。

这一结果表明，通过语义自回归任务，LLM 实际上是在学习一种高度压缩的视觉概念抽象。这种抽象能力正是视觉理解任务所必须的，因此解释了为何视觉语义自回归能在理解能力上取得提升。

此外，图 6 展示了模型在单张图像上的过拟合实验，证明了该异构架构在理论上具备像素级生成的潜力。

03. 方法论：架构设计与输入端自回归

UniHetero 能够实现上述效果，主要归功于其解耦的架构设计与特定的自回归策略。

3.1 异构架构

现有多模态统一生成和理解架构，将语义表征和像素表征混合在一起输入到 LLM 中。为了减少表征冲突，Bagel 将视觉表征和 LLM 的参数都拆分成理解任务专用和生成任务专用，用减少任务间模态融合的潜力，换取多任务的性能保留。更具有理想态的方式重训具有统一表征的视觉编码器（Vision Encoder），相当于将表征融合难题进行前置，其难度较大，业界在离散编码表征上有一定进展(UniTok)，但在多模理解头部模型使用的连续表征上还在探索中。

UniHetero 工作另辟蹊径采用了异构表征方案，如图 1 所示：

LLM Backbone：使用连续的 DINOv2 特征作为语义表征，输入 LLM 做视觉语义自回归。
Vision Decoder：使用 VAE 的像素表征通过模态独立的 Decoder 进行解码。

该方案对 LLM 侵入性低，也无需重训 Vision Encoder，能够广泛应用于多模理解头部模型，用简单且简洁的方式实现了生成和理解的统一。

3.2 Input Embedding 上的自回归

传统的自回归通常预测 Vision Encoder 的输出，而 UniHetero 提出直接在 LLM 的Input Embedding空间进行预测。公式如下：

其中，目标是最小化预测 Embedding 与真实 Input Embedding 之间的余弦距离。

如表2的消融实验进一步证实了这一设计的有效性。数据显示，ema-mlp-llm-cos（拟合 Input Embedding）的性能优于 mlp-cos（拟合 Vision Encoder 输出）。这是因为从 LLM 输出层映射回输入层（z→e）比映射回原始特征空间（z→x→e），减少了两次（D维到ds维、ds维到D维）的特征空间转换，具有更小的累积误差。

进一步地，该方案可以扩展为进行全模态融合的有效方式，因为在 LLM 内进行自回归是模态无关的，视觉、语音和文本均可以此方式进行自回归来学习并融合各自模型的知识。近期的文本扩散模型和 VL-JEPA 等工作，也说明了基于连续表征空间进行文本生成的有效性。

04. 工程策略：缓解训练不一致

虽然该工作的重点不在像素级图像生成，其在附录中也探讨了图像生成的质量提升，从缓解训练和推理差异上提出了有效的优化策略。

4.1 训练阶段：Mask-Rate Scheduler

作者发现 mask-rate 对图像生成质量影响大。在训练阶段通常使用较大的 mask-rate（在 0.7 以上)来促进学习，而在推理阶段的 mask-rate 会经历从 0 到 1 的全部过程，其中大部分 mask-rate 在训练阶段并没有见过。因此，作者提出高斯采样 mask-rate scheduler，在训练阶段使其值域覆盖 0 到 1，但均值为 0.7，从而缩小训练和推理的差异。

如图 8 所示，经过优化后的图像生成质量有显著提升，尤其是最后两行的狗和酒杯的生成质量，有明显的改善，说明了缓解训推不一致能提升图像生成效果。

4.2 推理阶段：Inference-time Scaling

除了训练阶段，该工作还进一步考虑在推理阶段来缓解训推不一致问题。在训练阶段采用 teacher forcing，即生成依赖的上下文是正确的图像 token；然而，在推理阶段时，依赖的上下文是推理出的图像 token，与训练情况不一致。

为了缓解该问题，如图 9 所示，作者尝试了一种简单的推理阶段优化策略：在生成一轮后，对低质量区域进行随机 Mask 并重新生成，来逼近训练时的场景。这种“多轮修正”的机制显著改善了图像的扭曲和模糊问题，表明存在一种 inference-time scaling 的方式，可以在不影响其他模态生成(i.e. 文本)前提下，来提升视觉生成的质量。