Glyph效果展示：一页图读懂整本《简·爱》

1. 引言：长文本处理的瓶颈与视觉压缩新路径

在大模型时代，上下文长度已成为衡量语言模型能力的重要指标。然而，传统基于token的上下文扩展方式面临计算成本高、内存消耗大等瓶颈。以经典小说《简·爱》为例，其全文约含24万文本token，远超当前主流大模型128K的上下文窗口限制。若直接截断输入，模型将难以回答需要全局理解的问题，如“简离开桑菲尔德后陷入困境时，谁给予了她支持？”。

正是在这一背景下，智谱AI联合清华大学提出了一种全新的解决方案——Glyph，一个通过视觉-文本压缩来扩展上下文长度的框架。不同于传统的token扩展方法，Glyph将长文本渲染为图像，利用视觉语言模型（VLM）进行处理，从而将长上下文建模问题转化为多模态任务，在显著降低计算开销的同时保留语义完整性。

该技术与近期DeepSeek-OCR提出的思路不谋而合，印证了“视觉token压缩”正成为大模型长上下文研究的核心方向之一。

2. Glyph核心技术解析

2.1 框架概览：从文本到图像的语义迁移

Glyph的整体架构包含三个关键阶段：

持续预训练：基于GLM-4.1V-9B-Base检查点初始化，使用大规模长文本数据渲染成多样化视觉形式，使VLM具备处理长文本语义的能力。
最优渲染配置搜索：采用LLM驱动的遗传算法自动探索最佳字体、布局、分辨率等参数组合，平衡压缩效率与语义保真度。
后训练优化：通过监督微调（SFT）和强化学习（RL），结合OCR辅助任务，提升模型对视觉化文本的理解与推理能力。

这种设计使得原本无法容纳全书内容的语言模型，能够通过“看图读文”的方式完整理解整本《简·爱》，并准确回答跨章节的复杂问题。

2.2 文本图像化：如何实现高效语义压缩？

文本到图像的转换是Glyph实现压缩的核心环节。其目标是在尽可能减少视觉token数量的同时，保持原始文本的可读性与结构信息。

研究团队发现，不同排版策略对最终性能影响显著。例如：

过小的字号会导致字符模糊，影响OCR识别；
密集排版虽提高压缩率，但牺牲了局部细节；
合理分栏与行间距设置有助于模型定位段落关系。

为此，Glyph引入LLM-driven遗传搜索算法，自动化探索最优渲染配置。该算法以压缩率和下游任务准确率为优化目标，迭代生成候选方案，并由LLM评估其有效性，最终收敛至一组高效且鲁棒的参数组合。

实验表明，经过优化后的渲染策略可在平均3.3倍压缩率下保持Qwen3-8B级别的准确率，部分任务甚至达到5倍压缩。

2.3 视觉语言模型的适应性训练

由于常规VLM并未针对“文档级长文本图像”进行专门训练，直接应用会导致语义提取偏差。因此，Glyph在预训练基础上进一步实施两阶段优化：

（1）监督微调（SFT）

使用人工标注的问答对，训练模型从整页文本图像中提取关键信息。输入为整本书的图像表示，输出为自然语言答案。此过程强化了模型的全局理解能力。

（2）OCR辅助任务

在SFT和RL阶段引入OCR目标，即让模型同时预测图像中出现的原始文本片段。这不仅增强了视觉-文本表征对齐，还提升了模型对低质量渲染或模糊字符的容错能力。

# 示例：OCR辅助损失函数设计 def compute_ocr_loss(model_output, ground_truth_text): # model_output: 模型解码出的文本序列 # ground_truth_text: 图像对应的真实文本 return cross_entropy_loss(model_output, ground_truth_text) # 总损失 = 主任务损失 + λ * OCR损失 total_loss = main_task_loss + 0.3 * ocr_loss

实验证明，加入OCR任务后，模型在LongBench和MRCR基准上的表现均有稳定提升，验证了该设计的有效性。