Google DeepMind ：RAG 已死，无限上下文是伪命题？RLM 如何用“代码思维”终结 AI 的记忆焦虑

不久前 DeepMind 发布了一篇论文，内容简单说是：RLM（Recursive Language Models）不是让模型“硬记”所有内容，而是赋予模型像程序员一样操作数据的能力，让模型在不把超长 prompt 直接塞进 Transformer的情况下，仍然能完成需要密集访问长文本的任务。

也就是它不再试图将所有内容塞进有限的“大脑”（上下文窗口），而是将长文本视为一个“数据库”，模型可以通过编写代码（Python REPL）来递归地检索、切片和阅读它需要的部分。

在这里，RLM 属于通用推理范式。

在目前，各大模型厂商都在搞“军备竞赛”，100万、1000万 token 的上下文窗口数据理论上看着很美好，但是在实际使用过程中，相信大家有所体会，当上下文超过一定长度（100k）后，模型的性能会急剧下降，因为模型并不是真的“记住”了 1000万字，它只是把它们塞进去了，但通过注意力机制在找回信息时会变得混乱和遗忘：

所以 RAG (检索增强生成) 是目前的主流补丁方案，它把长文档切成小块（Chunks）存入数据库，当用户提问时，系统检索相关的碎片塞给模型。

但是这种场景下，RAG 容易丢失全局上下文，如果一个任务需要同时理解文档的第 1 章和第 10 章的关联，或者需要进行跨段落的复杂推理，RAG 很容易出现失败，因为它只能看到碎片，看不到全貌（“Lost Context”）：

而对于 RLM 而言，它不再是一个碎片“阅读者”，而是变成了一个“操作对象”，模型不直接阅读 1000万 token 的文本，而是将整个长文本被作为一个变量 (String Variable)加载到 Python 交互式环境（REPL）中，之后进行递归和代码执行：

模型可以编写代码来处理文本，比如写grep(搜索关键词)，slice(切片读取某一段)，或者使用正则 (Regex) 来定位信息
如果模型切片出了一段内容，发现里面还有需要深入挖掘的信息，它会调用自身（Recursive Call）来处理那个特定内容，也就是递归

简单来说，整个流程就是：提问 -> 模型写代码搜索 -> 找到片段 -> (如果需要) 递归调用自身分析片段 -> 汇总答案。

那说它比 RAG 好的地方是什么？可以简单来说，它会像人类一样阅读：

当人类需要阅读一本巨厚的书，比如各种字典，肯定不会从头到尾背下来，相反肯定会用目录、用Ctrl+F、做笔记、跳读等方式
RLM 的存在就是让 AI 这么做，它不是靠“注意力机制”去死记硬背，而是靠“逻辑导航”去随时调取它需要的任何细节

因为是通过代码精确查找和读取，所以只要文本在那儿，它就永远不会“遗忘”，这就是 RLM 里所谓的“完美记忆”，在这一个程度去理解，RLM 是主动的，模型自己决定要去读哪一段，自己验证找得对不对，如果不通过，它会修正搜索策略。

比如，论文里提供的数据:

在 OOLONG-Pairs 密集推理任务上，传统 RAG 准确率只有 0.04%，而 RLM 高达 58%
在多文档研究 BrowseComp+ 上，RLM 从 0% 提升到了 91%

RLM 的做法是：把密集语义理解分摊给多个子调用、每次子调用只看较小片段，减少在超长上下文里“越看越糊”。

而这篇论文最有意思的发现之一是：不需要专门训练，研究人员并没有重新训练 GPT-5 或 Qwen3-Coder ，他们只是给了现有的模型一个 Python 环境和递归访问权限，然后模型就自己学会了策略，它们开始自己写正则表达式来过滤上下文，自己把大任务拆解成递归的小任务，这是一种零样本（Zero-shot）的策略涌现，模型自己“悟”出了策略：