真香警告！上下文工程才是AI开发未来，RAG已死？大模型开发者必看！

RAG已死，上下文工程永存：从炼金术到工程学

当所有人都在为百万级上下文窗口欢呼时，一个残酷的现实被揭开：你塞给模型的信息越多，它反而变得越笨。

你有没有觉得，我们现在开发AI应用特别像在搞一场神秘的炼金术？

我们把各种数据和模型扔进一个黑箱子，双手合十，期待它能够炼出黄金。有时候它确实能惊艳到我们，但更多时候，我们面对的是一堆无法解释、难以复现、更别提稳定运行的"废渣"。

更令人沮丧的是，昨天还能正常工作的系统，今天突然就"失灵"了——你换了几个参数、调整了提示词、重新训练了embedding，但谁也说不清楚到底是哪个改动起了作用，或者是不是只是运气好。

这个比喻来自Chroma创始人杰夫·哈伯（Jeff Huber）。在他看来，AI开发的现状是从Demo演示到生产环境之间横亘着一条巨大的鸿沟，而填平这条鸿沟靠的不是运气，或者反复搅拌锅里那堆神秘的玩意儿——而是需要严谨的工程学。

一、炼金术困境：XKCD漫画的现实版

杰夫引用了一幅著名的XKCD漫画：

一个人站在一堆冒着热气的"垃圾山"上，另一个人问：“这就是你的机器学习系统吗？”

他回答：“对呀，你把数据倒进这一大堆线性代数里，然后在另一边收集答案就行了。”

“那要是答案错了怎么办呢？”

“哦，那你就搅一搅，直到答案看起来对为止。”

炼金术困境

这幅漫画在AI圈子里疯传，因为它精准地描绘了一个现实：整个过程充满不确定性和偶然性，感觉不像是一门严谨的工程，更像是一种玄学或炼金术。

这正是Chroma想要解决的问题。

二、Chroma的初心：从Demo到生产的鸿沟

时间回到2021-2022年，大模型热潮才刚刚开始酝酿。杰夫和他的团队已经在应用机器学习领域摸爬滚打多年，他们反复经历了一个令人沮丧的循环：

构建一个惊艳的Demo非常容易，但把它变成生产环境中可靠可维护的系统却异常艰难。

你是否也有过这样的经历？

• Demo阶段：90%准确率，惊艳所有人
• 生产环境：准确率掉到60%，用户投诉如潮
• 尝试修复：改提示词、调参数、换模型
• 最终结果：不知道哪个改动有用，系统依然不稳定

Chroma团队有一个核心信念：潜在空间（Latent Space）——也就是模型理解和表示数据的内部方式——是一个极其重要但被严重低估的工具。

它不仅是模型看待世界的方式，也应该是我们人类理解模型并且与之协作的共享空间。

这个信念成为了Chroma的起点。在探索的道路上，他们很快意识到一个关键的工作负载：检索。

在AI应用中，如何从海量信息中精准高效地找到最相关的内容喂给大模型，是决定应用质量的命根子。于是，Chroma决定将所有精力聚焦在检索这个单点上。

杰夫的逻辑很清晰：在一个领域，你必须先做到世界级的水平，才有资格去做更多的事情。

这需要一种近乎偏执狂式的专注。

三、重新定义AI原生检索

重要澄清：Chroma不是简单地在已有数据库上加上向量搜索功能，而是在从底层逻辑上重新思考和设计一个为AI时代而生的信息检索系统。

3.1 现代化特征

传统的搜索技术已有几十年历史，而过去十年分布式系统领域诞生了许多新的设计原则：

传统架构	现代化架构
读写耦合	读写分离
存算一体	存算分离
C/C++/Java	RUST高性能+内存安全
本地存储	对象存储作为持久化层

Chroma从零开始，用这些现代化理念构建整个系统。

3.2 AI原生的四个维度

**第一，技术不同。**不再仅仅是关键词匹配，而是以向量搜索为代表的语义理解。

**第二，工作负载不同。**AI应用尤其是Agent可能会在一次任务中进行成百上千次检索，这对并发和延迟提出了全新要求。

**第三，开发者不同。**构建AI应用的开发者可能不是搜索专家，他们需要API友好、开箱即用的工具，而不是需要配置无数参数的复杂系统。

**第四，最终用户不同。**传统搜索引擎的用户是人类，一次大概提供10个链接；AI应用的用户是大语言模型，模型可以消化成百上千条信息。这个数量级的差异从根本上改变了对检索系统的设计要求。

四、偏执狂式的产品哲学

2023年，向量数据库赛道是AI领域最火热的风口之一：

• Pinecone完成1亿美元融资，估值飙升
• Milvus、Weaviate、Qdrant等产品层出不穷
• 每个人都在问：“你为什么不用Pinecone？”

在这样的市场环境下，Chroma的选择却异常佛系：

• 没有急于融资扩张
• 没有匆忙推出云产品抢占市场
• 花很长时间打磨最基础的开源单机版产品

两种创业路径

杰夫认为创业有两条路径：

第一种是精益创业式，不断寻找市场信号，像做梯度下降一样跟着用户需求走。他的批判是：如果你完全遵循这条路，最终可能会做出一个给中学生用的约会APP——因为它似乎是人类最基础、最容易被满足的需求。

第二种路径是创始人心中有一个强大甚至有些逆向的观点、一个秘密，然后偏执地去实现它。

显然，Chroma选择了后者。

康威定律的上游

杰夫有一个观点叫**“康威定律的上游”**：

你的文化 → 你的组织架构 → 你的产品形态 → 你交付的东西

最终你交付的其实是你的文化。

因此，他坚持非常缓慢和挑剔的招聘。他认为公司未来增长的斜率完全取决于办公室里这些人的质量。

这种"慢"带来了成果：Chroma开源项目在GitHub上拥有超过2万颗星，月下载量超过500万次，总下载量超过7000万次。

五、RAG已死，上下文工程永存

现在我们进入这次访谈中最有价值的部分——Chroma对AI应用根本问题的思考。

5.1 摒弃RAG概念

杰夫毫不客气地表达了对"RAG"（检索增强生成）这个术语的厌恶。Chroma内部从来不使用这个词。

原因很简单：RAG把检索、增强和生成三个完全不同的概念强行打包在一起，导致了极大的混乱。

更糟糕的是，后来的RAG几乎等同于"用简单的密集向量搜索，然后把结果塞给模型"，整个技术栈显得愚蠢而廉价。

5.2 上下文工程的定义

为了打破这种思维定式，杰夫倡导一个更精确的词：上下文工程（Context Engineering）。

定义：决定在大语言模型的任何一次生成步骤中，到底应该把什么信息放入上下文窗口中。

上下文工程包含两个循环：

•内循环：这一次我该放什么进去？
•外循环：我的系统该如何通过学习，让自己在未来能更聪明地填充上下文窗口？

5.3 上下文腐烂：超长上下文的迷思 ⚠️

当整个行业都对百万甚至千万级上下文窗口抱有盲目乐观时，Chroma团队发布了一份技术报告，用实验数据证明了一个残酷现实：

大语言模型的性能并不是对上下文窗口的token数量免疫的。随着你放入的token越来越多，模型不仅会开始忽略一些指令，进行有效推理的能力也会显著下降。

这就是**“上下文腐烂”（Context Decay）**现象。

一个直观的例子

想象一下：

• 上下文长度：1000 tokens → 模型准确率：95%
• 上下文长度：10,000 tokens → 模型准确率：85%
• 上下文长度：100,000 tokens → 模型准确率：60%

你往模型的"脑子"里塞的东西越多，它反而变得越笨。

Chroma的报告对比了主流模型在处理长上下文时的性能衰减：

模型	长上下文表现
Claude 3 Sonnet	表现最好，衰减最慢
GPT-4 Turbo	性能衰减较快
Gemini Flash	性能衰减非常快

这份报告像一盆冷水，浇醒了那些对无限上下文抱有幻想的开发者。它明确告诉我们：

上下文窗口的长度远远没有上下文内容的质量重要。

上下文工程从一个可有可无的优化项，变成了构建高质量AI应用的必选项。

杰夫甚至断言：今天你所知道的任何一家成功的AI原生公司，他们最核心的竞争力就是上下文工程。

六、实践方法：两阶段检索

那么，具体应该怎么做呢？

6.1 朴素方法的失败

很多开发者还在使用最朴素的方法：把所有可能相关的文档一股脑塞进上下文窗口。

这显然会触发上下文腐烂。

6.2 两阶段检索策略

领先的团队已经开始采用两阶段检索策略：

第一阶段：粗筛（召回）

目标：从数百万个候选项中快速筛选出几百个候选者

手段：

• 向量搜索的语义相似性
• 全文搜索的关键词匹配
• 元数据过滤

原则：追求召回率——宁可错杀一百，不能放过一个

第二阶段：精炼（重排序）

目标：从几百个候选者中筛选出最相关的20-30个

手段：使用大语言模型本身来做重排序

把几百个候选块连同原始问题一起丢给LLM，让它判断哪些块对回答这个问题最相关，并打分排序。

6.3 暴力美学的崛起

你可能会觉得调用几百次大模型听起来很昂贵、很慢。

但实际上，随着模型推理成本的急剧下降，这种暴力美学式的做法正变得越来越可行。

杰夫甚至大胆预测：随着大模型变得越来越快、越来越便宜，专门的重排序模型可能会在大多数场景下消失——就像我们今天很少会为特定任务设计专门的ASIC芯片一样，大家会直接用通用的大语言模型来完成这个任务。

6.4 代码检索的特别考量

代码是一种结构化、逻辑性极强的文本，对它的检索不能只依赖模糊的语义。

Chroma在系统中原生支持了：

•高速正则表达式搜索：精确匹配函数名、变量名
•索引分叉功能：毫秒级创建索引副本，为代码仓库的每次提交、每个分支都创建独立索引

七、记忆与评估方法论

7.1 记忆是上下文工程的果实

我们经常听到各种关于长短期记忆、工作记忆的复杂理论。但在杰夫看来，这些都是不必要的复杂化。

记忆就是上下文工程这棵树上结出的果实。

一个好的记忆系统，本质上就是一个好的上下文工程系统：

存储：知道在用户说"记住这个"时该如何存储信息 ↓索引：将信息结构化，便于后续检索 ↓提取：在后续交互中精准地把记忆提取出来 ↓放入上下文：决定哪些记忆应该放入当前的上下文窗口

7.2 生成式基准测试

如何让系统变得越来越好？Chroma提出了**“生成式基准测试”**方法并发布了相关技术报告。

我们知道评估系统需要黄金数据集——标准问题和对应的标准答案。但对于自己的私有数据库来说，谁来出题、谁来写答案？这是一个非常耗时耗力的过程。

Chroma的方法是让大语言模型来帮你做这件事：

步骤1：让模型读取你的文档 ↓步骤2：模型反向生成可能的用户问题 ↓步骤3：人工审核和调整 ↓步骤4：形成黄金数据集

有了这个数据集，你就可以量化评估检索系统：

优化措施	评估指标	示例结果
更换embedding模型	检索准确率	从80%提升到90%？
增加重排序步骤	最终答案质量	用户满意度提升多少？
调整块大小	召回率vs精确率	找到最佳平衡点？

这样一来，所有的优化都变得有据可依，而不再是凭感觉"搅一搅"了。

7.3 数据标注派对

杰夫鼓励所有团队应该花一个下午，点上几个披萨，开一个数据标注派对，手动创建几百个高质量的标注数据。

这个小小的投入对系统性能提升的回报是极其巨大的。

八、文化哲学：如何做一件事就是如何做所有事

Chroma的成功不仅仅是技术上的，更是一种文化的胜利。

8.1 只做热爱的事

杰夫坦言，过去自己常常在一些事情上做出妥协——和自己不那么契合的人共事，服务自己没有那么热爱的客户等等。

但现在，他越来越清晰地认识到：

生命短暂，应该只把时间花在自己真正热爱的工作上，与自己真正欣赏的人一起，为自己真正想服务的用户创造价值。

8.2 反对虚无主义

他提到如今的社会，特别是科技圈，弥漫着一种虚无主义。但在他看来，人需要有信念，需要去开启一些在自己的有生之年都未必能看到结果的宏大工程——就像过去的人们建造一座需要数百年才能完工的大教堂一样。

这种信念最终会体现在公司的每一个细节里。

8.3 品位的策展人

杰夫非常认同"如何做一件事就是如何做所有事情"的信条。

你会发现Chroma的办公室设计、网站文档，甚至是周边T恤，都透露出一种高度统一、深思熟虑的设计感和品质感。这种对于极致技艺（Craft）的追求，与他们产品理念一脉相承。

在他看来，创始人就是一个公司的品位策展人。当这种对于品质的坚持从创始人传递到每一个员工，最终就会内化为公司文化，并且外显为你所看到的产品和品牌。

结语：在AI浪潮中保持清醒

从炼金术到工程学，从上下文腐烂到上下文工程，从对无限上下文的迷思到黄金数据集的实践，Chroma带给我们的不仅仅是一个好用的工具，更是一种在AI时代如何进行严肃、严谨的系统构建的思考方式和哲学。

当所有人都在为百万级上下文窗口欢呼时，Chroma用数据和实验告诉我们：

质量永远比数量重要。

当整个行业都在追逐热点时，Chroma用偏执狂式的专注证明：

慢就是快，专注就是护城河。

在AI技术日新月异的今天，我们或许更需要这种清醒：不盲目追随热点，而是深入理解问题的本质；不迷信"越大越好"，而是专注于"越好越好"。

这或许就是在AI浪潮中保持清醒的最好方式。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。