引言
近年来，大型语言模型（LLM）取得了显著的进展，并在各个领域展现出强大的能力。然而，LLM也存在一些局限性，尤其是在知识库方面。由于训练数据的局限性，LLM无法获取最新的知识，也无法涵盖所有领域的专业知识。为了克服这些局限性，LLM需要依赖外部搜索来增强性能和保证输出结果的可靠性。
本文将深入探讨搜索技术如何增强LLM的能力，并分析不同搜索引擎对LLM输出结果的影响。
大型语言模型知识库的局限性
LLM的知识库主要来自于其训练数据，而训练数据通常是静态的，无法实时更新。这导致LLM的知识库存在以下需要搜索来弥补的局限性：
- 知识更新的滞后性： LLM的知识库更新速度较慢，无法及时反映最新的信息。例如，如果LLM的训练数据截止到2021年9月，那么它就无法回答关于2023年苹果WWDC发布会的问题。
- 知识覆盖范围的局限性： LLM的训练数据通常涵盖通用知识和常识性知识，但对于特定领域的专业知识，LLM可能缺乏足够的了解。例如，LLM可能无法回答关于数据库行业专业工具的问题。
- 知识深度的不足： LLM的知识库虽然包含大量信息，但在某些情况下，其知识深度可能不足以满足用户的需求。例如，LLM可能无法回答关于特定历史人物的家族关系的复杂问题。
为了克服这些局限性，将搜索技术与LLM结合成为了一个重要的解决方案。通过实时搜索补充最新知识、扩展专业领域覆盖、增加信息可靠性，可以显著提升LLM的实用价值。
搜索：大型语言模型的重要补充
搜索技术可以有效地弥补LLM知识库的不足，提升信息准确性，增强任务处理能力。目前流行的检索增强生成（RAG）技术就是一种依赖LLM使用现有（可扩展的）知识文献生成答案的技术。具体来说，搜索技术可以通过以下方式增强LLM：
- 提供实时信息： 搜索引擎可以从互联网上获取最新的信息，为LLM提供实时更新的知识库。
- 扩展知识覆盖范围： 搜索引擎可以访问各种信息源，包括网页、新闻、书籍、论文等，从而扩展LLM的知识覆盖范围。
- 增加知识深度： 搜索引擎可以深入挖掘信息，为LLM提供更详细和全面的知识。
- 提供可靠的信息来源： 搜索引擎可以帮助LLM访问和利用特定领域或组织的内部知识，无需重新训练模型。
此外，LLM与搜索技术结合可以创建AI智能体，实现多种工具的混合使用，甚至多智能体协作。
搜索引擎的关键要素
我们现在已经明确了搜索引擎的质量对LLM输出结果的重要性。然而不同的搜索引擎在以下关键要素上存在差异，这些差异会影响LLM获取信息的质量和输出结果的准确性：
| 关键要素 | 描述 |
|---|---|
| 深度 | 指搜索引擎能够挖掘信息的深度。深度越深，LLM就能获取更详细和全面的知识。 |
| 广度 | 指搜索引擎覆盖的信息范围。广度越广，LLM就能获取更多领域的信息。 |
| 时效性 | 指搜索引擎更新信息的频率。时效性越高，LLM就能获取更及时的信息。 |
| 结果验证 | 指搜索引擎验证搜索结果准确性的能力。结果验证越可靠，LLM获取的信息就越准确。 |
例如，Google Scholar偏向学术领域，在搜索学术论文时，深度和结果验证方面表现更佳。而Twitter则更注重信息的时效性，可以帮助用户快速获取最新的新闻和事件。电商平台的搜索引擎则更关注商品的相关性和转化能力。这些差异都会影响LLM的输出结果。
横向对比分析：DeepSeek、ChatGPT、Gemini Advanced
为了更好地理解不同搜索引擎对LLM输出结果的影响，我们选取了三款具有代表性的LLM平台进行对比分析：DeepSeek、ChatGPT和Gemini Advanced，其中Gemini Advanced包括Gemini 2.0 Flash Thinking + Google搜索和Gemini 1.5 Pro with Deep Research这两种方式。当然，为了简化问题，三个平台默认都是只使用网页搜索来获取信息。
| 平台 | 模型上下文长度 | 使用的搜索引擎 | 每次任务返回的搜索条目数 | 搜索结果的范围 | 时效性 | 结果验证 |
|---|---|---|---|---|---|---|
| DeepSeek的DeepSeek-R1联网搜索 | 128K | 某中文搜索引擎，平台未披露 | 根据任务复杂度，复杂任务可搜索50条左右 | 国内网站 | 一般 | 不支持 |
| ChatGPT的O3-mini联网搜索 | 200K | Bing搜索 | 未提供搜索条目信息，从引用结果估计为20条左右 | 全球网站 | 一般 | 不支持 |
| Gemini Advanced的2.0 Flash Thinking + Google搜索 | 1M | Google搜索 | 未提供搜索条目信息，从引用结果估计为10条左右 | 全球网站 | 较好 | 支持 |
| Gemini Advanced的1.5 Pro with Deep Research | 2M | Google搜索 | 根据任务复杂度，复杂任务可搜索100条以上 | 全球网站 | 较好 | 不支持 |
在上述横向对比分析的表格中，各个维度对模型输出的影响如下：
-
模型上下文长度： 上下文长度越大，模型能够处理的搜索返回信息量也就越多，从而有助于生成更具连贯性和深度的输出。这对于复杂任务尤为重要，比如Gemini 1.5 Pro with Deep Research用的2M上下文长度，可以一次处理大量搜索的返回结果。
-
使用的搜索引擎： 不同的搜索引擎会影响信息的获取质量。高质量的搜索引擎能够提供更加准确、全面的信息来源，从而提升模型输出的准确性和可靠性。
-
每次任务返回的搜索条目数： 搜索条目数决定了模型能获取到的信息量。较多的搜索条目可以增加信息的多样性，不过也可能导致信息过载，影响模型的输出效率，对模型的处理能力也是一个挑战。
-
搜索结果的范围： 范围越广，模型能够访问的信息源就越多样化，有助于生成更全面的回答。
-
时效性： 时效性高的搜索引擎能够提供最新的信息，帮助模型生成及时更新的内容，而不是用过时的信息来回答。比如当用户搜索某投资标的最近的价格信息时，时效性高的搜索引擎会提供更优的回复。
-
结果验证： 具有结果验证能力的搜索引擎可以提供经过验证的准确信息，从而提高模型输出的可靠性和可信度。比如Gemini Advanced的2.0 Flash Thinking支持基于Google搜索的结果再次验证模型输出的信息，从而增加模型输出的可信度。
结论与展望
写到这里，大家应该明白为什么对于同一问题不同平台的输出结果可能不一样的根本原因了，除了模型能力的差异，还有搜索引擎使用上的差异。搜索引擎作为AI智能体的一个重要工具，可以有效地弥补LLM知识库的不足，提升信息准确性，增强任务处理能力。
最近流行的各家Deep Research智能体的本质其实就是各种推理大模型和各种搜索技术的组合。从原理上，如果想让AI研究员真正发挥出最佳实力，最理想的就是用最强大的推理模型加上最强大的搜索引擎，使用最长的上下文，处理大量最新的有深度也有广度的资料，而且模型还要能自动验证输出的合理性。而想做到这一点，可能任何一家公司都没法面面俱到，而且还要面对成本的挑战，这也是为什么只有200美金每月的ChatGPT Pro订阅才能无限量使用o3-mini Deep Research功能的原因。
当然，本文只是分析了搜索引擎对大模型输出的影响，如果要做AI研究员，自然还有研究计划制定，研究分步骤完成等细节任务的划分和执行，一般的聊天机器人是没有这个多轮任务自动化的智能体能力的。本问题提到的三个平台，只有Gemini Advanced的1.5 Pro with Deep Research可以根据用户的需求自动生成研究计划，然后分步撰写研究报告，算是一种AI研究员智能体，所以接下来我也会继续深入研究各家的Deep Research产品，甚至是基于开源项目设计一个适合自己需求的AI研究员智能体。
