知识库-分段-向量-检索

一、为什么大模型知识库要分段

1. 背景

大模型（如 GPT、BERT、LLaMA 等）在做向量检索时，通常需要将文本内容切分成较小的段落（chunk），再分别生成 Embedding 存入向量库。
如果不分段，直接用整篇长文生成向量，会出现：

• 向量语义稀释：长文本包含多个主题，向量会混合不同语义，降低检索匹配精度。
• 检索性能下降：长向量计算成本高，匹配效率低。
• 上下文溢出：生成模型输入长度有限（token 限制），无法一次处理超长文本。

---

2. 分段的好处

1. 提高语义精度

   • 每段只包含一个相对集中的主题，Embedding 更准确。
   • 检索时匹配到更精准的内容，而不是整篇泛泛相关。

2. 提升检索速度

   • 短段落向量计算和相似度比较更快。

3. 支持长文覆盖

   • 将长文拆成多个段落，确保全部内容都可进入向量库。

4. 便于后续 rerank

   • 每段是独立候选，可以单独评分，灵活组合。

---

3. 段落长度建议

• 常见范围：200 ~ 500 字（约 150 ~ 300 token），具体取决于业务和模型的向量效果。
• 长度取舍：
  • 太短 → 语义信息不足，容易丢失上下文。
  • 太长 → 语义混合，向量不够精确。
• 经验值：选取能完整表达一个知识点或段落主题的长度。

---

4. 段落重叠处理

为什么要重叠：

• 防止信息断裂：如果切分点刚好把一个重要句子或上下文拆开，可能导致检索时缺失关键信息。
• 保留上下文：重叠部分保证检索到的段落能带上前后关联的内容。

常见重叠策略：

• 重叠比例：10% ~ 20%（比如每段 300 token，重叠 30~60 token）
• 重叠内容：通常是段落末尾的几句 + 下一段开头的几句。

---

二、分段后放入向量库并设置关键词

1. 向量生成

• 使用大模型（如 OpenAI Embedding API、BERT、SimCSE）将每段生成向量。
• 向量存入向量数据库（如 Milvus、FAISS、Pinecone）。

2. 设置关键词

• 为每段生成关键词标签（可人工或自动提取，如 TF-IDF、TextRank）。
• 关键词用于 全文检索（BM25），保证精确匹配能力。

3. 这样做的原因

• 双通道检索：既能用向量检索语义相关内容，又能用关键词检索精确匹配术语。
• 混合检索准备：为后续 BM25 + 向量检索提供数据基础。
• 提高召回率：有的用户问题是精确术语，有的是自然语言，两者都能覆盖。

---

三、混合检索 + rerank 模型的原因

1. 混合检索（Hybrid Search）

同时执行：

• 全文检索（BM25） → 精确匹配关键词，速度快。
• 向量检索（Embedding） → 匹配语义相似内容，覆盖同义词、改写句。

原因：

• 两种检索互补，提高召回率。
• 避免关键词漏召或语义漏召。
• 适配不同类型问题（术语类 vs 自然语言类）。

---

2. rerank 模型

rerank（重排序模型） 是一种在 初步检索（Initial Retrieval）之后，对候选结果进行 二次排序 的技术。
它的目标是：

在已有候选结果中，基于更深层的语义理解，找出与用户查询（Query）最相关的内容，并按相关性从高到低重新排列。

换句话说：

• 初检：快速、粗粒度检索（BM25 / 向量检索），主要保证 召回率（Recall）。
• rerank：精细、深度语义匹配，主要提升 精确率（Precision）。

 

在混合检索（BM25 + 向量检索）中，虽然召回率高，但存在几个问题：

1. 排序标准不一致
   • BM25 得分和向量相似度不是同一量纲，无法直接比较。
2. 初检模型能力有限
   • BM25 只匹配词面，缺乏语义理解。
   • 向量检索是“粗匹配”，可能包含语义相关但不够精确的结果。
3. 结果质量参差不齐
   • 前几条结果可能并非最佳答案，影响用户体验。

rerank 模型的作用就是解决这些问题，通过统一的深度语义评分机制，挑出真正相关的结果。

 

• 作用：
  1. 统一排序标准（BM25 分数和向量相似度不可直接比较）。
  2. 深度语义理解，过滤噪音结果。
  3. 保证返回结果的精确度和相关性。
• 原理：
  • 将 (用户问题, 候选段落) 输入到跨编码器（Cross-Encoder）或大语言模型，输出相关性分数。
  • 按分数排序，返回最优结果。

---

四、完整工作流程

知识库构建：
原始文档 → 分段（长度控制 + 重叠处理） → 每段生成向量（Embedding）存入向量库→ 每段提取关键词存入全文检索索引检索阶段：
用户问题↓
全文检索（BM25） → 候选集A
向量检索（Embedding） → 候选集B↓
合并候选集（去重）↓
rerank模型统一评分↓
按分数排序返回结果

---

五、总结

1. 分段：保证语义集中、检索精度高、覆盖长文。
2. 段落长度与重叠：平衡信息完整性与向量精度，防止上下文断裂。
3. 设置关键词：支持全文检索，提升精确匹配能力。
4. 混合检索：关键词检索与向量检索互补，提升召回率。
5. rerank 模型：统一排序标准，提升最终结果的相关性和精度。