【必藏】从零开始掌握大模型：Dify知识库优化秘籍，让AI助手回答更精准

摘要：目前很多人在使用dify进行AI agent的开发，而在开发智能体的时候，经常会遇到AI助手回答的问题不完整，或者回答的问题不全对，似是而非，那么是构建的知识库有问题导致的，一个高效、准确的知识库，是 AI 应用能够给出高质量回答和解决方案的关键。如果AI助手在回答问题的时候达不到预期的时候如何调优了？目前有三种方法，第一在构建 Dify 知识库时，有两个关键的参数设置起着决定性的作用，两个关键参数，一个是分段设置，包括通用分段和父子分段；另一个则是索引方式，包括高质量索引和经济索引。最后就是标注，通过这三个方面的的调整，可以提示AI助手回答问题的准确性和全面性。接下来我们来详细了解这三个参数的设置。

dify知识库的分段设置
dify知识库的索引设置
dify知识库的推荐搭配案例

01、Dify知识库的分段设置

我们在创建dify的知识库的时候，第一步就是进行文档的分段设置，它提供两种分段设置，如下图所示：

1、通用分段：基础与规则

通用分段是 Dify 知识库中一种较为基础且常用的分段方式。

系统按照用户自定义的规则将内容拆分为独立的分段。当用户输入问题后，系统自动分析问题中的关键词，并计算关键词与知识库中各内容分段的相关度。根据相关度排序，选取最相关的内容分段并发送给 LLM，辅助其处理与更有效地回答。

分段标识符设置：它以 “\n” 为默认的分段标记，也就是说，当它遇到换行符时，将文本进行分段。不过，如果你有更特殊的需求，还可以通过正则表达式来自定义分块规则，让它按照你的心意来进行分割，比如按照句子来分段，像这样 “[.!?]\s”，就可以让它识别句子的结束标点，从而按句子进行分段。合理设置分段标识符可以将文档内容进行完整的分段，如果分段不完整，容易造成召回率降低。

分段最大长度：最大长度指定了分段内的文本字符数最大上限，默认值为 500 Tokens ，就好像给每个分段设定了一个 “容量上限”，一旦文本内容超出这个长度，就会被强制分段。而分段长度的最大上限为 4000 Tokens ，这也给了我们一定的调整空间，以适应不同的文档需求。同样分段最大长度设置短了也会让我们的回答出现不完整的现象。

重叠长度设置：是指在对数据进行分段时，段与段之间存在的一定重叠部分，建议设置为分段长度 Tokens 数的 10 - 25%。这种重叠设置是指不同分段之间保留部分的重叠内容，帮助提高信息的保留和分析的准确性，提升召回效果。比如，在一篇关于产品介绍的文档中，设置了合理的重叠长度后，当用户询问关于产品某个特性的问题时，即使这个特性的描述跨越了两个分段，由于重叠部分的存在，系统也能更完整地获取相关信息，从而给出更准确的回答。

启用 Q&A 模式（可选，仅适用于社区版）：

开启该模式后，系统将对已上传的文本进行分段。总结内容后为每个分段自动生成 Q&A 匹配对。与常见的「Q to P」（用户问题匹配文本段落）策略不同，QA 模式采用「Q to Q」（问题匹配问题）策略。

这是因为「常见问题」文档里的文本，通常是具备完整语法结构的自然语言，Q to Q 模式会令问题和答案的匹配更加清晰，并同时满足一些高频和高相似度问题的提问场景。

当用户提问时，系统会找出与之最相似的问题，然后返回对应的分段作为答案。这种方式更加精确，因为它直接针对用户问题进行匹配，可以更准确地帮助用户检索真正需要的信息。

2、父子分段：双层结构

父子分段与通用模式相比，父子模式采用双层分段结构来平衡检索的精确度和上下文信息,让精准匹配与全面的上下文信息二者兼得。它包含了父区块（Parent - chunk）和子区块（Child - chunk）。父区块就像是一个 “信息仓库”，保持着较大的文本单位，比如段落，用于存储丰富的上下文信息。而子区块则像是一个个 “精准探测器”，是较小的文本单位，比如句子，专门用于精确检索。当用户输入问题后，子区块会迅速行动，精准匹配用户问题，找到最相关的小块信息。然后，系统再取对应的父区块来补充上下文信息，从而在生成响应时既保证准确性又能提供完整的背景信息。例如，在一个智能法律问答系统中，用户询问关于某个具体法律条款在特定案例中的应用。子区块会首先锁定与问题关键词最匹配的句子，比如 “在 XX 案例中，XX 法律条款规定……”，然后再获取这个句子所在的整个段落作为父区块，将其发送给 LLM 。这样，LLM 就能在完整的上下文背景下进行分析和回答，不仅能给出准确的答案，还能提供相关的背景信息和解释，使回答更加全面和有说服力。

父分段设置提供以下分段选项：

段落

根据预设的分隔符规则和最大块长度将文本拆分为段落。每个段落视为父分段，适用于文本量较大，内容清晰且段落相对独立的文档。支持以下设置项：分段标识符，默认值为 \n，即按照文本段落分段。你可以遵循正则表达式语法自定义分块规则，系统将在文本出现分段标识符时自动执行分段。分段最大长度，指定分段内的文本字符数最大上限，超出该长度时将强制分段。默认值为 500 Tokens，分段长度的最大上限为 4000 Tokens；

全文

不进行段落分段，而是直接将全文视为单一父分段。出于性能原因，仅保留文本内的前 10000 Tokens 字符，适用于文本量较小，但段落间互有关联，需要完整检索全文的场景。

子分段：子分段文本是在父文本分段基础上，由分隔符规则切分而成，用于查找和匹配与问题关键词最相关和直接的信息。如果使用默认的子分段规则，通常呈现以下分段效果：

当父分段为段落时，子分段对应各个段落中的单个句子。

父分段为全文时，子分段对应全文中各个单独的句子。

在子分段内填写以下分段设置：分段标识符，默认值为，即按照句子进行分段。你可以遵循正则表达式语法自定义分块规则，系统将在文本出现分段标识符时自动执行分段。分段最大长度，指定分段内的文本字符数最大上限，超出该长度时将强制分段。默认值为 200 Tokens，分段长度的最大上限为 4000 Tokens；

3、如何调优？

需要从文档的内容来看，如果是普通结构清晰、段落独立性强的文档场景。比如普通的 FAQ（常见问题解答）文档，每个问题和答案相对独立，通过通用分段即可以，但是如果回答还不是很清晰的话，可以需要启用 Q&A 模式，提升匹配问题的准确性。而如果文档内容复杂，段落之间关联性强的场景，则通用模式则不合适，需要重新构建知识库，选用父子分段模式。比如在 AI 智能客服处理复杂的技术问题时，用户的问题可能涉及多个知识点，需要上下文信息来辅助回答，父子分段就能发挥其优势，通过子分段精准定位关键信息，再结合父分段的上下文，给出全面准确的回答。

在检索精度方面，通用分段由于是将文档整体进行分段，可能会因为分段长度的设置问题，导致在某些情况下检索不够精准，比如当分段过长时，可能会包含一些与问题不太相关的信息，影响检索的准确性；而父子分段通过子分段的精确检索，能更准确地找到与问题相关的内容，大大提高了检索精度。

在上下文利用上，通用分段虽然也能通过设置重叠长度来保留一定的上下文信息，但相比之下，父子分段的父区块专门用于存储上下文信息，在处理需要上下文关联的问题时，具有明显的优势，能让 LLM 更好地理解问题背景，给出更贴合实际的回答。因此，利用这些参数配置来提升检索问题的准确性。

02、Dify知识库的索引设置

当我们的知识库已经根据文档的类型构建的好了，但是检索召回率低或者召回的内容和问题不太相关，就需要调整索引设置了。

1、经济索引：平衡成本与效果

经济索引则更像是一个精打细算的 “管家”，在成本和效果之间寻找最佳平衡点。它主要采用离线向量引擎或关键词索引策略。在离线向量引擎方式中，系统会提前对文本进行向量计算和存储，在检索时直接利用这些预先计算好的向量进行匹配，减少了实时计算的开销；而关键词索引策略则是通过提取文本中的关键词，建立关键词与文本的对应关系，就像给书籍建立目录一样，当用户查询时，根据关键词快速定位到相关文本。

这种索引方式在预算紧张或者内容简洁的场景中表现出色。通常以通用分段模式匹配，以常见的 FAQ（常见问题解答）场景为例，企业的 FAQ 文档通常内容简洁明了，问题和答案相对固定。经济索引通过关键词匹配，能够快速地找到用户问题对应的答案，满足基本的查询需求。而且，由于它无需依赖昂贵的嵌入模型和大量的实时计算，避免了额外的 Token 消耗，大大降低了成本，对于那些资源有限的小型企业或者对成本较为敏感的项目来说，是一种非常实用的选择。不过，经济索引也有其局限性，由于它主要基于关键词匹配，对语义的理解相对较弱，在面对一些语义模糊或者需要深入理解上下文的问题时，可能无法给出准确的回答，因此会带来搜索匹配不准确的问题。

2、高质量索引：追求极致精准

高质量索引是一种追求高精度语义检索的索引方式，它就像是一个追求完美的 “知识探险家”。它主要依赖嵌入模型来生成向量索引，通过将文本转化为数值向量，让计算机能够理解文本的语义。这种方式就像是给每个文本片段都贴上了独特的 “语义标签”，当用户输入问题时，系统会将问题也转化为向量，然后在向量空间中进行相似度计算，找出与问题向量最相似的文本向量，从而检索出最相关的内容。

目前高质量检索可以与通用分段和父子分段都可以配合使用。

在复杂问答场景中，高质量索引的优势就展现得淋漓尽致。比如在智能法律咨询服务中，用户的问题可能涉及多个法律条款的交叉应用，情况复杂多样。高质量索引能够准确理解用户问题中的语义，从大量的法律条文、案例分析等知识库内容中，精准匹配到相关的信息，为用户提供全面、准确的法律建议。

3、如何调优？

当最初构建的是通用分段模式，检索是经济型检索，可以优化成高质量检索，另外如果文档结构复杂，则同时需要将分段模型优化成父子模式只有，再将检索模式调整成为高质量检索模式。

另外可以将索引方式修改成为混合检索模式，即包含向量检索，也包含全文检索，并且将两部分检索的内容重排序之后返回，另外可以调高Score的值，默认是0.5 ，可以调高到0.8，默认返回的内容和问题的语义已经非常相似了。这样整体提升从知识库返回内容的相关性，解决返回内容不全且相关性低的问题。

03、Dify知识库的推荐搭配案例

1、案例一：通用分段 +高质量索引

假设我们正在搭建一个专业文献问答系统，旨在帮助科研人员快速查询和理解大量的学术文献。这个系统的知识库中存储了各个领域的专业论文、研究报告等文献资料，这些文献内容丰富、结构清晰，但每篇文献篇幅较长。

在设置分段时，我们选择通用分段方式。考虑到文献的段落结构相对独立，我们将分段标识符保持默认的 “\n”，按照段落进行分块。分段最大长度设置为 800 Tokens ，这是因为较长的分段长度可以保留更多的段落信息，同时又不会超出模型的处理能力范围。分段重叠长度设置为 100 Tokens ，约为分段长度的 12.5%，这样既能保证段落之间信息的连贯性，又不会过多增加数据量。在文本预处理规则中，我们勾选了替换连续的空格、换行符和制表符，以及删除所有 URL 和邮件地址，以确保文本的整洁性和相关性。

索引方式则采用高质量索引（向量检索），依赖嵌入模型生成向量索引。我们选用了 OpenAI 的嵌入模型，它能够将文本转化为高维度的向量表示，准确捕捉文本的语义信息。在实际运行中，当科研人员输入一个问题，比如 “关于量子计算在密码学领域的最新应用有哪些研究成果？” 系统首先会根据通用分段规则，将知识库中的文献分割成一个个 800 Tokens 左右的段落。然后，利用高质量索引，通过嵌入模型将问题和这些段落都转化为向量，在向量空间中进行相似度计算，快速检索出与问题最相关的几个段落。例如，系统可能会检索到几篇关于量子计算在密码学领域应用的论文段落，这些段落详细介绍了最新的算法研究、实验结果等内容。

这种设置组合的优势十分明显。在检索准确性方面，高质量索引的向量检索方式能够深入理解问题的语义，精准匹配到相关的文献段落，大大提高了检索的命中率，为用户提供了高度相关的信息。同时，通用分段的合理设置，使得系统能够快速定位到具体的段落，减少了无关信息的干扰，提高了检索效率。

2、案例二：父子分段 + 高质量索引

现在，我们来看看一个简单产品客服知识库的案例。某小型电商企业销售一款智能家居产品，他们希望搭建一个客服知识库，用于快速回答客户关于产品使用、安装、故障排除等常见问题。这个知识库中的文档主要是产品说明书、常见问题解答（FAQ）等，内容简洁明了，问题和答案之间的关联性较强。

在分段设置上，我们采用父子分段模式。父分段选择 “段落” 选项，分段标识符使用默认的 “\n”，按照段落进行分段，最大长度设置为 500 Tokens ，这样可以保留完整的段落信息，为问题提供足够的上下文。子分段的分段标识符按照句子分段，最大长度设置为 200 Tokens ，以便进行精确检索。例如，在产品说明书中，关于产品安装步骤的描述可能会被划分为一个父分段，而其中每一个具体的安装步骤句子则成为子分段。

索引方式采用高质量检索（混合检索模式），即同时启用向量索引与关键词索引。对于 “APP 显示设备离线” 这类模糊问题，向量索引能捕捉 “离线” 与 “网络连接失败”“设备未通电” 的语义关联，从故障排查章节中召回相关解决方案；而当用户提及具体故障代码（如 “E103 报错”）时，关键词索引可直接锁定手册中该代码对应的条目，实现毫秒级响应。为提升检索精度。实际运行中，尤其在处理跨产品咨询（如 “智能灯具如何与温控系统联动”）时，父子分段的上下文关联能力与高质量索引的语义理解能力形成互补，系统能自动关联两款产品的联动设置章节，生成连贯的操作指南。这种配置虽增加了初期数据处理成本（每 1000 页文档需额外 4 小时预处理），但对于用户体验敏感、咨询场景复杂的专业知识领域，长期收益显著。

通用以上的说明，大家可以了解如何根据应用场景来优化知识库构建时候不同参数的调整了。