FastGPT 引申：如何基于 LLM 判断知识库的好坏

文章目录

如何基于 LLM 判断知识库的好坏
- 方法概述
- 示例 Prompt
- - 声明抽取器 Prompt
  - 声明检查器 Prompt
- 判断机制
- 总结

下面介绍如何基于 LLM 判断知识库的好坏，并展示了如何利用声明抽取器和声明检查器这两个 prompt 构建评价体系。

如何基于 LLM 判断知识库的好坏

在知识库构建与维护过程中，确保信息的准确性、可验证性和一致性是至关重要的。借助大语言模型（LLM）的强大自然语言处理能力，我们可以设计一个两步走的机制——先抽取文本中的声明，再对抽取的声明进行验证。本文将介绍这一方法，并通过两个具体的 prompt 展示如何利用 LLM 来判断知识库的质量。

方法概述

主要分为两个阶段：

声明抽取
利用 LLM 将给定文本中的信息拆解为独立、原子化的声明。每个声明需要满足以下要求：
- 以三元组（主语，谓语，宾语）的形式呈现；
- 声明之间互不干扰，且每个声明都是可独立验证的；
- 不添加任何推理或解释；
- 每行输出一个声明，同时需要挖掘问题中隐含的声明。
声明检查
依据参考文本（即标准答案）来验证抽取的声明是否准确。验证标准包括：
- ENTAILMENT（蕴含）：声明可以从参考文本中直接推导或验证；
- CONTRADICTION（矛盾）：声明与参考文本存在矛盾；
- NEUTRAL（中立）：参考文本既不支持也不反对该声明。

这种基于声明抽取和检查的流程，可以帮助我们评估知识库中的信息是否经过严谨提取和验证，从而反映出知识库的整体质量。

示例 Prompt

下面展示两个具体的 prompt 示例，分别对应声明抽取和声明检查的任务：

声明抽取器 Prompt

你是一个专业的声明抽取器。你的任务是从给定文本中提取独立的、原子化的声明。 文本：
Hive表，多个分表怎么查请按照以下格式提取声明： 
1.每个声明应该是一个完整的三元组（主语，谓语，宾语） 
2.每个声明应该是独立的、可验证的 
3.不要添加任何推理或解释 
4.每行输出一个声明
5.提取问题中隐含的声明提取的声明：

该 prompt 要求 LLM 将输入文本拆分成若干个独立的、格式化的三元组声明，这样的处理能够帮助我们清晰地看到文本中蕴含的各个知识点。

声明检查器 Prompt

你是一个专业的声明检查器。你的任务是验证给定声明的准确性。声明（来自系统回复）：
1. (用户, 想查询, Hive表)
2. (Hive表, 包含, 多个分表)参考文本（标准答案）：
查询Spark创建的Hive表，多个分表怎么查请对每个声明进行验证，并按照以下标准进行判断：
- ENTAILMENT（蕴含）：声明可以从参考文本中直接推导或验证
- CONTRADICTION（矛盾）：声明与参考文本矛盾
- NEUTRAL（中立）：参考文本既不支持也不反对该声明请按照以下格式判断声明： 
1.不要添加任何推理或解释 
2.每行输出一个声明结果判断结果：

在该 prompt 中，我们通过对比系统生成的声明与参考文本，利用 LLM 判断每个声明是否符合参考文本，从而评估声明的准确性和知识库的信息质量。

判断机制

通过上述两个 prompt，我们可以构建如下评价流程：

输入文本与声明抽取
- 将用户或系统中的文本输入声明抽取器；
- LLM 根据 prompt 要求，提取出格式化的三元组声明；
- 抽取出的声明反映了知识库中的基本信息单元；
声明验证与质量评估
- 将抽取的声明与标准答案或参考文本一起输入声明检查器；
- LLM 根据验证标准，对每个声明进行判断，输出“ENTAILMENT”、“CONTRADICTION”或“NEUTRAL”的结果；
- 统计验证结果，若大部分声明为“ENTAILMENT”，则说明知识库信息较为准确；反之，则可能存在错误、遗漏或模糊不清的信息；
反馈与改进
- 根据验证结果，开发者或系统管理员可以针对性地对知识库进行调整和改进；
- 这种基于 LLM 的自动化检查机制，有助于在大规模知识库更新过程中快速发现问题，提高信息质量；