Agentic-KGR：多智能体强化学习驱动的知识图谱本体渐进式扩展技术

Agentic-KGR是一种通过多轮强化学习驱动的多智能体交互实现知识图谱本体渐进式自进化的技术框架。该框架遵循"提取→暂存→更新→奖励计算→晋升"的闭环流程，依赖LLM的知识发现能力和反馈闭环机制。系统通过多尺度提示压缩、Neo4j数据库管理、分层决策机制和双维度奖励评估，实现了本体结构与模型参数的协同优化，有效提升知识抽取与问答性能，同时降低推理成本。

Agentic-KGR 的核心思想并非一次性定义 schema，而是通过多轮强化学习驱动的多智能体交互，实现本体的渐进式、自进化扩展。从机制上看，Agentic-KGR 每一轮迭代均遵循“提取 → 暂存 → 更新 → 奖励计算 → 晋升”的闭环流程，其本质是一套动态 schema 构建与验证系统：通过结构化操作，将“潜在本体候选的发现—证据积累—协同优化—质量评估—正式入库”串联为连续的本体进化过程。该体系的有效运转依赖于两项关键能力：一是LLM 的知识发现能力，即通过 NER/RE 挖掘未被预定义的实体与关系，为本体扩展持续提供“原材料”（如 Agentic-KGR 中使用 Qwen2.5 系列模型发现通信领域新关系）；二是反馈闭环与约束机制，通过强化学习奖励、多智能体协同与时序约束（时态 KG）保证扩展后的本体结构有效、一致且不过度膨胀。

文章解读

整体架构

流程拆解（提取 → 暂存 → 更新 → 奖励计算 → 晋升）

提取阶段：LLM Agent 的智能知识发现

提取阶段是 Agentic-KGR 框架的起点，其核心是利用 LLM Agent 执行智能的实体识别与关系抽取。该阶段的输入包括非结构化 / 结构化数据、历史本体 schema、领域知识图谱快照，由 LLM Agent 执行实体识别与关系抽取。

在技术实现上，提取阶段采用了可学习多尺度提示压缩机制。该机制利用可学习多尺度提示压缩机制，经交叉注意力聚焦语义单元、预测潜在类型，输出候选实体 - 关系三元组及相关标注。交叉注意力机制是实现语义保留的关键技术，通过跨层注意力机制保留关键语义，降低推理复杂度。该机制使模型能够关注模式相关的证据模式，提高了跨基准数据集的抽取质量。

提取阶段的创新之处在于其自适应上下文蒸馏能力。系统能够基于查询的上下文自适应压缩，在保持关键信息的同时显著减少计算复杂度。这种机制可以与不同的基础模型配合使用，具有主干模型无关的特性。通过这种智能压缩机制，Agentic-KGR 能够处理大规模知识图谱带来的计算挑战，同时保持知识抽取的准确性。

暂存阶段：Neo4j 数据库的智能管理

暂存阶段负责将提取阶段产生的新建三元组进行临时存储和管理。在这一阶段，新建三元组被存入 Neo4j 数据库暂存层，并绑定结构化元数据。Neo4j 作为一个高性能的图数据库，特别适合存储和查询具有复杂关系结构的数据。

暂存阶段的核心功能是冲突检测与置信度管理。如果后续迭代抽取到相同三元组，系统会更新置信度、投票数及来源。这种机制确保了知识的一致性和可靠性。通过加权平均或逻辑函数对这些得分进行综合评估，根据设定的阈值决定是否将三元组最终整合到知识图谱中，确保整合的知识具有较高的质量。

暂存阶段还具备增量更新机制。当新文档导入时，系统能够自动检测冲突，合并重复实体（如 “量子计算” 和 “量子计算机”），确保图谱一致性。同时，系统采用社区聚类优化技术，使用 Leiden 算法将相关节点聚类（如 “机器学习” 社区包含 CNN、Transformer 等），提升检索效率

更新阶段：本体结构与模型参数的协同优化

更新阶段是 Agentic-KGR 框架中最复杂和最重要的环节之一，负责同步优化本体结构与 LLM Agent 参数。在本体结构优化方面，系统对投票数≥2 的潜在类型新增待验证节点，处理冲突候选；在模型参数优化方面，基于策略梯度算法优化 LLM Agent 参数，并进行关系老化处理。

本体结构优化采用了分层决策机制。系统将知识推理分解成三级分层决策任务，每一级都有一个智能体从各自的动作空间中做出选择，从而降低了问题的复杂度。具体地，首先选择关系，其次选择与关系相连的预聚类的实体簇，最后采用动态选择机制从实体簇中选择相应的尾实体。

模型参数优化基于策略梯度算法。研究人员设计了融合规则的多智能体强化学习模型与规则选择模型，通过组合训练将两者有机结合，能够根据当前态势决定使用强化学习决策还是使用规则决策，有效解决在学习中使用哪些规则以及规则使用时机的问题。同时，系统还采用了路径推理模型，通过强化学习的推理方式，将知识推理中的多跳推理问题建模为一个序列化决策问题，当在稀疏图谱推理过程中出现推理路径缺失的情况时，强化学习智能体根据当前实体的状态和历史路径信息，进行路径的动态补全从而扩充推理路径。

奖励计算阶段：双维度评估机制

奖励计算阶段通过环境奖励与任务奖励加权组成的双维度奖励机制评估本体扩展有效性，并动态调整加权权重。这种双重奖励机制是 Agentic-KGR 的重要创新之一，有效平衡了探索与利用。

知识抽取奖励主要评估以下几个方面：图谱密度，衡量知识图谱中实体和关系的丰富程度；覆盖范围，评估知识图谱对目标领域知识的覆盖情况；知识质量，包括实体识别的准确性、关系抽取的正确性等；鼓励发现新知识领域，对发现新的实体类型或关系类型给予正向奖励；惩罚虚假连接和低质量三元组，对错误的知识抽取进行惩罚。

问答性能奖励则从应用效果角度评估系统性能：评估下游任务准确性，通过问答任务的正确率来衡量知识图谱的实用性；优化检索链路有效性，确保知识图谱能够为问答系统提供有效的推理路径；提升答案基础性，确保生成的答案有充分的知识支撑。

这种双重机制在探索新知识领域与利用已建立模式之间取得了有效平衡，使得抽取的知识图谱更加全面和准确。动态调整加权权重的机制能够根据任务需求和环境变化自适应地调整两个奖励维度的重要性，进一步提升了系统的灵活性和适应性。

晋升阶段：质量控制与版本管理

晋升阶段是 Agentic-KGR 框架的最后一个环节，负责对暂存层候选进行质量评估和最终决策。系统对暂存层候选按置信度、证据、奖励阈值判定是否晋升，晋升后更新本体、创建索引，清理暂存层无效候选，进行本体快照与版本控制。

质量评估机制采用多维度综合评估方法。系统通过加权平均或逻辑函数对置信度、证据数量、奖励得分等进行综合评估，根据设定的阈值决定是否将三元组最终整合到知识图谱中，确保整合的知识具有较高的质量。这种评估机制能够有效过滤低质量的知识，保证知识图谱的可靠性。

版本管理系统确保了知识图谱演化的可追溯性。每次晋升操作后，系统都会进行本体快照，记录知识图谱的当前状态。这种版本控制机制使得系统能够回滚到之前的状态，也为知识图谱的演化分析提供了数据基础。同时，系统还会清理暂存层中的无效候选，释放存储空间，提高系统效率。

晋升阶段还具备实时更新能力。系统能够识别知识缺口，动态扩展图谱模式，实时更新知识结构，优化检索和推理路径。这种实时更新能力使得知识图谱能够快速响应环境变化，保持知识的时效性和完整性。

总结

Agentic-KGR 通过多智能体强化学习驱动的知识图谱本体动态扩展，为知识图谱构建开辟了全新的技术路径。其核心贡献在于将知识构建和利用重新定义为相互关联、相互强化的过程，实现了从静态知识库向动态进化系统的转变。通过动态本体扩展、协同进化记忆架构和多轮强化学习三大创新，Agentic-KGR 在知识抽取任务中提升 33.3 分，在问答任务中提升 12.8 分，同时将推理成本降低 49%。