成都金融网站建设公司排名,线上推广员是干什么的,七台河北京网站建设,开发者联盟OpenKG 大模型专辑 导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力#xff0c;知识图谱则丰富了表示知识的方式#xff0c;两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下#xff0c;OpenKG组织… OpenKG 大模型专辑 导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力知识图谱则丰富了表示知识的方式两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下OpenKG组织新KG视点系列文章——“大模型专辑”不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期邀请到爱丁堡大学Jeff Pan教授、曼彻斯特大学陈矫彦研究员、浙江大学张文研究员、山西大学闫智超博士等分享的综述论文“大语言模型与知识图谱的机遇与挑战”。 文章作者 | Jeff Pan爱丁堡大学终身教授、陈矫彦曼彻斯特大学、张文浙江大学、闫智超山西大学等 笔记整理 | 邓鸿杰 内容审定 | 陈华钧 论文链接 | https://arxiv.org/abs/2308.06374 01 引言 大语言模型Large Language Models, LLMs已经席卷了知识表示Knowledge Representation, KR和整个世界并且在一些自然语言处理任务上达到了和人类相媲美的性能。基于此人们逐渐接受了这种存在于大语言模型中“参数化”的知识也宣告了知识计算时代的到来。知识计算时代,KR中的推理任务被扩展为基于知识表示的知识计算任务。 这是知识表示领域迈出的一大步。长期以来学者们将研究重点放在显式知识上包括非结构化知识如文本和结构化知识如知识图谱Knowledge Graphs, KGs。尤其是在二十一世纪初期RDF和OWL两个标准的出现使得知识图谱成为一种主流的大规模知识库同时支持基于逻辑的图推理和基于图的学习。 大语言模型作为知识表示的一个发展拐点将研究人员的目光从显示知识转向到了显示知识和参数化知识混合的方法上。作为显示知识代表的知识图谱在参数化的语言模型背景下受到了广泛的研究包括使用知识图谱增强BERT、RoBERTa以及最近出现的生成式语言模型GPT等。相反使用大语言模型反向去构造和完善知识图谱也进行了大量的探索,如使用大语言模型来进行知识图谱的补全。 本文深度地探讨了大语言模型出现后在知识表示从显示表示迈向混合表示的过程中有争议的一些话题并介绍了知识图谱和大语言模型结合的最新技术以及未来的机遇与挑战。 02 普遍争议的主题 显式知识和“参数”知识的结合使用在知识计算领域引起了多个讨论本文将从支持者和怀疑者两个方面对一些共性问题进行讨论。 1.1 知识表示与推理 知识图谱提供了具有明确关系的知识的结构化表示支持推理和推断。怀疑者认为大语言模型中“参数化”的知识是基于统计的并不是真正的理解和推理并且由于缺乏明确的知识表征模型会生成看似合理但却荒谬的结果。另一方面知识图谱和大语言模型的获得都需要极高的成本但后者更加容易适配下游的任务并将AI带入到了世界舞台的中央因此参数化知识并不是大语言的唯一目标。综上在知识表示和知识计算两个任务使用显式知识和“参数化”知识的比较中知识表示更加偏向表达性和判定性的权衡而知识计算更加偏向精确率和召回率之间的权衡。 1.2 高精度方法 知识图谱的成功在于其可以精确地提供关于实体的事实信息如YAGO可以提供95%以上的正确信息。同样知识图谱在用于生产环境时需要较高的精度例如Google的Knowledge Vault未能成功落地也是因为其精度达不到要求的99%。目前基于BERT或GPT等的方法不能满足以上要求这知识计算科学家仍然需要探索基于大语言模型的高精度的方法。 1.3 数值计算 人们普遍认为大语言模型需要具有处理数值的能力对于语言模型来说完成数值计算工作是一项具有挑战性的任务该挑战同样适用于知识图谱补全任务。在基于Wikidata的数字事实来评估语言模型数值计算能力中没有一个模型能准确地得到结果尽管已有的模型在数值处理的能力上表现不俗但考虑到数值具有不同的度量和类型使得该任务难度进一步升级因此修改模型来处理数值的问题仍未被解决以至于利用大语言模型来完成数值知识图谱的补全看起来是不现实的。 1.4 长尾知识 在知识计算任务中存在的一个关键问题大语言模型到底记住了多少的知识在对大语言模型的调查过程中发现使用Wikidata中随机的知识对模型进行测试时模型的性能会急剧的恶化尤其是在遇到长尾的实体时。这种情况的出现究其原因就是在预训练过程中实体和关系出现的频率是不一样的模型对长尾的信息是难以保持精准记忆的。相反知识图谱在提供长尾实体的知识上具有天然的优势因此可以进一步提升大语言模型在知识计算任务中的回忆能力。 1.5 偏见、公平等更多问题 批评者认为大语言模型会使训练数据中的偏见持续存在并放大从而导致有偏见的输出。而支持者认为偏见不是大语言模型中所固有的特征而是训练数据集中嵌入的社会偏见他们强调了在训练数据中消除偏见和开发能够缓解偏见技术的重要性。知识图谱在构建过程中同样会嵌入“偏见”并且会被运用到各种下游任务中。除了偏见和公平外还有侵犯版权和错误信息等问题。与显式知识相比大语言模型中“参数化”偏见知识更难以被去除或修改。 1.6 可解释性 在可解释性的场景中知识图谱通常是首选的。对大语言模型持有怀疑态度的学者们认为大模型是一个黑盒缺乏可解释性很难理解他们是如何产生结果的。但支持者们虽然承认了大模型可解释性差的问题但却通过最近的一些研究如注意力机制、模型内省等技术可以在一定程度提升模型的可解释性。思维链技术、问题解耦和答案归因等方法是最近在大语言模型可解释性方法研究中的一些热点话题。 03 重点研究课题与挑战 2.1 基于大语言模型的知识图谱技术知识提取和规范化 实体解析与匹配 KG构建是一项复杂的任务需要从广泛的来源收集和集成信息包括结构化、半结构化和非结构化数据。传统的方法通常需要为不同的任务设计不同的模块进行信息的抽取与匹配而通过大语言模型这一强力的工具可以更方便地进行信息抽取任务。在实体解析与匹配中大语言模型通常作为一种数据标注模块为下游模块产生相关的训练语料。 从表格和文本数据中提取知识 从数据来源的角度来看图谱中的实体通常来源于表格或者文本中。 其中根据在使用大语言模型提取表格数据中的一些尝试中发现面临的挑战主要有三个 1将表格数据转化为序列 2表示和利用非文本的表格数据 3提取表格知识。 从文本中提取信息的方法统长包含以下4个任务 1命名实体识别2关系抽取 3事件抽取和4语义角色标注。 由于大语言模型强大的能力使得其在小样本条件下仍有不俗的表现但仍然存在以下的挑战 1从超长文本中有效的提取信息 2高覆盖率的信息抽取。 2.2 基于大语言模型的知识图谱技术知识图谱的构建 链接预测 大语言模型在改善知识图谱构建中具有重要作用本文首先讨论了链接预测任务并转向最近的热门任务从大语言模型中提取三元组。 除了传统的链接预测方法通常使用基于嵌入表示的方法外还可以使用提示学习的方法通过大语言模型进一步找到实体之间的链接。基于大语言模型的方法虽然可以很容易的进行链接预测但仍然存在以下挑战与机遇 1大模型不能保证由于实体名称多样化带来的生成错误问题 2目前的评估方法对于大模型来说是不适用的主要原因是计算成本太过高昂 3由于大语言模型是基于维基百科训练的所以并不能知道该结果是推理的结果还是大语言模型本身的记忆结果 4大语言模型在归纳链接预测任务中的作用本身是一个热门话题 5对于提示模板的构建是需要不断尝试的尤其是在GPT-4这种模型背景下完成该任务是昂贵的 6)有效的预测策略的获取是一个有前景的研究方向 7大语言模型与基于嵌入的方法联合也是一个很强的研究方向。 从大语言模型中提取三元组 传统上关系知识的检索和推理都依赖于符号知识库最近人们研究使用自监督的方法如构造问答对、完形填空、提示工程等从大语言模型中直接检索关系知识的能力。这种方法主要的挑战和机遇是 1由于实体名称的重复性需要进行实体消歧 2由于大语言模型读长尾实体记忆的不精确性导致产生错误的信息 3大语言模型面临着高精度的要求 4大语言模型的输出不提供出处为核验该信息的准确性带来了信息的挑战。 2.3 基于大语言模型的知识图谱技术本体模式的构建 从知识图谱中挖掘约束和规则 现有构建知识图谱的方法通常使用pipeline的方式这种方法容易造成误差传播问题通过引入自动化的规则和约束来限制构建图谱时错误信息的引入可以提升数据的质量。如何生成这些约束和规则是一个根本性的挑战在此背景下大语言模型带来了新的机遇 1从输入文本中提取上下文信息的能力 2在训练过程中使用上下文提取信息 3通过归纳推理生成新的规则。 4理解词汇信息协调同义词和一词多义现象 5提供规则的解释和生成候选以及反事实样例。 本体优化 本体优化包含很多主题知识补全、错误知识检测和修复和知识规范化等开发基于大语言模型的本体细化工具仍然存在以下挑战 1利用文本及其本体的图结构和逻辑 2结合符合推理和大语言模型推理。 本体对齐 单个本体的知识通常是不完整的许多真实世界的应用通常依赖于跨领域的知识。本体对齐的主要挑战是评估基于大语言模型的本体对齐系统。 2.4 基于知识图谱的大语言模型 在大语言模型中使用知识图谱主要有以下几个方面 1知识图谱可以作为大语言模型的训练数据 2知识图谱中的三元组可以用于提示模板的构建 3知识图谱作为一种外部知识增强大语言模型。 基于知识图谱的语言模型预训练 由于自然语言文本本身可能只提供有限的信息覆盖而知识图谱可以为语言模型提供结构化的事实知识集成知识图谱的语言模型预训练方法使得向模型注入世界知识和实时更新知识更加方便。这种融合了知识图谱信息的语言模型在知识密集型QA任务上展示了具有竞争力的结果证明了这种方法在提升语言模型的能力具有重要意义。 基于知识图谱的提示构建 目前使用知识图谱来丰富和微调提示模板从而在提示的数量、质量和多样性上比手动的方法更具优势已有方法证明了通过图谱构建的提示模板进行推理比传统方法更具竞争力但目前该方法仍存在挑战与机遇 1生成上下文感知的写作提示分析不同提示之间的关系形成具有关联关系的提示模板。 2动态生成和用户交互的提示模板由于知识图谱提供了知识的透明表示因此可以很容易地将从知识图谱生成的提示追溯到它们的底层源。 3将知识图谱集成到提示模板中增强模型生成内容的可行度。 4知识图谱可以创建询问问题的提示从而触发知识图谱复杂推理能力和中间推理步骤。 检索增强的方法 基于检索增强的方法对于大模型获取外部知识是重要的尤其是针对长尾实体和特定领域训练中缺失的实体。目前的方法如RAGFiD主要是考虑文本知识最近也开始有方法使用图谱知识去增强大模型。在可见的未来如果大规模知识图谱构造有比较可行的方法图谱增强可能成为主流方案之一。检索增强是一个非常有前景的方向主要挑战有 1统一知识编辑与检索增强的方法 2半参数化大语言模型 3支撑复杂推理。 04 展望 综上所述我们总结了以下显式知识和“参数化”知识的融合的机会 1. ­简便快捷的文本知识获取长久以来文字都是人类记录知识的主要方式大语言模型使文本知识的获取及时可得可以避免复杂的文本知识收集、表示、存储、和查询流程将AI开发者从信息检索的依赖中解放出来。 2. 丰富的子任务知识大语言模型可以简化传统知识工程流程通过少量样本作为实例语言模型即可学会结构解析、实体识别、关系抽取等任务因此可以快速构建大规模高质量的知识图谱。 3. 实现更好的语言理解尽管大语言模型已经具有很好的语言理解能力将显式知识与大语言模型中的“参数化”知识融合有可能让模型具有更强的语言理解能力实现更好的文本蕴含推理、文本梗概、以及一致文本生成等。 大语言模型的出现是知识图谱研究的一个重要转折点尽管在如何结合他们的优势来进一步解决问题上仍然有待深入研究但已经出现了令人兴奋的机会。对此我们提出了以下建议 1不要因为研究范式的转变而丢弃知识图谱 2将你的研究方法与基于大模型的方法持续进行比较 3保持好奇保持批判 4过去的已经过去了让我们开始新的旅程。 以上就是本次分享的内容谢谢。 作者简介 INTRODUCTION Jeff Pan 爱丁堡大学终身教授 Jeff Pan教授长江学者爱丁堡大学终身教授华为爱丁堡知识图谱实验室主任华为英国首席搜索科学家阿兰图灵研究院知识图谱主席。主页http://knowledge-representation.org/j.z.pan/ 作者简介 INTRODUCTION 陈矫彦 曼彻斯特大学终身制讲师 陈矫彦博士曼彻斯特大学计算机科学系终身制讲师牛津大学计算机科学系兼职研究员。陈博士主要研究知识图谱、本体论、机器学习和神经符号人工智能担任Transactions of Graph Data and Knowledge (TGDK)的副主编。个人主页https://chenjiaoyan.github.io/ 作者简介 INTRODUCTION 张文 浙江大学特聘研究员 张文浙江大学软件学院特聘研究员研究方向为知识图谱、知识表示、知识推理。个人主页https://person.zju.edu.cn/zhangwen 作者简介 INTRODUCTION 闫智超 山西大学博士 闫智超山西大学博士在读主要研究方向为框架语义解析。主页 https://scholar.google.com.hk/citations?userTb2o2nUAAAAJhlzh-CN OpenKG OpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。 点击阅读原文进入 OpenKG 网站。