论文浅尝 - WWW2020 | 生成多跳推理问题以改善机器阅读理解能力

论文笔记整理:谭亦鸣,东南大学博士生。


来源:WWW 2020

链接:

https://dl.acm.org/doi/pdf/10.1145/3366423.3380114

概述

这篇论文关注的任务是:基于给定文本的“多跳问题生成”(多关系问题)。

作者提出的方法大致可以描述为:

1.基于实体的上下文关系,将分布于文本中的实体融合为一个实体图;

2.通过证据关系及类型,从实体图中抽取子图,构成推理链(同时也获得对应的局部文本信息);

3.基于推理链,构建了一个整合的“生成-评价”网络模型,实现多跳问题的生成。

其中,作者将生成过程(生成器)设计为一个强化了问题句法和语义合理性的seq2seq模型;

在评价方面,作者通过建立一个混合监督学习与强化学习的评价机制,同时用于生成模型的优化。

本工作使用的数据集为:HotpotQA

问题生成方法的主要作用是构建伪训练标注集用于弥补数据集不足的问题。

背景与动机

本工作主要关联的一个NLP是:多跳机器阅读理解:即使机器完全理解文本语义,并回答一般的问题(尤其是需要学习推理)。因此这里的问题生成主要基于包含多实体/关系的文本数据。

从现有的问题生成方法上看:

1. 基于模板的方法受限于手写模板对于问题类型的覆盖能力;

2. 目前的 seq2seq 问题生成方法无法捕获和合成多个句子之间的证据(evidence,本质上,连续的relation)。

(个人认为真实情况下,这里应该隐含一个问题:“多个文本句子之间的指代消解问题”,但是从后文的方法和实验来看,数据样本中并没有遇到这样的挑战)

因此基于上述现有挑战,作者提出了本文问题生成方法。

方法

图2是本文问题生成方法的一个过程示意图,其中主要的部分是:

1.实体图:

用于捕获实体以及它们的上下文关系(从给定的文本中)。接着从实体图中找到一些证据性关系,构成推理链(这步着实关键),启发式的从文本中抽取与回答问题相关的部分(包括:1.答案,推理类型,证据实体和实体的句子)

2.整合的生成评价网络:

生成器:首先抓取推理链上的证据关系(使用GCN),使用一个seq2seq网络生成问题(基于抽取的上下文)。同时伴随一些类后处理机制(重复词生成;错误的答案相关词;无关词的复制;与答案类型无关的疑问词)

评价器:首先基于监督损失进行预训练,而后通过混合的监督与强化学习损失做fine-tune

问题生成的过程可以看作:

其中,Y是生成的问题,A是答案,B是给定文本。Y={y1,y2,…,yt} 生成的问题长度为t,因此也可以表示为对每个生成词的条件概率最大化。

实体图的具体构建过程是:

首先使用Stranford CoreNLP toolkit 确定句子中的实体(及类型:人,地点,代词),以及它们的上下文;(句子中的相同实体:包括指代,重复出现,部分出现(复述,使用序列相似度确定))

得到实体图之后,作者设计了三种类型的子图(抽取规则)

Sequence:需要使用证据实体充当序列链(从问题到答案)的桥梁

Interp:交集(从sequence的中间截取answer)

Comparison:比较型问题

图4是整个模型的框架图,可以看到各个步骤中具体使用到的编码和解码网络类型以及评价使用的混合损失函数与reward(作者在原文中详细的描述了各个部分运算的过程,这里就不赘述了):

模型的主要输入是::1. 推理链;2.相关实体,上下文句子,答案

实验及结果

实验部分作者首先分析了数据集规模对MRC-QA(机器阅读理解问答)模型的影响,如图5所示,显然更大规模的(达到一定质量的)训练集往往带来更好的性能。

作者收集了现有的MRC-QA方法,并给出了它们的性能对比(表1),接着在DFGN(SOAT模型)上使用QG方法进行了改进(图6)。

接着作者对比了不同问题类型上方法的效果(表2),以及本文QG方法与其他(SOAT)QG方法的统计对比(表3):

 


 

OpenKG

开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 网站。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/478664.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

记一次Vue框架升级

框架升级背景 公司目前业务迭代很快,且大部分的流量都在公众号上。然而我们公众号所使用的框架却是3年前的Vue 1.0.16。面对Vue这3年来带来的无数新特性,我们只能望洋兴叹:看得见,摸不着,因为升级这事看起来太难了。 …

谈谈NLP下一个主战场:万亿参数的预训练模型!

自从BERT诞生以来,各大互联网巨头之间就展开了预训练语言模型军备竞赛,XLNet、ERNIE、RoBERTa、T5、GPT-3....但当事情进展到号称自己是zero-shot learner的GPT-3时,批判的声音变得明显多了。这么大,能用吗?真的能做到…

交互式调试器

import pdb pdb.set_trace()

人物志 | 美团女技术总监任登君:不要给自己的人生设限

在我们美团技术团队超过6000名工程师中,有众多的女同学,她们是支撑中国领先的生活服务电子商务平台不可或缺的力量。3月8日女神节,我们专访了她们的代表——美团广告平台技术负责人任登君。登君也是我们团队里目前职位最高的女性技术Leader&a…

论文浅尝 - ISWC2020 | KnowlyBERT: 知识图谱结合语言模型补全图谱查询

论文笔记整理:胡楠,东南大学博士。来源:ISWC 2020动机像Wikidata这样的现代知识图已经捕获了数十亿个RDF三元组,但是它们仍然缺乏对大多数关系的良好覆盖。同时在NLP研究的最新进展表明,可以轻松地查询神经语言模型以获…

Webpack构建性能优化指南

本指南翻译自webpack官方性能指南文档:https://webpack.js.org/guides/build-performance/ 构建性能 本指南涵盖了对增进构建或编译性能的一些有效的提示。 General 以下提示对开发环境或者生产环境都有效。 Stay Up to Date 保持最新的webpack版本。我们总是在…

LeetCode 92. 反转链表 II(双指针)

1. 题目 反转从位置 m 到 n 的链表。请使用一趟扫描完成反转。 说明: 1 ≤ m ≤ n ≤ 链表长度。 示例:输入: 1->2->3->4->5->NULL, m 2, n 4 输出: 1->4->3->2->5->NULL来源:力扣(LeetCode) 链接&#xf…

我对你的爱,是只为你而留的神经元

文 | 白鹡鸰有一个小轶专属神经元编 | 小轶有一个白鹡鸰专属神经元什么是苹果?红的?绿的?黄的?球状?斑点?香气?需要咬上一口才能确定?或者……其实我们在说某家技术公司?…

Android动态日志系统Holmes

背景 美团是全球领先的一站式生活服务平台,为6亿多消费者和超过450万优质商户提供连接线上线下的电子商务网络。美团的业务覆盖了超过200个丰富品类和2800个城区县网络,在餐饮、外卖、酒店旅游、丽人、家庭、休闲娱乐等领域具有领先的市场地位。平台大&a…

领域应用 | 知识图谱在小米的应用与探索

本文转载自公众号:DataFunTalk。分享嘉宾:彭力 小米编辑整理:马瑶出品平台:DataFunTalk导读:小米知识图谱于2017年创立,已支持公司了每天亿级的访问,已赋能小爱同学,小米有品、智能问…

前端应用开发架构图谱

个人整理的前端架构图谱,之后会根据这个图谱不断的完善内容。希望这个图谱可以对开发同学的知识脉络有个梳理的作用。 相关图谱文件已上传至Github:https://github.com/sahadev/front-end-architecture,后续将不定期更新。 2020年02月28日已…

丹琦女神新作:对比学习,简单到只需要Dropout两下

文 | 花小花Posy上周把 《对比学习有多火?文本聚类都被刷爆了...》分享到卖萌屋的群里后,遭到了群友们一波嫌弃安利。小伙伴们表示,插入替换的数据增强方式已经Out了,SimCSE才是现在的靓仔。snowfloating说:看完Danqi …

美团点评移动端基础日志库——Logan

背景 对于移动应用来说,日志库是必不可少的基础设施,美团点评集团旗下移动应用每天产生的众多种类的日志数据已经达到几十亿量级。为了解决日志模块普遍存在的效率、安全性、丢失日志等问题,Logan基础日志库应运而生。 现存问题 目前&#xf…

整理一波国外前端学习网站

国内的普通开发者对于掌握一门新的技术不知道从哪里下手,看哪些书。为了获得相关知识会关注各种公众号、购买各种视频课程来学习,但由于这些内容本身有碎片化的特点,效果往往不太理想。以至于付出了大量的时间到最后不能够形成系统化的知识。…

论文浅尝 - ACL2020 | Segmented Embedding of Knowledge Graphs

来源:ACL2020链接:https://arxiv.org/pdf/2005.00856.pdf摘要知识图谱的嵌入愈发变成AI的热点之一,对许多下游任务至关重要(如个性化推荐、问答等)同时,此模型强调两个关键特性:利用足够多的特征…

【论文翻译】HeteSim:异构网络中相关性度量的通用框架

原文链接:https://blog.csdn.net/Mrong1013967/article/details/115330139 HeteSim:异构网络中相关性度量的通用框架 摘要 相似性搜索是许多应用中的一个重要功能,它通常侧重于度量同一类型对象之间的相似性。然而,在许多场景中&a…

LeetCode 234. 回文链表(快慢指针+链表反转)

1. 题目 请判断一个链表是否为回文链表。 示例 1: 输入: 1->2 输出: false示例 2: 输入: 1->2->2->1 输出: true进阶: 你能否用 O(n) 时间复杂度和 O(1) 空间复杂度解决此题?来源:力扣(LeetCode) 链接&a…

随机/线性颜色生成器(RandomColorGenerator)

最近在实现https://javascript30.com/的课程,其中有一门课程要求利用Canvas实现一个效果,我发现这个效果其中的颜色是线性生成的。结合我之前已经写过一个随机颜色生成器,就想将这个随机颜色生成器写出来,作为一个工具使用&#x…

美团点评运营数据产品化应用与实践

背景 美团点评作为全球最大的生活服务平台,承接超过千万的POI,服务于数量庞大的活跃用户。在海量数据的前提下,定位运营业务、准确找到需要数据的位置,并快速提供正确、一致、易读的数据就变得异常困难,这些困难主要体…

NAACL’21 | 来看如何让模型学会因为所以但是如果

文 | Eleanor 编 | 戏有一些标准考试那是真的难,难到能分分钟教你做人。对于留学党来说,申请法学博士需要 LSAT 考试成绩、申请商学院需要 GMAT 考试成绩。这些标准考试到底有多难,大概考过的都懂8(嘤嘤嘤_(:з」∠)_)…