自动评估问答模型的技术突破

自动评估问答模型

随着自然语言处理（NLP）在日常生活中的应用日益广泛，准确评估NLP模型的能力变得愈发重要。部署的商业NLP模型需要定期测试以确保性能稳定，模型更新也需要监控以验证是否比之前版本有所改进。

理想情况下，模型评估应该是自动化的，以节省时间和人力。但在问答领域，自动模型评估非常困难，因为问题和答案可能以多种不同方式表达，且答案必须根据其满足用户信息需求的能力来评判，这是一个难以量化的概念。

在今年北美计算语言学协会（NAACL）会议上，我们提出了首个能够检查任何类型问题长答案正确性的机器学习模型。我们将这种方法称为AVA（自动评估方法）。

在一组实验中，我们使用AVA评估了几个不同问答模型提供答案的正确性，并将结果与人工评估进行比较。相对于人工判断，性能最佳的AVA版本（使用我们在论文中提出的新型peer attention机制）错误率仅为7%，具有95%的统计置信度。

多样化问题

其他NLP应用已受益于自动评估方法。例如，机器翻译研究通常使用BLEU分数来衡量翻译准确性，该分数测量机器翻译模型输出与参考翻译之间的相似性。

但这种方法不适用于问答评估。在翻译中，输入文本与输出文本相对应；而在问答中，两者并不对应。此外，在问答中，输出文本（即答案）可能差异很大，但仍传达相同信息。

更重要的是，在问答中，核心关注点是答案是否正确。从结构上看，候选答案可能与参考答案完全相同，仅在决定正确性的关键信息上有所不同。这些考虑因素使得问答模型评估比其他NLP模型评估更加困难。

模型架构

在我们的NAACL论文中，我们考虑了四种不同的机器学习模型来评估问答准确性。第一个是简单的线性模型，另外三个是基于Transformer语言模型的神经网络模型。

我们考虑具有答案选择组件的问答方法，其中基于问题文本的网页搜索返回大量文档，答案选择模型根据这些文档中提取的句子回答问题可能性进行排序。

所有四个模型的输入都包括问题、参考（正确）答案和候选答案。

其中一个是线性模型，我们使用它是因为它比神经模型更易解释。它接受其他模型没有的额外输入：参考答案的简短版本（例如用"3900万"代替"截至2018年，加利福尼亚州的常住人口已增加到3900万人"）。

使用Jaccard相似度的变体，线性模型计算简短答案与候选答案、参考答案与候选答案、参考答案与问题、候选答案与问题之间的成对相似度。它还根据候选答案包含简短答案的单词数量进行评分。每个度量都被分配一个从训练数据中学得的权重，如果这些度量的加权和超过某个阈值（也从数据中学得），模型就判断候选答案正确。

其他三个模型使用预训练的基于Transformer的网络，这些网络将文本及其组成部分之间的关系表示为多维空间中的嵌入。作为输入，这些网络可以接受句子对，将它们转换为反映从训练数据中学到的语言和语义关系的嵌入。

在我们的第一个基于Transformer的模型中，我们考虑三种不同类型的输入对：问题-参考、问题-候选和参考-候选。我们还考虑了一个模型，它将这三个对的表示连接起来，生成所有三个输入的表示。在四个不同的实验中，我们训练分类器基于这四种表示中的每一种来预测答案句子的准确性。

在我们的第二个基于Transformer的模型中，我们将每个文本与其他两个的串联配对。同样，我们将其他三个嵌入连接起来，生成输入数据的整体表示。

最后，我们的第三个模型使用我们新颖的peer attention机制。该模型接受两个输入句子对，而不是一个。与第二个模型一样，每个对包括一个句子和其他两个句子的串联。

如上图所示，在传递到分类器之前，每个对的嵌入都以另一个对的嵌入为条件。这使得模型能够更好地利用不同类型句子对之间关系的共性——例如，使用问题和参考答案之间的相似性来识别参考和答案候选之间的相似性。

评估结果

我们在几个不同的预训练答案选择模型上测试了我们的方法。每个评估模型的输入包括源问题、参考答案和由答案选择模型预测的答案。

使用我们peer attention机制的评估模型提供了最佳性能，在预测人类标注者关于答案正确与否的判断方面，F1分数接近75%。

此外，我们在整个测试集（数千个问题）上对不同问答模型输出的AVA判断进行了聚合。这提供了不同模型准确性（正确答案百分比）的估计。然后我们将这些估计与基于人工判断的准确性度量进行比较，同样是在整个测试集上。这使我们能够计算AVA相对于人工评估的总体错误率，在95%的统计置信度下小于7%。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码