生成式AI改进极端多标签分类技术

会议信息

EACL 2023

相关出版物

《极端多标签分类中的聚类引导标签生成》

研究内容

多年来，某中心的研究人员一直在探索极端多标签分类（XMC）这一主题，即在可能的分类类别空间很大（例如数百万个标签）时对输入进行分类。在此过程中，我们多次推动了技术发展。

但先前的工作是在经典分类问题设置中进行的，其中模型为空间中的每个标签计算概率。在一篇新论文中，我们将XMC视为生成式问题，对于每个输入词序列，模型生成标签的输出序列。这使我们能够利用大型语言模型的力量来完成XMC任务。

然而，在这种设置中，与经典设置一样，困难在于XMC标签空间中的大多数标签属于长尾分布，在训练数据中代表性示例很少。过去的工作通过将标签空间组织成层次结构来解决这个问题：首先对输入进行粗粒度分类，然后通过层次树的连续细化遍历，到达语义相关概念的聚类。这有助于模型从相关但具有不同标签的示例中学习通用分类原则，也减少了模型完全错误标记的可能性。

技术方法

在论文中，我们做了类似的工作，使用辅助网络将标签分组为聚类，并使用聚类信息指导生成模型的输出。我们在训练期间尝试了两种不同的指导方式：

1. 将指示哪些聚类适用于文本输入的位向量直接馈送到生成模型中
2. 在多任务目标上微调模型：模型学习从聚类名称预测标签，以及从文本预测聚类名称

架构设计

我们考虑的任务是模型接收文档（如维基百科条目）作为输入，并输出表征其内容的一组标签。为了微调生成模型，我们使用包含样本文本和人工标注者应用的标签的数据集。

作为基线生成模型，我们使用T5语言模型。T5是编码器-解码器模型，使用双向而非单向编码：在预测标签时，它可以访问整个输入序列。这非常适合我们的设置，其中标签的顺序不如其准确性重要，我们希望标签最好地表征整个文档，而不仅仅是其子部分。

为了创建标签聚类，我们使用预训练模型为训练集中每个文档的单词生成嵌入——即将它们映射到表示空间中，其中邻近性表示语义相似性。给定标签的嵌入则是包含该标签的所有文档的平均嵌入。一旦标签被嵌入，我们使用k均值聚类将它们组织成聚类。

XLGen-BCL架构（左）：文本的真实标签聚类在比特数组中表示为1。在训练期间，位数组作为额外输入传递给模型，但在推理时，模型仅接收文本。

XLGen-MCG架构（右）：模型在多任务目标上训练，同时学习将聚类编号映射到标签，以及将文本映射到聚类编号。在推理时，模型首先为文本分配一组聚类编号，然后将聚类编号映射到标签。

实验结果

我们使用四个数据集评估了两种聚类引导生成模型和四个基线，并在每个数据集上评估了整体性能和对罕见（长尾）标签的性能。

在评估整体性能时，我们使用F1分数（同时考虑假阳性和假阴性），并使用两种不同的方法平均每个标签的F1分数：宏平均简单平均所有标签的F1分数；微平均汇总所有标签的所有真阳性、假阳性和假阴性，并计算全局F1分数。

在评估长尾标签性能时，我们考虑了在训练数据中仅出现一次或未出现的标签。

我们还使用正未标记（PU）数据进行了一组实验。对于每个训练示例，我们移除了一半的真实标签。由于从一个示例中移除的标签可能仍然出现在不同的示例中，它仍然可以作为输出标签出现。实验因此评估了模型在标签间的泛化能力。

在PU数据上，生成模型显著优于传统分类器，XLGen-MCG模型显著优于生成基线。

研究领域

对话式AI

标签

极端多标签分类、生成式AI、EACL
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码