昆明建设网站公司,茶文化网站网页设计,漳州做网站建设公司,自助建站网站程序源码一、说明 随着最近开发的库#xff0c;执行深度学习分析变得更加容易。其中一个库是拥抱脸。Hugging Face 是一个平台#xff0c;可为 NLP 任务#xff08;如文本分类、情感分析等#xff09;提供预先训练的语言模型。 本博客将引导您了解如何使用拥抱面部管道执行 NLP 任务… 一、说明 随着最近开发的库执行深度学习分析变得更加容易。其中一个库是拥抱脸。Hugging Face 是一个平台可为 NLP 任务如文本分类、情感分析等提供预先训练的语言模型。 本博客将引导您了解如何使用拥抱面部管道执行 NLP 任务。以下是我们将在此博客中讨论的主题。 什么是自然语言处理什么是变形金刚使用变形金刚执行各种 NLP 任务。 我们将介绍的 NLP 任务是文本分类、命名实体识别、问答和文本生成。 让我们潜入 二、什么是自然语言处理 NLP是人工智能的一个子领域允许计算机解释操纵和理解人类语言。NLP 任务的目标是分析文本和语音数据如电子邮件、社交媒体新闻源、视频、音频等。使用 NLP 技术您可以处理各种任务例如文本分类、生成文本内容、从文本中提取答案等。 NLP不仅仅处理书面文本。它还克服了语音识别和计算机视觉中的复杂挑战例如创建声音样本的成绩单或图像的描述。 很酷我们在本节中了解了 NLP 是什么。让我们继续看看变形金刚库是什么。 三、什么是transformer库 Transformers 是一个库提供 API 和工具可轻松下载和训练最先进的预训练模型。 你可能会问什么是预训练模型。让我解释一下。预训练模型实际上是一个保存的预训练网络该网络以前在大型数据集上训练过。使用预先训练的模型可以节省从头开始训练模型所需的时间和资源。 很好我们看了变形金刚库是什么。让我们执行一些任务来展示如何使用这个库。 3.1 transformer应用 变压器具有处理各种NLP任务的强大功能。处理 NLP 任务的最简单方法是使用该函数。它将模型与其必要的预处理和后处理步骤连接起来。这允许您直接输入任何文本并获得答案。pipeline 要使用变压器您需要使用以下命令安装它 pip install -q transformers为了展示如何使用该功能让我们从转换器导入它。pipeline from transformers import pipeline 很酷我们现在可以使用这个对象执行 NLP 任务。让我们从情绪分析开始。 3.2 情绪分析 情绪分析是最常用的NLP任务之一。它是检测文本中积极或消极情绪的过程。为了演示如何执行此任务让我们创建一个文本。 text This movie is beautiful. I would like to watch this movie again. 太棒了我们现在有一条短信。让我们找出这段文字的情绪。为此首先我们通过调用管道函数来实例化管道。接下来我们给出我们感兴趣的任务的名称。 classifier pipeline(sentiment-analysis) 很好我们已经准备好使用此对象分析我们的文本。 classifier(text)# Output: [{label: POSITIVE, score: 0.9998679161071777}] 如您所见我们的管道预测了标签并显示了分数。标签为正得分为 0.99。事实证明模型非常有信心文本具有积极的情绪。太好了我们已经完成了情绪分析。这很简单对吧 让我们退后一步想想发生了什么。此管道首先选择了一个预训练模型该模型已针对情绪分析进行了微调。接下来在创建分类器对象时下载模型。请注意将某些文本传递到管道时会将文本预处理为模型可以理解的格式。 在此分析中我们使用管道进行情绪分析。您还可以将其用于其他任务。最近开发的一些管道是情绪分析;我们刚刚学会了如何执行这个管道、摘要、命名实体识别、问答、文本生成、翻译、特征提取、零镜头分类等。让我们来看看其中的一些。我们现在要讨论的管道是零命中分类。 3.3 零镜头分类 假设您要对未标记的文本进行分类。这就是零镜头分类管道的用武之地。它可以帮助您标记文本。因此您不必依赖预训练模型的标签。让我们看一下如何使用这个管道。首先我们将通过调用管道函数进行实例化。 classifier pipeline(zero-shot-classification) 现在让我们创建一个要分类的文本。 text This is a tutorial about Hugging Face. 让我们定义候选标签。 candidate_labels [tech, education, business] 很酷我们创建了文本和标签。现在让我们预测一下这句话的标签。为此我们将使用分类器对象。 classifier(text, candidate_labels)# Output: {sequence: This is a tutorial about Hugging Face,labels: [education, tech, business],scores: [0.8693577647209167, 0.11372026801109314, 0.016921941190958023]} 如您所见文本是关于教育的。在这里我们没有根据数据微调模型。我们的管道直接返回概率分数。这就是为什么这个管道被称为零镜头。让我们继续看一下文本生成任务。 3.4 文本生成 像 ChatGPT 这样的工具非常适合生成文本但有时您可能希望生成有关主题的文本。文本生成的目标是生成有意义的句子。我们的模型会收到提示并自动完成它。让我们看看如何执行管道。首先我们使用文本生成来实例化管道。 generator pipeline(text-generation) 让我们继续创建一个提示。 prompt This tutorial will walk you through how to 现在让我们将此提示传递给我们的对象。 generator(prompt)# Output: [{generated_text: This tutorial will walk you through how to setup a Python script to automatically find your favourite website using Python and JavaScript so you can build a web site that}] 如您所见根据我们的句子生成了一个文本。请注意此文本是随机生成的。因此如果您没有获得与此处相同的结果这是正常的。 在此示例中我们使用了默认模型。您还可以从中心选择特定型号。要为您的任务找到合适的模型请转到模型中心并单击左侧的相应标签。 模特在拥抱脸 在这里您可以看到任务支持的模型。很酷让我们尝试一个模型。首先我们将创建一个管道。让我们将任务和模型名称传递给它。 generator pipeline(text-generation, modeldistilgpt2) 很酷我们实例化了一个对象。让我们使用前面的提示创建一个最大长度为 30 的文本。 generator(prompt, max_length 30) 如您所见使用我们确定的模型创建了一个文本。让我们继续看一下命名实体识别任务。 3.5 命名实体识别 NER NER是最受欢迎的数据预处理任务之一。在 NLP 中产品、地点和人员等现实世界的对象称为命名实体从文本中提取它们称为命名实体识别。让我们通过一个示例来展示此任务是如何完成的。首先让我们从管道创建一个对象。 ner pipeline(ner, grouped_entitiesTrue) 在这里我们通过了将句子的各个部分重新组合在一起。例如我们希望将“Google”和“Cloud”分组为一个组织。现在让我们创建一个例句。grouped_entitiesTrue text My name is Tirendaz and I love working with Hugging Face for my NLP task. 现在让我们将此文本传递给我们的对象。 ner(text)# Output: [{entity_group: PER,score: 0.99843466,word: Tirendaz,start: 11,end: 19},{entity_group: ORG,score: 0.870751,word: Google Cloud,start: 31,end: 43},{entity_group: LOC,score: 0.99855834,word: Berlin,start: 47,end: 53}] 如您所见我们的模型正确识别了文本中的实体。很好让我们继续问答任务。 3.6 生成问答系统 在问答中我们给模型一段称为上下文的文本和一个问题。模型根据文本回答问题。让我们用一个例子来说明这一点。首先让我们从问答管道创建一个对象。 question_answerer pipeline(question-answering) 现在让我们使用这个对象。 question_answerer(questionWhere do I live?,contextMy name is Tirendaz and I live in Berlin,)# Output: {score: 0.7006925940513611, start: 31, end: 43, answer: Google Cloud} 如您所见我们的管道从上下文中提取了信息。很酷我们学会了如何使用管道执行各种 NLP 任务。您还可以将管道用于其他任务例如摘要和翻译。 你可以在这里找到我在这个博客中使用的笔记本。 四、总结 变形金刚是拥抱脸中的一个库提供API和工具。您可以使用此库执行 NLP 任务。最简单的方法是使用拥抱面孔管道。管道提供了一个易于使用的 API可将模型与其必要的预处理和后处理步骤连接起来。因此您可以使用管道对象轻松执行各种 NLP 任务。 参考资源 拥抱脸