建设部网站进不去,公司做网站流程流程,龙江网站设计,高端企业网站 程序管道方式是Transformers库中高度集成的极简使用方式。使用这种方式来处理NLP任务#xff0c;只需要编写几行代码就能实现。通过本例的练习可以使读者对Transformers库的使用快速上手。 1 在管道方式中指定NLP任务 Transfomers库的管道方式使用起来非常简单#xff0c;核心步… 管道方式是Transformers库中高度集成的极简使用方式。使用这种方式来处理NLP任务只需要编写几行代码就能实现。通过本例的练习可以使读者对Transformers库的使用快速上手。 1 在管道方式中指定NLP任务 Transfomers库的管道方式使用起来非常简单核心步骤只有两步 1直接根据NLP任务对pipeline类进行实例化便可以得到能够使用的模型对象。 2将文本输入模型对象进行具体的NLP任务处理。 1.1 管道方式的工作原理 在Transformers库中pipeline类的源码文件pipelines.py里可以找到管道方式自动下载的预编译模型地址。可以根据这些地址使用第三方下载工具将其下载到本地。 1.1.1 pipelines配置文件的位置 虚拟环境文件夹\Lib\site-packages\transformers\pipelines\__init__.py 1.1.2 文件视图 1.1.3 管道文件配置 # 在SUPPORTED_TASKS对象中每个字典元素的key值方NLP任务名称每个字典元素的value值为该NLP任务的具体配置。SUPPORTED_TASKS {audio-classification: {impl: AudioClassificationPipeline, # 当前NLP任务的pipeline类接口tf: (),# 指定TensorFloew框架下的自动类模型pt: (AutoModelForAudioClassification,) if is_torch_available() else (), # 指定Pytorch框架下的自动类模型default: {model: {pt: superb/wav2vec2-base-superb-ks}}, # 要加载的权重文件type: audio,}, 1.1.4 管道方式的内部调用关系 1.1.5 pipeline类接口 XXXPipeline类为每个NLP任务所对应的类接口该接口与具体的NLP任务的对应关系如下 文本分类任务类接口为TextClassificationPipeline特征提取任务类接口为FeatureExtractionPipeline完形填空任务类接口为FillMaskPipeline阅读理解任务类接口为QuestionAnsweringPipeline实体词识别任务类接口为NerPipeline 管道层对下层的自动模型层进行了二次封装完成了NLP任务的端到端实现。 1.2 在管道方式中加载指定模型 在实际应用中也可以修改SUPPORTED._TASKS对象中的设置加载指定模型还可以按照实例中的手动加载模型方式加载本地已有的预训练模型。 1.2.1 加载指定模型的通用语法 # task-name代表任务字符串如文本分类任务就是“sentiment--anaysis: # model name:代表加载的模型在手动加载模式下model name可以是本地的预训练模型文件在自动加载模式下model name是预训练模型的唯一标识符。 pipeline(task-name,modelmodel-name) pipeline(task-name,modelmodel name,tokenizertokenizer_name) 2 文本分类任务 2.1 文本分类的定义 文本分类是指模型可以根据文本中的内容来进行分类。文本分类模型一般是通过有监督训练得到的。对文本内容的具体分类方向依赖于训练时所使用的样本标签。 2.1.1 文本分类的举例 如根据内容对情绪分类、根据内容对商品分类等。 2.2 代码实现完成文本分类任务 # 代码实现完成文本分类任务 from transformers import * nlp pipeline(sentiment-analysis) # 文本分类模型 print(nlp(I like this book!)) # [{label: POSITIVE, score: 0.9998674392700195}] # 输出结果的前两行是下载模型的信息最后一行是模型输出的结果。 3 特征提取任务 3.1 特征提取的含义 特征提取任务只返回文本处理后的特征属于预训练模型范畴。 特征提取任务的输出结果需要结合其他模型一起工作不是端到端解决任务的模型对句子进行特征提取后的结果可以当作词向量来使用。 3.2 torchtext库的内置预训练词向量与管道方式来完成特征提取的对比 直接使用torchtext库的内置预训练词向量进行转化也可以得到类似形状的结果。直接使用内置预训练词向量进行转化的方式对算力消耗较小但需要将整个词表载入内存对内存消耗较大。使用管道方式来完成特征提取任务只适用于数据预处理阶段。虽然会消耗一些算力但是内存占用相对可控只是模型的空间大小)如果再配合剪枝压缩等技术更适合工程部署。如果要对已有的BERTology注意系列模型进行微调——对Transformers库中的模型进行再训练还需要使用更底层的类接口。 3.3 代码实现完成特征提取任务 # 代码实现完成特征提取任务 from transformers import * import numpy as np nlp_features pipeline(feature-extraction) output nlp_features(Shanxi University is a university in Shanxi.) print(np.array(output).shape) # (1, 12, 768) 4 完形填空/遮蔽语言建模任务 4.1 完形填空/遮蔽语言建模任务的定义 它属于BERT模型在训练过程中的一个子任务。 4.2 任务概述 在训练BERT模型时利用遮蔽语言的方式先对输入序列文本中的单词进行随机遮蔽并将遮蔽后的文本输入模型令模型根据上下文中提供的其他非遮蔽词预测遮蔽词的原始值。一旦BERT模型训练完成即可得到一个能够处理完形填空任务的模型MLM。 4.3 代码实现完成完形填空任务 # 代码实现完成完形填空任务 from transformers import * nlp_fill pipeline(fill-mask) # 文本分类模型 print(nlp_fill.tokenizer.mask_token) print(nlp_fill(fLi Jinhong wrote many {nlp_fill.tokenizer.mask_token} about artificial intelligence technology and helped many people.))# 从输出结果中可以看出模型输出了分值最大的前5名结果。其中第1行的结果预测出了被遮蔽的单词为books # [{score: 0.5444340109825134, token: 2799, token_str: books, sequence: Li Jinhong wrote many books about artificial intelligence technology and helped many people.}, # {score: 0.32027241587638855, token: 7201, token_str: articles, sequence: Li Jinhong wrote many articles about artificial intelligence technology and helped many people.}, # {score: 0.024945968762040138, token: 27616, token_str: essays, sequence: Li Jinhong wrote many essays about artificial intelligence technology and helped many people.}, # {score: 0.021165795624256134, token: 6665, token_str: papers, sequence: Li Jinhong wrote many papers about artificial intelligence technology and helped many people.}, # {score: 0.018288355320692062, token: 22064, token_str: blogs, sequence: Li Jinhong wrote many blogs about artificial intelligence technology and helped many people.}]5 阅读理解/问答任务 5.1 阅读理解/问答任务的定义 阅读理解任务/问答任务即输入一段文本和一个问题令模型输出结果。 5.2 代码实现完成阅读理解任务 # 代码实现完成阅读理解任务 from transformers import * nlp_qa pipeline(question-answering) context Shanxi University is a university in Shanxi. question Where is Shanxi University? print(nlp_qa(context context,question question)) # {score: 0.926823079586029, start: 37, end: 43, answer: Shanxi} 6 摘要生成任务 6.1 摘要生成的定义 摘要生成任务的输入是一段文本输出是一段相对于输入较短的文字。 6.2 代码实现完成摘要生成任务 # 代码实现完成摘要生成任务【太大了没运行】 from transformers import * TEXT_TO_SUMMARIZE In this notebook we will be using the transformer model, first introduced in this paper. Specifically, we will be using the BERT (Bidirectional Encoder Representations from Transformers) model from this paper. Transformer models are considerably larger than anything else covered in these tutorials. As such we are going to use the transformers library to get pre-trained transformers and use them as our embedding layers. We will freeze (not train) the transformer and only train the remainder of the model which learns from the representations produced by the transformer. In this case we will be using a multi-layer bi-directional GRU, however any model can learn from these representations.summarizer pipeline(summarization) print(summarizer(TEXT_TO_SUMMARIZE)) 7 实体词识别任务 7.1 实体词识别的定义 实体词识别任务是NLP中的基础任务。它用于识别文本中的人名(PER)、地名(LOC)、组织(ORG)以及其他实体(MISC)等。 实体词识别任务本质上是一个分类任务它又被称为序列标注任务。实体词识别是句法分析的基础同时句法分析也是NLP任务的核心。 7.2 代码实现:完成实体词识别任务 # 代码实现:完成实体词识别任务【太大了没运行】 from transformers import * nlp_token_class pipeline(ner) print(nlp_token_class(Shanxi University is a university in Shanxi.)) 8 预训训练模型文件的组成及其加载时的固定文件名称 在pipeline类的初始化接口中还可以直接指定如载模型的路径从本地预训练模型进行载入要求要载入的预训练模型文件心须使用固定的文件名称。 8.1 固定文件名称要求 在pipeline类接口中预训练模型文件是以套为单位的每套训练模型文件的组成及其固定的文件名称如下 词表文件以.txt、.mode或json为扩展名存放模型中使用的词表文件。固定文件名称为vocab.txt、spiece.model:或vocab.json。词表扩展文件可选上以.txt为扩展名补充原有的词表文件。固定文件名称为merges.txt。配置文件以json为扩展名存放模型的超参数配置。固定文件名称为coig,json。权重文件以.bin加为扩展名存放模型中各个参数具体的值。固定文件名称为pytorch_model.bin。 8.2 加载模型的步骤 当通过指定预训练模型目录进行加载时系统只会在目录里搜索固定名称的模型文件当没有找到固定名称的模型文件时将返回错误。 8.3 代码实现加载自定义模型并完成预测 # 代码实现完成摘要生成任务 # 在摘要任务的基础上加载自定义模型并完成预测。from transformers import *TEXT_TO_SUMMARIZE In this notebook we will be using the transformer model, first introduced in this paper. Specifically, we will be using the BERT (Bidirectional Encoder Representations from Transformers) model from this paper. Transformer models are considerably larger than anything else covered in these tutorials. As such we are going to use the transformers library to get pre-trained transformers and use them as our embedding layers. We will freeze (not train) the transformer and only train the remainder of the model which learns from the representations produced by the transformer. In this case we will be using a multi-layer bi-directional GRU, however any model can learn from these representations.# 官方模板 # summarizer pipeline(summarization) # 自定义模板 tokenizer AutoTokenizer.from_pretrained(r./bart-large-cnn/) summarizer pipeline(summarization, modelr./bart-large-cnn/, tokenizertokenizer) print(summarizer(TEXT_TO_SUMMARIZE))