一、使用场景

大模型在填空任务中的应用主要涉及自动补全、内容生成和知识推理等场景，其核心能力在于基于上下文预测缺失信息。

二、代码分析

importtorchfromtransformersimportAutoTokenizer#加载tokenizertokenizer=AutoTokenizer.from_pretrained('google-bert/bert-base-chinese')tokenizer

fromdatasetsimportload_dataset#加载数据集dataset=load_dataset(path='lansinuote/ChnSentiCorp')#编码f=lambdax:tokenizer(x['text'],truncation=True,max_length=30,return_token_type_ids=False)dataset=dataset.map(f,remove_columns=['text','label'])#过滤句子长度f=lambdax:len(x['input_ids'])>=30dataset=dataset.filter(f)#重置label字段deff(data):#定义第15个字为labeldata['label']=data['input_ids'][15]#替换句子中的第15个字为maskdata['input_ids'][15]=tokenizer.mask_token_idreturndata dataset=dataset.map(f)#设置数据类型dataset.set_format('pt')dataset,dataset['train'][0]

loader=torch.utils.data.DataLoader(dataset['train'],batch_size=8,shuffle=True,drop_last=True)data=next(iter(loader))fork,vindata.items():print(k,v.shape)len(loader)

#查看数据样例forq,ainzip(data['input_ids'],data['label']):print(tokenizer.decode(q))print(tokenizer.decode(a))print('==============')

#定义模型classModel(torch.nn.Module):def__init__(self):super().__init__()#加载预训练模型fromtransformersimportAutoModel self.pretrained=AutoModel.from_pretrained('google-bert/bert-base-chinese')self.fc=torch.nn.Linear(in_features=768,out_features=tokenizer.vocab_size)defforward(self,input_ids,attention_mask,label=None):#使用预训练模型抽取数据特征withtorch.no_grad():last_hidden_state=self.pretrained(input_ids=input_ids,attention_mask=attention_mask).last_hidden_state#取第15个词的特征向量last_hidden_state=last_hidden_state[:,15]#对抽取的特征只取第一个字的结果做分类即可out=self.fc(last_hidden_state).softmax(dim=1)#计算lossloss=NoneiflabelisnotNone:loss=torch.nn.functional.cross_entropy(out,label)returnloss,out model=Model()model(**data)

#执行训练deftrain():optimizer=torch.optim.Adam(model.parameters(),lr=1e-4)forepochinrange(5):fori,datainenumerate(loader):loss,out=model(**data)loss.backward()optimizer.step()optimizer.zero_grad()ifi%200==0:out=out.argmax(dim=1)acc=(out==data['label']).sum().item()/len(data['label'])print(epoch,i,len(loader),loss.item(),acc)train()

#执行测试deftest():loader_test=torch.utils.data.DataLoader(dataset['test'],batch_size=8,shuffle=True,drop_last=True)correct=0total=0fori,datainenumerate(loader_test):withtorch.no_grad():_,out=model(**data)out=out.argmax(dim=1)correct+=(out==data['label']).sum().item()total+=len(data['label'])print(i,len(loader_test),correct/total)ifi==5:breakreturncorrect/total test()