李宏毅机器学习（八）ELMo、BERT、GPT、XLNet、MASS、BART、UniLM、ELECTRA、others

怎么得到这个pre-train好的模型呢？

Pre-training by Translation（翻译）

Context Vector（CoVe）：
Embedding的words必须要考虑上下文！有一个方法是用基于Translation的Model！就是用Translation这个任务间接的训练model！为什么不用Summary等任务作为工具呢，因为summary是提取某些word的重要性，那么不能做到对所有的word一视同仁！同时该任务的缺点也在于需要大量的成对的数据，我们不可能有很多的数据！

在这里插入图片描述

Self-supervised Learning

就是我们不再用无监督作为名字了，而是使用自监督学习！自监督就是用输入的一部分来预测自己的另一部分！是没有标记的哦！

Predict Next Token

我们不能让 $W_2$ 学习到不应该学习的知识，如果将 $W_2$ 放入到 $h_1$ ，那么就可以预测出 $W_2$ 。而且右边就是整个的预测过程！

LM、ULMFiT、ELMo

都是使用的是LSTM！

GPT、GPT-2、Megatron、Turing NLG

使用的是自监督！其中要留心attention的范围！有限制的！
比如我们不能让模型看到后面的答案！所以取attention的时候只能是前面所有！而不是整个句子！

这有什么应用呢？
就是自己编一个文章！比如独角兽新闻！ GPT-2！
我们需要考虑左边的上下文，但是有右边的上下文呢！

Predict Next Token-Bidirectional

ELMO！双向考虑！但是也有问题，你这样两个LSTM是单独处理的，你只是考虑了单边，而不是整个句子！两个LSTM也是单独训练的！

Masking Input

将某个Token进行Mask或者Random Token！我们在学习 $W_1$ 的时候要考虑 $W_3$ 和 $W_4$ ，相反 $W_3$ 的时候也是这样！由于 $W_2$ 是被盖住了，所以不用担心学习到 $W_2$ 的信息！最终的目的就是学习到 $W_2$ ！

CBOW：
和BERT不同：左右看的范围是有一个Window，而BERT是有多少就计算多少！第二个不同： BERT在Encoder之后输出Vector后可以连接头不同的向量，但是在CBOW中是直接相加的！
总结一下就是CBOW和BERT的训练方式基本都是一样的，只是模型的复杂度没有那么高！

Is random masking good enough？：
怎么覆盖呢？比如黑龙江中，我们盖住“龙”字！还是整个黑龙江
两种不同的mask：

Whole Word Masking（WWW）
WWW：也就是把整个单词遮盖住！而不是单个字！
而phrase-level是短语，多个单词；
Entity-level呢，则是更特定，就是特定的地名、组织名等！也就是我们ERNIE！

SPanBert：
按照几率该不同长度的Token！
提出的方法一般不可能在所有具体的方法都好！下面的表格中，横坐标是不同的具体的任务！

SpanBert——Span Boundary Objective（SBO）
一种新的训练方法！
这里我们认为一个跨度两边的Word Embedding就可以包含这个跨度所有的信息！为什么呢？之后再说，在coreference中会更加详细的介绍！
我们通过两边的Word Embedding通过SBO来预测出一个数字，该数字代表了预测出了跨度中第几个单词！

XLNet

Transformer-XL：
要解决的问题：作者声称是发现了BERT的缺点，就是你只会预测顺序的，不会预测倒序的！比如New York City！你盖住York他可以预测，但是如果盖住New ，没把饭根据York来预测New!
怎么理解XLNet呢？可以从两个方向来看：
第一个方向是language Model的方向：
predicts token的角度来看，你只能看看到left content！
而Transformer-XL中，打乱句子！

第二个方向是BERT的方向：
BERT中我们可以自定义窗口来对mask进行预测！

但是在XLNet中声明的是，不给Model看mask Token！但是你还是要告诉model要预测哪一个位置的word！后面的详细的自己看论文喽！

BERT cannot talk？

给出部分的句子来预测下一个token！在LM-style中是可以的，但是BERT中我们训练的时候看的是左右，现在你给出左边，那么右边没有给，所以效果不会很好

但是上面的讨论只是局限在autoregressive model！我们在生成句子时，是从左至右的！
non-autoregressive，不用从左向右生成！

MASS/BART：
由于BERT泛化能力比较差，所以它可能不太适合作为seq2seq的pre-trian model！所以如果是Seq2Seq任务，那么BERT可能只能充当encoder的任务！ decoder的地方你可能没有pre-train到！那么有没有办法去pre-trian一个seq2seq的模型呢？是有的！思想是cycle-loss，也就是经过decoder后和encoder有一样的输出！但是也有一个问题，如果是这样的话模型是学习不到什么的，因为可能decoder只是复制一下输入！所以需要将输入破坏！有两种方法： MASS/BART

MASS：

和BERT的思想类似。
尝试了很多方法，最好的方法是Text Infilling！

UniLM:
该模型可以充当各种模型！ encoder、decoder或者是

Replace or Not？：
ELECTRA： Efficiently learning an Encoder that Classifies Token Replacements Accurately
前面的都是预测下一个Token，但是ELECTRA不回答预测问题，只回答binary的问题，ELECTRA怎么解决binary问题呢？
让一句话作为输入，我mask后观察该词是不是被mask了！