GPT-1 :

• 采用传统的语言模型方法进行预训练，擅长处理自然语言生成任务（NLG）
• OpenAI 在 2018 年 6 月推出 1.17 亿个参数的 GPT-1 (Generative Pre-training , 生成式预训练)

数据集 :

• 数据来源 : BooksCorpus 数据集，包含约 7000 本不同风格的书籍，文本大小约 5GB
• 特点 : 高质量长句，适合学习长距离信息依赖

模型特点 :

• 参数 : Transformer 层数 : 12 ; 特征维度 : 768 ; Head 数 : 12 ; 总参数量 : 1.17 亿
• 优点 : 在多个任务上表现优异，易于并行化
• 缺点 : 单向语言模型 , 任务微调需要额外数据集

模型架构

语言模型的对比架构 :

• GPT : 单向 Transformer 模型 , 仅利用前文信息
• BERT : 会利用上下文的信息

GPT-1模型架构 :

• 模型结构 : 基于 Transformer 的 Decoder 模块，取消 Multi-Head Attention 子层
• 层数：12 个 Decoder Block

训练过程

训练的两阶段过程 :

• 无监督的预训练语言模型 : 用大量文本数据进行预训练，目标是最大化句子中每个单词的条件概率
• 有监督的下游任务 fine-tunning : 对具体下游任务进行微调，采用有监督学习的方式