概述

本文档详细说明Transformer Explainer项目中从**Embedding（嵌入）到Probabilities（概率）**的完整流程，并对每个关键英文术语提供中文解释。

一、Embedding（嵌入）

1.1 Token（词元）

定义：Token是文本被分割成的最小处理单元。可以是完整的词（word）或词的子部分（subword）。

示例：

• 完整词：“Data”、"visualization"各自对应一个token
• 子词："empowers"可能被分割成两个token

参数说明：

• Vocabulary Size（词汇表大小）：GPT-2的词汇表包含50,257个唯一的token
• Token ID：每个token在词汇表中都有唯一的数字标识符

1.2 Tokenization（词元化）

定义：将输入文本分解为token的过程。

作用：

• 将自然语言文本转换为模型可以处理的数字序列
• 每个token被分配一个唯一的ID

1.3 Token Embedding（词元嵌入）

定义：将每个token的ID转换为数值向量的过程。

关键参数：

• Embedding Dimension（嵌入维度）：GPT-2 (small) 使用768维向量表示每个token
• Embedding Matrix（嵌入矩阵）：形状为(50,257, 768)的矩阵
• 总参数数量：约3,900万个参数

数学表示：

Token Embedding Matrix: W_te ∈ R^(vocab_size × d_model)其中 vocab_size=50,257, d_model=768

1.4 Positional Encoding（位置编码）

定义：为每个token在序列中的位置信息进行编码。

作用：

• Transformer模型本身不包含位置信息，需要通过位置编码来告知模型每个token的位置
• GPT-2从头开始训练自己的位置编码矩阵

关键参数：

• Position Embedding Matrix（位置嵌入矩阵）：形状为(block_size, 768)
• block_size：最大序列长度（GPT-2为1024）

1.5 Final Embedding（最终嵌入）

定义：将Token Embedding和Positional Encoding相加得到的最终表示。

计算公式：

Final Embedding=Token Embedding + Positional Encoding

输出形状：

(batch_size, sequence_length,768)

二、Transformer Block（Transformer块）

2.1 Block（块）

定义：Transformer模型的基本处理单元，包含多头自注意力和MLP层。

关键参数：

• Number of Blocks（块数量）：GPT-2 (small) 包含12个Transformer块
• Block Size（块大小）：最大序列长度，GPT-2为1024

2.2 Layer Normalization（层归一化）

定义：对每层的输入进行归一化处理，稳定训练过程。

作用：

• 减少内部协变量偏移（Internal Covariate Shift）
• 加速模型收敛
• 降低对初始权重的敏感性

应用位置：

• 自注意力机制之前
• MLP层之前
• 最终输出之前

2.3 Residual Connection（残差连接）

定义：将层的输入直接添加到输出，形成"跳跃连接"。

作用：

• 缓解梯度消失问题
• 使深层网络更容易训练
• 允许梯度直接流过网络

数学表示：

output=Layer(input)+ input

三、Multi-Head Self-Attention（多头自注意力）

3.1 Query, Key, Value（查询、键、值）

定义：每个token的嵌入向量被转换为三个向量：Q（Query）、K（Key）、V（Value）。

类比理解：

• Query (Q)：类似搜索引擎中的搜索词，表示"我想查找什么信息"
• Key (K)：类似搜索结果中的标题，表示"我可以提供什么信息"
• Value (V)：类似搜索结果的实际内容，表示"具体的信息内容"

关键参数：

• QKV矩阵维度：每个都是(sequence_length, 768)

计算公式：

Q=Embedding × W_q K=Embedding × W_k V=Embedding × W_v

3.2 Multi-Head（多头）

定义：将Q、K、V向量分割成多个独立的"头"，每个头关注不同的模式。

关键参数：

• Number of Heads（头数量）：GPT-2 (small) 使用12个头
• Head Dimension（头维度）：每个头的维度 = 768 / 12 = 64

Attention Head编号说明：

• 每个头独立计算注意力，捕获不同的语言特征：
  • Head 0-3：可能更关注局部语法关系
  • Head 4-7：可能更关注语义关系
  • Head 8-11：可能更关注长距离依赖关系
• 不同头关注不同的模式，这种设计使模型能够并行学习多种语言特征

作用：

• 每个头可以捕获不同的语言特征
• 并行处理，提高模型表示能力
• 多头设计增强了模型的表示能力和泛化性能

3.3 Attention Score（注意力分数）

定义：Query和Key矩阵的点积，表示每个token对其他token的关注程度。

计算公式：

Attention Score=Q × K^T / √d_k 其中 d_k 是 Key 的维度（64）

输出形状：

(sequence_length, sequence_length)的方阵

3.4 Masking（掩码）

定义：在注意力矩阵的上三角部分应用掩码，将未来token的注意力分数设置为负无穷。

作用：

• 防止模型在生成时"偷看"未来的token
• 确保模型只能使用当前位置之前的信息进行预测
• 这是自回归（autoregressive）模型的关键特性

数学表示：

Masked Attention[i, j]={Attention[i, j]ifj<=i -∞ifj>i}

3.5 Softmax（Softmax函数）

定义：将注意力分数转换为概率分布的函数。

计算公式：

Softmax(x_i)=exp(x_i)/ Σ exp(x_j)

作用：

• 将注意力分数转换为0到1之间的概率值
• 每行的概率值总和为1
  表示每个 token 对其他 token 的相对重要性

输出形状：(sequence_length, sequence_length)，每行和为 1

3.6 Attention Output（注意力输出）

定义：将Softmax后的注意力权重与Value矩阵相乘得到的输出。

计算公式：

Attention Output=Softmax(QK^T / √d_k)× V

输出形状：

(sequence_length,768)

3.7 Concatenation（拼接）

定义：将多个注意力头的输出拼接在一起。

关键参数：

• 12个头的输出：每个头输出(sequence_length, 64)
• 拼接后：(sequence_length, 768)

作用：

• 整合所有头捕获的不同特征
• 通过线性投影层进一步处理

四、MLP（多层感知器）

4.1 MLP（Multi-Layer Perceptron，多层感知器）

定义：一个前馈神经网络，独立地处理每个token的表示。

作用：

• 精炼每个token的表示
• 与注意力机制配合：注意力负责token间的信息路由，MLP负责token内部的表示精炼

关键参数：

• 输入维度：768
• 中间层维度：通常为3072（4倍扩展）
• 输出维度：768

结构：

Input(768)→ Linear → GELU → Linear → Output(768)↑ ↑(3072)(3072)

4.2 GELU（Gaussian Error Linear Unit）

定义：MLP中使用的激活函数。

特点：

• 比ReLU更平滑
• 在GPT-2中用于非线性变换

五、Output Probabilities（输出概率）

5.1 Linear Layer（线性层）

定义：将处理后的嵌入投影到词汇表大小的空间。

关键参数：

• 输入维度：768
• 输出维度：50,257（词汇表大小）

作用：

• 将每个 token 的 768 维表示转换为 50,257 维的 logits

5.2 Logit（逻辑值）

定义：线性层输出的原始分数，表示每个token成为下一个词的可能性。

特点：

• 未归一化的分数
• 可以是任意实数
• 值越大，表示该token越可能成为下一个词

输出形状：(sequence_length, 50,257)

5.3 Softmax（Softmax函数）

定义：将logits转换为概率分布的函数。

计算公式：

Probability(token_i)=exp(logit_i)/ Σ exp(logit_j)

作用：

• 将logits转换为0到1之间的概率值
• 所有token的概率总和为1
• 表示每个 token 成为下一个词的概率

输出形状：(sequence_length, 50,257)，每行和为 1

5.4 Temperature（温度参数）

定义：控制输出概率分布形状的超参数。

计算公式：

Adjusted Logit=Logit / Temperature

参数值的影响：

• Temperature = 1：不改变softmax输出
• Temperature < 1：使概率分布更尖锐， 模型更自信、更确定性，输出更可预测
• Temperature > 1：使概率分布更平滑，增加随机性，输出更具"创造性"

作用：平衡模型的确定性和多样性

5.5 Top-k Sampling（Top-k采样）

定义：只从概率最高的k个token中进行采样。

参数：

• k：保留的top token数量（如k=40）

作用：

• 过滤掉不太可能的token
• 在保持多样性的同时提高输出质量
• 减少低概率 token 的干扰

5.6 Top-p Sampling（Top-p采样，核采样）

定义：从累积概率超过阈值p的最小token集合中采样。

参数：

• p：累积概率阈值（如p=0.9）

工作原理：

1. 按概率从高到低排序所有token
2. 累加概率直到总和 ≥ p
3. 只从这个集合中采样

作用：

• 动态调整候选 token 数量
• 确保只考虑最可能的 token
• 同时保持多样性

5.7 Sampling（采样）

定义：根据概率分布随机选择下一个token的过程。

方法：

• Greedy Sampling（贪婪采样）：总是选择概率最高的token
• Random Sampling（随机采样）：根据概率分布随机选择

作用：

• 从概率分布中生成下一个 token
• 完成文本生成过程

六、关键参数总结

模型架构参数（GPT-2 Small）

生成参数

七、完整流程总结

输入文本 输入文本 ↓ Tokenization（词元化） ↓ Token Embedding（词元嵌入） + Positional Encoding（位置编码） ↓ Final Embedding（最终嵌入） ↓[Transformer Block ×12]├─ Multi-Head Self-Attention（多头自注意力） │ ├─ Q, K, V（查询、键、值） │ ├─ Attention Score（注意力分数） │ ├─ Masking（掩码） │ ├─ Softmax（Softmax） │ └─ Attention Output（注意力输出） ├─ MLP（多层感知器） └─ Residual Connection（残差连接） ↓ Linear Layer（线性层） ↓ Logits（逻辑值） ↓ Softmax（Softmax） ↓ Probabilities（概率） ↓ Temperature（温度调整） ↓ Top-k / Top-p Sampling（采样） ↓ 输出下一个 Token

八、术语对照表

九、参考资料

• 论文：Attention Is All You Need(Vaswani et al., 2017)

• GPT-2论文：Language Models are Unsupervised Multitask Learners

• 项目地址：https://github.com/poloclub/transformer-explainer

• 在线演示：http://poloclub.github.io/transformer-explainer