大模型预训练技术分析

先明确一个核心定义：大模型预训练是在大规模无标注文本数据上，让模型通过自监督学习的方式，自主学习语言的底层规律和通用知识的过程。

我们可以用一个简单的比喻理解：如果把微调看作是“专项技能培训”（比如教模型做翻译、写文案），那预训练就是“通识教育”——它不针对任何具体任务，只是让模型尽可能多地“读万卷书”，学会理解文字的含义、句子的结构、事物的关联。

预训练的核心目标有两个：一是学习语言表征，让模型能把文字转化为包含语义信息的向量；二是积累通用知识，比如知道“地球是行星”“夏天会比冬天热”这类常识。完成预训练的模型，我们称之为“预训练模型”，它就像一个拥有丰富知识储备的“学霸”，等待后续的“专项任务”激活。

预训练不是凭空进行的，需要两个核心前提：高质量的数据和合适的模型架构。

模型的能力上限，很大程度上由训练数据决定，这就是常说的“数据决定上限，算法逼近上限”。

数据来源：预训练数据的来源非常广泛，包括公开的书籍文献、互联网网页、新闻报道、百科条目等。这些数据的特点是规模大、覆盖面广，能保证模型接触到多样的知识和语言表达。
数据清洗：原始数据里有很多“杂质”，比如重复内容、低质广告、错误信息等。如果直接用来训练，会让模型学到错误知识，甚至产生偏见。因此必须经过清洗步骤：去重、去噪、过滤违规或低质内容、统一文本格式。
数据预处理：清洗后的文本还需要“加工”才能被模型识别。核心步骤是token化——把长文本切分成一个个小单元（比如单词、子词），然后给每个token分配唯一的编号。同时，会设定一个上下文窗口长度（比如512、2048个token），让模型在固定长度的文本片段中学习上下文关联。

目前主流的大模型，都采用Transformer架构作为预训练的基础骨架。原因很简单：Transformer的自注意力机制，能让模型同时关注文本中不同位置的token，捕捉长距离的语义关联，而且支持并行计算，能提升训练效率。
Transformer架构分为两种核心类型，对应不同的预训练目标：

预训练最巧妙的地方在于，它不需要人工标注数据（比如给句子打标签、标注答案），而是通过自监督学习任务，让模型从数据本身中“出题考自己”。常见的自监督任务主要有两类。

这是编码器架构模型的核心预训练任务，典型代表是BERT。

核心做法：随机选择文本中15%左右的token进行“掩码”处理——也就是用一个特殊的[MASK]符号替换掉这些token，然后让模型预测被掩码的token是什么。
特殊策略：为了避免模型只记住[MASK]符号，而不是真正理解语义，实际训练中会做灵活调整：80%的概率用[MASK]替换，10%的概率用随机token替换，10%的概率保留原token。
任务目标：让模型学会根据上下文推断缺失的词语，从而掌握语义关联能力。比如输入“[MASK]是太阳系的中心天体”，模型应该能预测出被掩码的token是“太阳”。

这是解码器架构模型的核心预训练任务，典型代表是GPT。

核心做法：给定一段文本，让模型根据前文的token，逐个预测下一个token。比如输入“今天天气很”，模型需要预测下一个token是“好”“热”还是“冷”。
任务目标：让模型学会“续写”文本，掌握语言的生成规律和逻辑连贯性。这个过程是自回归的，每一个token的预测都依赖于前面所有token的信息。

除了上述两种核心任务，有些预训练过程还会加入辅助任务提升模型能力。比如句子顺序预测（NSP）：给模型两个句子，让它判断第二个句子是不是第一个句子的后续句子。不过后来的实践发现，这个任务的增益有限，很多模型已经去掉了这个环节。

当数据和架构准备就绪，就进入正式的训练阶段。这个过程的核心是调整模型的参数，让模型在自监督任务上的表现越来越好。

批次大小：每次喂给模型的文本片段数量。批次越大，训练效率越高，但对计算资源的要求也越高。
学习率：模型参数更新的步长。学习率太大，模型训练会不稳定；太小，训练速度会很慢。通常会采用“线性预热+余弦退火”的策略：训练初期小幅度提升学习率，中期保持稳定，后期逐渐降低，让模型收敛到更优的参数。
训练步数：模型需要训练的总轮次。一般会根据数据量和模型大小设定，比如千亿参数的模型，可能需要训练数百万步。
上下文窗口长度：模型能同时处理的token数量。窗口越长，模型能捕捉的上下文信息越多，但计算量也会呈指数级增长。

优化器选择：常用的是AdamW优化器，它能有效避免模型过拟合，提升训练稳定性。
正则化策略：为了防止模型“死记硬背”训练数据，会采用权重衰减、dropout等方法，让模型学习到更通用的规律。
评估指标：预训练没有明确的“任务指标”，通常用困惑度（Perplexity）来衡量。困惑度越低，说明模型预测token的准确率越高，预训练效果越好。