专家并行和其他并行策略对比

news/2025/10/30 12:23:21/文章来源:https://www.cnblogs.com/zafu/p/19176620

“专家并行”（Expert Parallelism, EP）是大模型训练中的一种模型并行策略，主要用于支持稀疏激活模型（如 Mixture of Experts, MoE）的高效训练。它与其他并行策略（如数据并行、张量并行、流水线并行等）共同构成了现代大模型分布式训练的基础设施。

下面我们将系统性地介绍 专家并行（EP） 以及其他主流并行策略，包括其原理、适用场景、优缺点和典型应用。

一、专家并行（Expert Parallelism, EP）

1. 背景

在 Mixture of Experts (MoE) 架构中（如 Google 的 GLaM、DeepSeek-MoE、Mixtral），模型包含多个“专家子网络”（Experts），但每次前向传播只激活其中一小部分（如 2/64 个专家）。
由于专家数量多（可达数百甚至上千），单个 GPU 无法容纳全部专家。

2. 核心思想

将不同的“专家”分配到不同的 GPU 上。
每个 token 根据路由机制（如 Top-k gating）被发送到对应的专家所在设备。
只有被选中的专家参与计算，未被选中的不参与，实现稀疏激活 + 专家分布。

3. 通信特点

需要在前向/反向传播中进行 All-to-All 通信：将不同 token 路由到不同设备上的专家。
通信量取决于 batch size 和激活专家数，通常比张量并行通信量大。

4. 优点

支持超大规模 MoE 模型（参数可达万亿级）。
计算稀疏，实际 FLOPs 远低于总参数量。
可与数据并行、张量并行组合使用（如 DeepSpeed-MoE）。

5. 缺点

All-to-All 通信开销大，对网络带宽要求高。
负载不均衡（某些专家被频繁调用）可能导致性能瓶颈。

6. 典型应用

Google GLaM（1.2T 参数）
Mistral Mixtral 8x7B
DeepSeek-MoE
NVIDIA NeMo Megatron 中的 MoE 支持

二、其他主流并行策略

现代大模型训练通常采用 混合并行（Hybrid Parallelism），结合多种策略。以下是主要类型：

1. 数据并行（Data Parallelism, DP）

原理：将训练数据分片，每个 GPU 持有完整模型副本，独立计算梯度，再通过 All-Reduce 同步梯度。
优点：实现简单，扩展性好。
缺点：显存占用高（每卡存完整模型），通信随模型增大而增加。
变种：
- ZeRO（Zero Redundancy Optimizer）：将优化器状态、梯度、参数分片存储，大幅降低显存（ZeRO-1/2/3）。
适用：几乎所有模型的基础并行方式。

2. 张量并行（Tensor Parallelism, TP） / 模型并行（Model Parallelism）

原理：将单个层的权重矩阵按行或列切分到多个 GPU 上，计算时通过通信协同完成矩阵乘法。
- 例如：Y = X * W，将 W 切为 W1, W2，分别在 GPU0/GPU1 上计算，再通信合并结果。
提出者：NVIDIA Megatron-LM（2019）
优点：可训练超大稠密模型（如 Megatron-530B）。
缺点：每层都有通信，延迟高；通常限制在单机内（8卡以内）。
典型切分方式：
- 列切分（Column-wise）：输出维度切分
- 行切分（Row-wise）：输入维度切分

3. 流水线并行（Pipeline Parallelism, PP）

原理：将模型按层切分，不同 GPU 负责不同层。数据像“流水线”一样逐级传递。
挑战：存在“气泡”（bubble）——部分 GPU 空闲等待。
优化方案：
- GPipe：微批次（micro-batch）填充气泡。
- PipeDream：异步权重更新。
优点：显存线性降低，适合超深模型。
缺点：设备利用率受限于流水线效率。
典型应用：Megatron-LM、DeepSpeed

4. 序列并行（Sequence Parallelism, SP）

原理：将输入序列长度切分到多个 GPU（如处理长文本），配合张量并行使用。
解决痛点：当序列很长（如 8192 tokens），激活值显存成为瓶颈。
实现：在 LayerNorm、Softmax 等操作中引入通信。
提出：NVIDIA 在 Megatron-DeepSpeed 中引入。

5. 混合并行（Hybrid Parallelism）

实际训练中，通常组合多种策略，例如：

系统	并行组合
Megatron-DeepSpeed	DP + TP + PP + ZeRO
DeepSpeed-MoE	DP + EP + TP + ZeRO
FSDP（PyTorch）	类似 ZeRO-3 的数据并行 + 自动分片
Alpa（Google）	自动搜索最优并行策略（DP/TP/PP组合）

三、并行策略对比总结

并行类型	切分维度	通信模式	显存节省	适用场景
数据并行 (DP)	数据 batch	All-Reduce	❌（每卡全模型）	通用，基础
张量并行 (TP)	模型权重（矩阵）	All-Gather / Reduce-Scatter	✅（按卡数分）	单层过大
流水线并行 (PP)	模型层	Send/Recv（逐层）	✅（按层数分）	模型极深
专家并行 (EP)	MoE 专家	All-to-All	✅（专家分布）	MoE 架构
序列并行 (SP)	输入序列	All-Gather	✅（激活值分片）	超长上下文
ZeRO-DP	优化器状态/梯度/参数	All-Gather / Reduce-Scatter	✅✅✅	显存受限场景