目录
- 总结
- 1. Tensor Parallel (TP) 的作用
- 2. Pipeline Parallel (PP) 的作用
- 3. Data Parallel (DP) 的作用
- 二、重新整理部署策略表（TP 必须）
- 三、核心逻辑
总结
1. Tensor Parallel (TP) 的作用
- TP 是拆分每层矩阵计算的手段
- 即使你有 100 张或 1000 张 GPU，单层矩阵太大仍然需要 TP
- 因为单层参数量巨大，单张卡无法存储或计算整个层
2. Pipeline Parallel (PP) 的作用
- PP 是跨层拆分
- 当 TP 已经能让每张卡存储单层矩阵时，PP 可以视情况选择
- 小规模 GPU → PP 可以减少层跨卡压力
- 大规模 GPU → PP 主要用来增加吞吐或降低 latency
在工程上可接受的 TP 粒度内，单个 TP group 是否能完整承载其负责的模型层。
如果在 TP=4 或 TP=8 的情况下，
权重 + 激活 + KV + buffer 能装进单卡显存，
那么 不需要 PP，直接用 TP + DP 即可。
只有当 TP 已经达到通信可接受上限，但单卡仍然 OOM，
才会引入 PP，把层数再拆分。
3. Data Parallel (DP) 的作用
- DP 用于 batch 并行 / 请求并行
- GPU 数量越多，DP 越重要
二、重新整理部署策略表（TP 必须）
| GPU 数量 | 每卡显存 | TP | PP | DP | 说明 |
|---|---|---|---|---|---|
| 4 张 | 88 GB/卡 | ✅ 必须 | ✅ 可选 | ❌ 可选 | 每卡存 1/4 层矩阵 → TP 必须；PP 可选；DP 可选（吞吐低） |
| 20 张 | 17.7 GB/卡 | ✅ 必须 | ❌ 可选 | ✅ 建议 | 权重被拆成更小块 → TP 必须；PP 可省；DP 用于提高吞吐 |
| 100 张 | 3.5 GB/卡 | ✅ 必须 | ❌ 可选 | ✅ 必须 | 每层拆分得更细 → TP 必须；PP 可省；DP 必须支持高并发 |
| 1000 张 | 0.35 GB/卡 | ✅ 必须 | ❌ 可选 | ✅ 必须 | 每层拆分极小 → TP 必须；PP 不必要；DP 支撑超高吞吐 |
三、核心逻辑
-
TP 是必选的
- 因为 单层矩阵太大，哪怕 GPU 很多，也无法让一张卡存完整层
-
PP 是可选的
- 当 GPU 少、模型大 → PP 可降低显存压力
- GPU 多、显存充足 → PP 主要用于吞吐优化
-
DP 是可选 / 必选
- 少量 GPU → 可选
- 大量 GPU → 必须，提高 batch 并行与吞吐
换句话说，TP 永远存在，PP/DP 根据 GPU 数量和吞吐需求来调节。
