大型语言模型（LLM）部署中的内存消耗计算

在部署大型语言模型（LLM）时，显存（VRAM）的合理规划是决定模型能否高效运行的核心问题。本文将通过详细的公式推导和示例计算，系统解析模型权重、键值缓存（KV Cache）、激活内存及额外开销的计算逻辑，并探讨并发场景下显存需求的变化规律。

一、模型权重内存消耗计算

公式推导

模型权重的内存占用由参数数量、量化因子和数据类型共同决定：
$\text{Model Memory} = \text{Number of Parameters} \times \frac{\text{Original Parameter Size}}{\text{Quantization Factor}}$
其中：

Number of Parameters：模型总参数量（如72亿参数）。
Original Parameter Size：原始参数的字节大小（如FP32为4字节）。
Quantization Factor：量化因子为原始参数字节大小与目标格式字节的比值（如FP32情况下，8位量化为4，16位量化为2）。

示例计算

假设模型参数为72亿，使用8位量化（Quantization Factor=4）：

$\text{Model Memory} = \frac{72,000,000,000 \times 4}{4} = 72 \text{亿字节} = 72 \text{GB}$
注意：若使用FP16（16位量化），则：

$\text{Model Memory} = \frac{72,000,000,000 \times 4}{2} = 144 \text{GB}$

二、键值缓存（KV Cache）内存消耗计算

公式推导

KV Cache是注意力机制中存储查询、键、值的缓存，其内存占用公式为：
$\text{KV Cache Memory} = 2 \times \text{Layer Count} \times \text{Head Dim} \times \text{Heads} \times \text{Context Len} \times \text{Batch} \times \text{Data Size}$
其中：

Layer Count：模型层数（如48）。
Head Dimension：每个注意力头的维度（如128）。
Number of Heads：头的数量（如32）。
Context Length：上下文长度（如12000）。
Batch Size：单个请求的批处理样本数（如1）。
Data Type Size：数据类型大小（FP16为2字节，FP32为4字节）。

示例计算

Batch Size=1，FP16：
$\text{KV Cache Memory} = 2 \times 48 \times 128 \times 32 \times 12,000 \times 1 \times 2 = 9,437,184,000\text{字节} \approx 8.79 \text{GB}$

三、激活函数输出与中间结果内存消耗

公式推导

假设所有中间结果同时驻留显存，激活内存由隐藏层维度、序列长度、层数及批次大小决定：
$\text{Activation Memory} = \text{Hidden Dimension} \times \text{Sequence Length} \times \text{Batch Size} \times \text{Layer Count} \times \text{Data Type Size}$
其中：

Hidden Dimension：隐藏层维度（如4096）。
Sequence Length：输入序列长度（通常与上下文长度一致）。
Layer Count：模型层数（如48层）。

示例计算（FP16）

$\text{Activation Memory} = 4096 \times 12,000 \times 1 \times 48 \times 2 = 4,718,592,000 \text{字节} \approx 4.72 \text{GB}$

四、额外开销

额外开销估算

额外开销包括临时缓冲区、框架开销等，通常按模型权重的10%-20%估算。
$\text{Overhead Memory} = \alpha \times \text{Model Memory} \quad (\alpha=0.1 \sim 0.2)$
示例（α=0.15，模型权重72GB）：
$\text{Overhead Memory} = 0.15 \times 72 \text{GB} = 10.8 \text{GB}$