长上下文革命：Multi-Head Latent Attention（MLA）机制

传统 Transformer 的多头注意力需要缓存所有输入token的 Key 和 Value，这对长文本推理时的内存开销极为庞大。DeepSeek V2 针对这一难题提出了“Multi-Head Latent Attention”（MLA）机制。MLA 的核心思想是对多头注意力中的 Key 和 Value 做低秩联合压缩，只存储压缩后的潜在向量，从而极大缩减注意力缓存。具体来说，对于每个token的输入向量 $h$