必收藏！美团大模型面试“逼疯”候选人？一文吃透KV-Cache与推理流程

最近看到一位同学分享美团大模型岗位的面试反馈，通篇就三个字：已老实。短短三字，道尽了被面试题“狂虐”的无奈，也侧面印证了美团大模型面试的硬核程度。

我们先来看下这份让候选人直呼“老实”的面试题清单：

排除掉最后一个手写代码的实操题之外，上面一共给了11个面试的问题。

这11个问题涵盖的还是比较全面的，包含了基础类、模型类、算法类和工程类的问题。

比如基础类的问题有 BF16/FP16/FP32 的对比，这个其实考察的是候选人对于模型推理 or 训练是的数据的理解，主要从精度（量化）和显存占用两方面回答即可。

模型类的问题主要集中在 DeepSeek-R1 这个模型。

算法类的问题则涉及到了 Rope 和 KV-Cache、Adam 算法。

最后工程性的问题则主要集中在显存占用方面，重点考察的也是候选人对大模型推理 or 训练过程的整体理解。

一句话，考察的很全面的。

怪不得同学直呼已老实。

这篇文章，我们就以美团面试中出现的KV-Cache + 大模型的推理过程为例，来详细解释一下——

为什么在大模型的推理过程中需要使用 KV-Cache 技术？

为什么需要 KVCache?

在你看完前面的位置编码后，接下来就换一个视角，从大模型的视角看以下 KVCache 缓存技术。

乍一看这个技术好像很深奥，又是 KV 又是缓存的。

但是，如果你结合大模型运行的原理和机制，以及之前介绍的注意力机制的运算方法来了解，会发现这个技术其实也很好理解。

什么是 KVCache？

这里的 KV 指的是注意力机制中的 Key 和 Value。Cache 是计算机科学中的一个重要术语，中文翻译为缓存。

因此， KVCache 就是针对注意力机制中计算 Key 和 Value 时的一个缓存技术。

还记得注意力机制是如何计算的吗？下图展示了注意力机制的计算过程。

在图中，两个绿色方框标注的分别是计算注意力时的 K 矩阵和 V 矩阵。

事实上，在 Transoformer 中，由于使用的是自注意力，Q/K/V都是由相同的输入数据线性映射得到的（通过多头注意力机制中的线性映射层得到）

在进一步阅读之前，先来看一下大模型是如何完成文本翻译这种任务的推理的。

大模型的推理过程

首先，目前主流的大模型采用的架构是 Decode-Only 架构，也就是只使用了 Transformer 架构中的解码器部分，并不使用编码器部分。

在使用 Decoder-Only 架构的大模型进行推理时，整个推理过程主要分为两个阶段，一个是 Prefill 阶段，一个是 Decode 的阶段。

Prefill 和 Decode 过程

我们先来看一下大模型是如何和你进行交互并且生成回答的，在这个过程中，哪些是 Prefill 阶段，哪些是 Decode 阶段。

当你和 GPT 这种模型进行对话时，你会先输入你的问题，对于大模型而言，这个问题叫做prompt，也就是提示词。

大模型在接收到这个提示词之后，便会执行推理过程。

首先它会根据你输入的提示词来生成第一个回答的单词，随后会根据输出的第一个回答的单词来不断的预测后一个回答的单词，直到把需要回答的单词全部生成完，这也是为什么这类对话任务又叫做文本生成任务的原因。

因此你可以看到，大模型在生成回答的时候，是依据之前已生成的内容来选择下一个具有最大概率的单词作为输出的。

可以说每生成一个单词都是一种基于概率的预测过程。

而 Prefill 阶段指的是大模型接收到用户输入的问题后，生成回答中的第一个单词的阶段。

Decode 阶段则是大模型根据第一个字符进行后续预测的阶段，如上图。

这两个阶段有一个共通点，就是大模型运行的过程是一样的，不一样的是大模型接收到的输入不一样。

以上是引入了 KVCache 优化技术之后的逻辑，也是现在最主流的推理流程。

在不引入 KVCache 的情况下，大模型的每次预测都是基于 Prompt 进行的下一个单词的预测。

举个例子，假设你问大模型一句话：“今天吃饭了吗？”，大模型最终回答你：“我不需要吃饭，不过谢谢你的关心，你呢，今天吃什么了？”

对大模型来说，第一次的输入是“今天吃饭了吗”这句话，模型的输出是回答中的第一个词，也就是“我”。

随后，将得到的输出和输入加在一起，得到 “今天吃饭了吗？我” 作为新的 Prompt 输入给大模型，然后大模型输出"不”，依次类推，直到满足一定的条件（比如输出字数超过了设置的限制，或者输出了最后一个字符（EOS, End of Sequence）），大模型则停止输出，此时模型回答完毕。

就像下面这样：

这个过程看着是不是比较蠢、比较笨重？但事实上大模型和你对话的流程确实是这样。

这个过程让你感觉到比较蠢比较笨重的地方，我猜可能就是每个步骤输入给大模型的提示词都有大量的重复单词，就像上图左侧输入那一列展示的那样。

而且这样做会带来很多问题，最严重的就是大模型的计算量会暴增，而且每个步骤都需要重复计算相同的单词的，尤其是在做注意力机制中的运算中。

因此，一个自然而然的想法就是，能不能不在每个步骤中都重复计算上一个步骤已经计算过的单词，新的步骤只计算新的输入就好了。

这就是 KVCache。

KVCache 就是把上一步骤已经计算过的单词找个地方缓存下来，在下一步的时候直接拿来用，并且把新的输入加到缓存好单词的末尾就可以了。

如此一来，有了 KVCache 之后，大模型的推理过程就变成了下面的样子。

上图中，第二列的句子（或token序列）就是每个步骤运行时已经缓存的内容。

有了缓存之后，每个步骤只需要输入上一步骤预测的输出即可。

这样一来，大模型的计算只需要处理后两列的内容，是不是比之前简洁很多？

这就是 KVCache 的作用。

也正因如此，步骤 1 被称为 Prefill 阶段，步骤 2 及之后被称为 Decode 阶段。

在了解了这个过程后，我们接下来将这个过程和注意力机制中使用 Q/K/V 计算注意力的过程进行对应，来进一步说明这个技术为什么叫做 KVCache，而不是 QCache。

上图中，每一步的输入为上一步输出的预测单词，这个输入便是 Query，也就是注意力机制中使用到的 Q，那在注意力机制中使用的 K 和 V 在哪里呢？

在注意力机制计算中，尤其是 transformer 架构中的自注意力机制，K 和 V 被认为是存储了所有历史信息的字典，注意力机制的计算过程便是根据已发生的历史信息以及当前的输入 Query 来计算出下一个预测单词的概率。

因此，在 Prefill 阶段，因为是第一次输入，此时的 Q/K/V 都等于原始输入对应的词向量，也就是说，此时的 Q/K/V 都是“今天你吃饭了吗？”。

而在第一个 Decode 的过程中，输入的 Q 为 Prefill 的输出“我”，此时的 K 和 V 需要包含历史信息，就变成了“今天你吃饭了吗？”，同理，第二个 Decode 的过程中输入 Q 为“不”，而此时的 K 和 V 则为“今天你吃饭了吗？我”，以此类推，直到输出一个完整的句子。

因为 K 和 V 是存储了历史信息的，因此只需要多 K 和 V 做缓存，Q 不需要，这也是为什么这个技术叫做 KVCache 的原因。

KVCache 的增长

你可以看到，在 Decode 的阶段，每一步的输入和输出都是一个单词，但是在计算注意力机制的过程中，使用的 K 和 V 则包含历史信息，可以说 K 和 V 的长度，是随着输出的增长而不断增长的。

相信你看到这里，大概能明白为什么要使用 KVCache 了。

主要的原因是：

在Decode 的阶段，每预测一个新的输出，计算注意力的过程中使用的 K 和 V 有绝大部分是历史信息，而这些历史信息在上一步其实已经计算过了，完全没有必要每生成一个新的单词重复进行相关的计算。

这便是 KVCache 这个技术提出的背景，其目的主要还是为了加速大模型在推理过程中的计算速度。

在计算机科学中，有一种性能优化的思想叫做“用空间换时间”，KVCache 便是一种典型的牺牲了内存空间，减少了程序的运行时间的方法。

当当当当，如果你看到了这里并且理解了上面对于 KVCache 提出的背景以及原理，我相信你在面试中绝对可以对与 KVCache 有关的题目应对自如了。

并且如果可以把这篇文章背下来，拿个面试满分也不是没有可能得呀。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】