大模型面试必看！强化学习+模型优化+算法题，一篇搞定大厂面试核心考点（建议收藏）

本文是一份大模型岗位面试经验分享，涵盖强化学习算法(PPO/DPO/Verl框架)、模型蒸馏与量化技术、系统基础问题、核心代码实现(如beam search)以及算法题等多个方面。内容全面覆盖了大模型岗位面试的核心技术点，为准备大模型相关岗位的求职者提供了宝贵的面试参考和学习资源。

一面

1、介绍自己的中厂实习，从业务背景，困难，解决方法，自己的产出四个维度阐述。

2、 ppo 和 dpo 区别和原理。（因为实习做的就是 rl 相关）

3、是不是用的 Verl 框架做的 rl ？详细讲一下 verl 框架的训练流程。并讲一下配置文件中 rollout _ batchsize , global _ batch _ size , micro _ batch _ size _ per _ device _ for _ update , rollout . n 等等参数的关系，以及他们如何影响最终更新时每张显卡上的样本数。

4、reward function 如何设计的为什么这么设计？

5、critic model 作用是什么？为什么有了 reward model 还需要 critic model ?

6、有没有了解最近的 rl 方法？过了一遍 grpo , dapo , gspo 过了的主要改进点

7、计算机基础八股： B 树和 B 一树的区别。如果 CPU 突然被打满了，如何排查？什么情况下会出现锁，如何解决。

8、🔶核心代码模式，写一下大模型预测。

token 时， beam 树如何构建，如何得到最终的结果。（ pytorch 简单实现了一下，主要是还是讲明白）

9、📚手撕hot100，中等题，最小生成树。

二面

1、简单介绍中厂实习经历。

2、模型蒸馏的数据如何做的？如何清洗蒸馏得到的数据？

3、有没有使用强化学习做过数据仿真。这个之前看过一篇论文，刚好讲了一下。

4、有没有了解过训练推理一致性这个领域？我讲了一下强化学习领域的推训一致性，固定 flash attention 分块策略， vllm 推理框架固定 page attention 分块策略。

5、模型量化如何做的。 gptq , qat 等等，并说明为什么选择了w8a16的量化？

6、写一下 ppo 算法的损失函数和 GAE 优势函数。主要还是讲明白。

7、 grpo 算法中 kl 散度和之前的方法有什么区别？在 dapo 中为何舍弃了 kl 散度？

8、模型蒸馏的两种方式。硬标签和软标签。

9、介绍一下 kmeans 算法，如何设置合适的 k 值。如果在一个非常大的数据量中，如何实时增量更新，并动态管理 k 值。

10、✨一个场景题。

11、📚手撕题hot100，中等题，合并 k 个升序链表。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。