verl + vLLM组合实战：实现高效推理与训练切换

1. 背景与目标：为什么需要灵活的RL训练框架？

大型语言模型（LLM）在完成预训练后，通常需要通过强化学习（Reinforcement Learning, RL）进行后训练优化，以更好地对齐人类偏好。这一过程常被称为RLHF（Reinforcement Learning from Human Feedback），其核心挑战在于如何在高吞吐、低延迟的推理生成与大规模分布式训练之间高效切换。

传统方案往往面临两个痛点：

推理和训练使用不同的并行策略，导致模型在“生成”和“更新”阶段频繁重分片，带来巨大通信开销；
数据流逻辑复杂，难以灵活支持PPO、GRPO等多样化算法。

而verl正是为解决这些问题而生。它由字节跳动火山引擎团队开源，是一个专为LLM后训练设计的高性能强化学习框架。结合vLLM这一业界领先的高吞吐推理引擎，verl实现了从推理到训练的无缝衔接，显著提升了整体效率。

本文将带你深入理解verl + vLLM的协同机制，并通过实际配置示例展示如何构建一个高效的RL训练流程，尤其适用于像Qwen3-8B这样的中大型模型。

2. verl 核心架构解析

2.1 HybridFlow 编程范式：灵活定义数据流

verl 的一大创新是引入了HybridFlow编程模型，融合了单控制器与多控制器的优势：

单控制器负责高层调度，确保数据流逻辑清晰、易于扩展；
多控制器则用于底层并行任务执行，保障性能最大化。

这种混合控制方式让开发者可以用“搭积木”的方式拼接RL训练流程：从提示输入 → 多轮采样 → 奖励计算 → 优势估计 → 模型更新，每一步都可以独立配置和替换。

[Configs/Launcher] │ ▼ [Trainer 主循环] ── 调 Ray & HybridFlow → 安排任务图 │ ├── 用 [Rollout Engine: vLLM/SGLang] 生成轨迹 ├── 调 [Reward] 计算奖励 ├── 调 [Algorithms] 做优势/损失（PPO/GRPO…） └── 用 [Training Engine: FSDP/Megatron] 反向更新

整个系统基于Ray实现分布式调度，能够轻松扩展到多节点GPU集群。

2.2 3D-HybridEngine：训练与推理间的零冗余切换

这是 verl 性能卓越的关键所在——3D-HybridEngine。

在典型的RLHF流程中，actor模型需要在两个模式间反复切换：

Rollout（推理）模式：生成响应文本，要求低延迟、高吞吐；
Training（训练）模式：反向传播更新参数，要求支持FSDP或Megatron等分布式训练策略。

不同模式下，模型的张量并行、流水线并行策略可能完全不同。传统做法是在每次切换时重新加载模型或做全量通信，造成显存浪费和通信瓶颈。

3D-HybridEngine 通过智能的权重重分片（reshard）机制，仅传输必要的梯度和状态信息，避免重复拷贝，大幅降低通信开销。实测表明，在多种RL算法上，verl 相比现有系统可实现1.53×–20.57× 的吞吐提升。

3. 集成 vLLM：打造超高吞吐的推理后端

3.1 为什么选择 vLLM？

vLLM 是当前最主流的LLM推理引擎之一，具备以下关键特性：

使用PagedAttention技术，显著提升KV缓存利用率；
支持连续批处理（continuous batching），提高GPU利用率；
易于集成，API简洁，兼容HuggingFace模型格式。

当 verl 将 rollout 阶段交给 vLLM 执行时，意味着你可以获得接近理论极限的推理吞吐，这对于RL训练至关重要——因为每一轮迭代都需要大量样本。

3.2 如何在 verl 中启用 vLLM

只需在配置中指定rollout.name=vllm，verl 即会自动调用 vLLM 启动推理服务。以下是关键参数说明：

参数	说明
`actor_rollout_ref.rollout.name`	设置为`vllm`表示使用 vLLM 作为推理引擎
`actor_rollout_ref.rollout.tensor_model_parallel_size`	张量并行度，如设为2表示使用2卡TP
`actor_rollout_ref.rollout.gpu_memory_utilization`	控制vLLM使用的显存比例，默认0.9
`actor_rollout_ref.rollout.n`	每个prompt生成多少条候选（GRPO需>1）

例如，以下片段启用了vLLM进行组采样：

actor_rollout_ref.rollout.name=vllm actor_rollout_ref.rollout.tensor_model_parallel_size=2 actor_rollout_ref.rollout.gpu_memory_utilization=0.6 actor_rollout_ref.rollout.n=5

这表示每个输入提示将并行生成5条响应，构成一个“组”，供后续GRPO算法使用。

4. GRPO训练实战：无需Critic的高效策略优化

4.1 GRPO 算法原理简介

Group Relative Policy Optimization（GRPO）是一种去中心化的强化学习方法，其最大特点是不依赖价值网络（critic）。

传统PPO需要训练一个额外的critic来估计状态价值，增加了计算负担。而GRPO采用“组内对比”的思想：

对同一问题生成多个回答（形成“组”）；
计算每条回答的奖励得分；
以组内平均奖励为基线，优于基线的回答被鼓励，劣于基线的被抑制。

这种方式省去了critic训练，简化了流程，同时保持了良好的收敛性。

4.2 完整训练脚本详解

下面是一个基于 Qwen3-8B 模型、使用 verl + vLLM 进行 GRPO 训练的完整命令行脚本：

set -x python3 -m verl.trainer.main_ppo \ algorithm.adv_estimator=grpo \ data.train_files=$HOME/data/gsm8k/train.parquet \ data.val_files=$HOME/data/gsm8k/test.parquet \ data.train_batch_size=1024 \ data.max_prompt_length=512 \ data.max_response_length=1024 \ data.filter_overlong_prompts=True \ data.truncation='error' \ actor_rollout_ref.model.path=Qwen/Qwen3-8B \ actor_rollout_ref.actor.optim.lr=1e-6 \ actor_rollout_ref.model.use_remove_padding=True \ actor_rollout_ref.actor.ppo_mini_batch_size=256 \ actor_rollout_ref.actor.ppo_micro_batch_size_per_gpu=32 \ actor_rollout_ref.actor.use_kl_loss=True \ actor_rollout_ref.actor.kl_loss_coef=0.001 \ actor_rollout_ref.actor.kl_loss_type=low_var_kl \ actor_rollout_ref.actor.entropy_coeff=0 \ actor_rollout_ref.model.enable_gradient_checkpointing=True \ actor_rollout_ref.actor.fsdp_config.param_offload=False \ actor_rollout_ref.actor.fsdp_config.optimizer_offload=False \ actor_rollout_ref.rollout.log_prob_micro_batch_size_per_gpu=32 \ actor_rollout_ref.rollout.tensor_model_parallel_size=2 \ actor_rollout_ref.rollout.name=vllm \ actor_rollout_ref.rollout.gpu_memory_utilization=0.6 \ actor_rollout_ref.rollout.n=5 \ actor_rollout_ref.ref.log_prob_micro_batch_size_per_gpu=32 \ actor_rollout_ref.ref.fsdp_config.param_offload=True \ algorithm.use_kl_in_reward=False \ trainer.critic_warmup=0 \ trainer.logger='["console","wandb"]' \ trainer.project_name='verl_grpo_example_gsm8k' \ trainer.experiment_name='qwen3_8b_function_rm' \ trainer.n_gpus_per_node=8 \ trainer.nnodes=1 \ trainer.save_freq=20 \ trainer.test_freq=5 \ trainer.total_epochs=15 $@

我们逐段解读这个脚本的核心部分。

数据配置

data.train_files=$HOME/data/gsm8k/train.parquet data.val_files=$HOME/data/gsm8k/test.parquet data.train_batch_size=1024 data.max_prompt_length=512 data.max_response_length=1024

使用GSM8K数学推理数据集，格式为Parquet；
每次处理1024个prompt；
输入最大长度512，输出最大1024 token。

模型与训练设置

actor_rollout_ref.model.path=Qwen/Qwen3-8B actor_rollout_ref.actor.optim.lr=1e-6 actor_rollout_ref.model.enable_gradient_checkpointing=True

使用 HuggingFace 上的 Qwen3-8B 模型；
学习率设为1e-6，适合微调；
开启梯度检查点以节省显存。

分布式训练配置

actor_rollout_ref.actor.fsdp_config.param_offload=False actor_rollout_ref.actor.fsdp_config.optimizer_offload=False trainer.n_gpus_per_node=8 trainer.nnodes=1

使用FSDP进行数据并行训练；
不开启参数卸载，保证速度；
单节点8卡运行。

推理与采样设置（关键！）

actor_rollout_ref.rollout.name=vllm actor_rollout_ref.rollout.tensor_model_parallel_size=2 actor_rollout_ref.rollout.n=5

使用vLLM作为推理引擎；
张量并行度为2，即每2张卡组成一个TP组；
每个prompt生成5条候选，满足GRPO的“组采样”需求。

GRPO专属参数

algorithm.adv_estimator=grpo actor_rollout_ref.actor.use_kl_loss=True actor_rollout_ref.actor.kl_loss_coef=0.001

明确指定使用GRPO算法；
使用KL散度作为正则项，防止偏离参考策略太远；
KL系数设为0.001，平衡探索与稳定性。

5. 性能调优建议与常见问题

5.1 提升训练效率的关键技巧

合理设置 micro_batch_size
- ppo_micro_batch_size_per_gpu控制单卡前向/反向传播的样本数；
- 若出现OOM，优先减小该值而非全局batch size。
利用3D-HybridEngine减少切换开销
- 确保训练与推理的设备映射一致；
- 避免不必要的模型复制。
启用remove_padding优化
```
actor_rollout_ref.model.use_remove_padding=True
```
- 可显著减少vLLM中的无效计算。
日志与监控
```
trainer.logger='["console","wandb"]'
```
- 推荐接入WandB，便于追踪loss、reward、KL等指标变化趋势。