verl与vLLM集成实战：推理-训练无缝切换部署案例

1. verl 介绍

verl 是一个灵活、高效且可用于生产环境的强化学习（RL）训练框架，专为大型语言模型（LLMs）的后训练设计。它由字节跳动火山引擎团队开源，是 HybridFlow 论文的开源实现。

这个框架的核心目标是解决 LLM 后训练中常见的效率瓶颈问题——尤其是在强化学习阶段，推理和训练需要频繁切换，传统流程往往存在通信开销大、资源利用率低、部署复杂等问题。verl 通过创新的 3D-HybridEngine 和 Hybrid 编程模型，实现了推理与训练之间的高效协同，特别适合在大规模集群上进行高吞吐的 RL 训练任务。

verl 具有以下特点，使其灵活且易于使用：

易于扩展的多样化 RL 算法：Hybrid 编程模型结合了单控制器和多控制器范式的优点，能够灵活表示并高效执行复杂的后训练数据流。用户只需几行代码即可构建 RL 数据流。
与现有 LLM 基础设施无缝集成的模块化 API：通过解耦计算和数据依赖，verl 能够与现有的 LLM 框架（如 PyTorch FSDP、Megatron-LM 和 vLLM）无缝集成。此外，用户可以轻松扩展到其他 LLM 训练和推理框架。
灵活的设备映射和并行化：支持将模型灵活地映射到不同的 GPU 组上，以实现高效的资源利用，并在不同规模的集群上具有良好的扩展性。
与流行的 HuggingFace 模型轻松集成：verl 能够方便地与 HuggingFace 模型进行集成，降低迁移成本。

同时，verl 在性能方面也表现出色：

最先进的吞吐量：通过无缝集成现有的 SOTA LLM 推理框架（如 vLLM），verl 实现了高生成和训练吞吐量，显著缩短了每个训练周期的时间。
基于 3D-HybridEngine 的高效 Actor 模型重分片：这一技术消除了内存冗余，并大幅减少了在推理和训练模式之间切换时的通信开销，使得整个 RL 流程更加流畅高效。

正是这些特性，让 verl 成为当前少数能真正实现“推理-训练”无缝切换的生产级 RL 框架之一。

2. Verl 安装与验证

在开始集成实践前，首先需要确保 verl 已正确安装并可正常调用。以下是详细的安装与验证步骤。

2.1 进入 Python 环境

建议使用虚拟环境来管理依赖，避免版本冲突。你可以使用conda或venv创建独立环境：

conda create -n verl-env python=3.10 conda activate verl-env

或使用 venv：

python -m venv verl-env source verl-env/bin/activate # Linux/Mac # 或 verl-env\Scripts\activate # Windows

2.2 安装 verl

目前 verl 尚未发布到 PyPI，需从 GitHub 仓库源码安装。执行以下命令：

git clone https://github.com/volcengine/verl.git cd verl pip install -e .

安装过程中会自动安装依赖项，包括torch,transformers,accelerate,ray等常用库。若你计划与 vLLM 集成，请额外安装 vLLM：

pip install vllm

注意：vLLM 对 CUDA 版本和 PyTorch 版本有特定要求，建议使用 CUDA 11.8 或 12.1，PyTorch 2.0+，具体请参考 vLLM 官方文档。

2.3 验证安装

进入 Python 解释器，尝试导入 verl 并查看版本号：

import verl print(verl.__version__)

如果输出类似0.1.0或具体的提交版本号（如0.1.0+git.sha.abc123），说明安装成功。

此外，还可以运行一个简单的测试脚本来确认核心组件是否可用：

from verl.utils import get_ranks_in_group print("Verl imported successfully!")

无报错即表示基础环境已准备就绪。

3. vLLM 与 verl 集成原理

要理解 verl 如何实现“推理-训练无缝切换”，关键在于其对 vLLM 的深度集成机制。

3.1 为什么选择 vLLM？

在传统的 RLHF（Reinforcement Learning from Human Feedback）流程中，Actor 模型生成响应（即推理阶段）通常使用 HuggingFace Transformers 的generate()方法。但这种方法在批量处理多个 prompt 时效率较低，尤其在高并发场景下容易成为性能瓶颈。

vLLM 凭借 PagedAttention 技术，实现了接近理论极限的推理吞吐量，支持连续批处理（continuous batching）、KV Cache 分页管理等先进特性，非常适合用于大规模采样任务。

verl 正是看中了这一点，原生支持将 vLLM 作为推理后端，从而大幅提升 rollout 阶段的效率。

3.2 集成架构解析

verl 将训练流程划分为多个“角色”（role），主要包括：

Rollout Worker：负责调用 Actor 模型生成文本（即推理）
Training Worker：负责更新模型参数（即训练）
Data Collector：收集生成的数据并打包发送给训练节点

当使用 vLLM 时，Rollout Worker 会启动一个轻量级的 vLLM 引擎实例，加载 Actor 模型，并通过 RPC 或共享内存方式接收 prompts，快速生成 responses。

更重要的是，verl 利用3D-HybridEngine实现了模型状态的智能重分片。例如，在推理阶段，模型可能以 tensor parallelism=4 的方式分布在 4 张 GPU 上；而在训练阶段，为了配合 FSDP（Fully Sharded Data Parallel），需要重新组织为 pipeline + data parallelism 结构。传统方法需要完整的模型复制和通信同步，耗时严重。

而 verl 的 HybridEngine 可以在不中断流程的前提下，动态调整模型的并行策略，仅传输必要的梯度和参数片段，极大降低了切换开销。

3.3 数据流示意图

[Prompts] ↓ [Rollout Workers] → 使用 vLLM 加载 Actor 模型 → 生成 Responses ↓ [Experience Buffer] ← 收集 (prompt, response, reward) 三元组 ↓ [Training Workers] ← FSDP 分布式训练更新 Actor/Critic ↻ [模型更新后重新加载至 vLLM]

整个过程形成闭环，且推理与训练可以异步并行，进一步提升整体吞吐。

4. 实战：搭建 verl + vLLM 推理-训练流水线

下面我们通过一个实际案例，演示如何使用 verl 和 vLLM 构建一个完整的 RL 训练流水线。

4.1 准备预训练模型

我们以 HuggingFace 上的meta-llama/Llama-3.2-1B为例（也可替换为你自己的模型）：

huggingface-cli login

确保已登录并有权访问该模型。

4.2 编写配置文件

创建config.py文件，定义训练参数：

from verl.configs.base import get_base_config config = get_base_config() config.trainer_name = 'ppo' # 使用 PPO 算法 config.data.batch_size = 256 # 总 batch size config.rollout.num_rollout_workers = 2 config.rollout.per_worker_batch_size = 128 config.model.pretrained_model_name_or_path = 'meta-llama/Llama-3.2-1B' config.model.use_vllm = True # 启用 vLLM 推理 config.model.vllm_tensor_parallel_size = 2 config.train.total_steps = 1000 config.optimizer.lr = 1e-5

4.3 启动训练脚本

创建主训练脚本train_ppo.py：

import torch from verl import launch from verl.utils.fsdp_utils import fsdp_config from verl.trainer.ppo.main_single_machine import main_ppo if __name__ == '__main__': local_rank = int(torch.distributed.get_rank()) # 加载配置 from config import config # 启动分布式训练 with launch(config): main_ppo(config)

4.4 运行命令

假设你有 4 张 A100 GPU，执行以下命令：

CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --nproc_per_node=4 train_ppo.py

verl 会自动完成以下操作：

在每张 GPU 上初始化进程
使用 vLLM 加载 Llama 模型（tensor parallel=2，共两个 worker）
开始 rollout 生成对话样本
收集经验并计算奖励（可自定义 reward function）
执行 PPO 更新，使用 FSDP 进行梯度同步
循环往复，直到达到指定训练步数

4.5 监控与日志

训练过程中，verl 会在控制台输出如下信息：

[Step 100] Rollout throughput: 1280 tokens/sec | Training loss: 0.432 | Reward: 0.78 [Step 200] Rollout throughput: 1310 tokens/sec | Training loss: 0.391 | Reward: 0.82

你也可以通过 TensorBoard 查看详细指标：