原文: https://mp.weixin.qq.com/s/PDq5QuTZOtJr_SbnD-29qA
超神！verl助力大语言模型强化学习，多项特性引领行业新潮流
verl 是一个用于大语言模型的强化学习框架的工具库。简单讲，它帮助开发者用强化学习技术优化大语言模型的输出表现。适用人群：AI研究人员、大模型开发人员
项目地址：https://github.com/volcengine/verl
主要语言：Python
stars: 15.6k
仓库介绍
verl 是由字节跳动种子团队发起，verl 社区维护的一个用于大语言模型（LLMs）的强化学习训练库，它是 HybridFlow: A Flexible and Efficient RLHF Framework 论文的开源版本。
优势
- 灵活性与易用性
- 算法扩展容易：通过混合控制器编程模型，能灵活表示和高效执行复杂的训练后数据流，只需几行代码就能构建如 GRPO、PPO 等强化学习数据流。
- 无缝集成现有 LLM 基础设施：利用模块化 API 解耦计算和数据依赖，可与 FSDP、Megatron - LM、vLLM、SGLang 等现有 LLM 框架无缝集成。
- 灵活的设备映射：支持将模型灵活放置在不同的 GPU 集合上，能有效利用资源，并在不同集群规模下实现可扩展性。
- 与流行模型集成：可与 HuggingFace 上的流行模型轻松集成。
- 高效性
- 先进的吞吐量：集成了最先进的 LLM 训练和推理引擎，实现了 SOTA 的强化学习吞吐量。
- 高效的 actor 模型重分片：3D - HybridEngine 消除了内存冗余，显著减少了训练和生成阶段之间转换时的通信开销。
核心功能
- 训练框架支持：支持 FSDP、FSDP2 和 Megatron - LM 进行训练。
- 生成引擎支持：使用 vLLM、SGLang 和 HF Transformers 进行滚动生成。
- 模型兼容性：与 Hugging Face Transformers 和 Modelscope Hub 中的多种模型兼容，如 Qwen - 3、Qwen - 2.5、Llama3.1 等。
- 训练方式：提供监督微调以及多种强化学习算法，如 PPO、GRPO、GSPO 等。支持基于模型的奖励和基于函数的奖励，适用于数学、编码等任务；支持视觉语言模型（VLMs）和多模态强化学习；支持多轮对话和工具调用。
- 对齐配方：提供 LLM 对齐配方，如自我博弈偏好优化（SPPO）。
- 技术支持：支持 Flash attention 2、序列打包、序列并行等技术，还支持 LoRA、Liger - kernel 等。
- 扩展性：可扩展到 671B 模型和数百个 GPU，支持多 GPU 的 LoRA RL 以节省内存。
- 实验跟踪：支持使用 wandb、swanlab、mlflow 和 tensorboard 进行实验跟踪。
应用场景
- 大语言模型训练：可用于各种大语言模型的强化学习训练，提升模型在数学、编码等任务上的性能。
- 多模态学习：支持视觉语言模型和多模态强化学习，适用于需要处理多种模态数据的场景。
- 智能对话系统：通过多轮对话和工具调用支持，可用于开发更智能的对话系统。
最新消息
- 2025 年 8 月，verl 在 PyTorch 专家交流网络研讨会上展示，相关幻灯片可获取。
- 2025 年 7 月，ReTool 配方完全开源，首个 verl 见面会将在 ICML 温哥华举行。
- 2025 年 6 月，verl 结合 Megatron 后端支持 DeepSeek - 671B 和 Qwen3 - 235B 等大型 MoE 模型。
- 2025 年 3 月，DAPO 算法开源，其训练由 verl 提供支持。
未来规划
- 包括 Q3 路线图、DeepSeek 671b 优化、多轮滚动和工具使用优化、代理集成、异步和离策略架构等。
入门指南
文档提供了详细的入门指南，包括安装、快速开始、编程指南、PPO 和 GRPO 示例等内容，还介绍了运行 PPO 示例的详细步骤、可复现的算法基线以及代码解释和高级用法。
性能调优
提供了详细的性能调优指南，帮助用户优化性能。
相关升级说明
- 支持 vLLM >= 0.8.2，使用 FSDP 作为训练后端时可参考相关安装指南。
- 全面支持 FSDP2，设置相关选项即可启用，且 FSDP2 的 CPU 卸载与梯度累积兼容。
- 支持 AMD（ROCm 内核），提供了安装指南和 vLLM 性能调优文档。
一行代码让LLM拥有持久记忆，Memori开源SQL内存引擎节省80-90%成本！
Memori 是一个开源的 LLM 和 AI 代理记忆引擎。简单讲，它能帮助大模型和智能体记住之前的信息，实现长期记忆和多智能体协作。适用人群：AI开发者、LLM应用研究者。
项目地址：https://github.com/GibsonAI/Memori
主要语言：Python
stars: 3.0k
核心功能
- 借助
memori.enable()这一简单代码行，就能让任意大语言模型（LLM）具备记忆对话、从交互中学习以及跨会话保持上下文的能力。 - 记忆数据存储于标准 SQL 数据库（如 SQLite、PostgreSQL、MySQL），用户可完全自主掌控。
主要优势
- 集成简便：仅需一行代码，就能与 OpenAI、Anthropic、LiteLLM、LangChain 等各类 LLM 框架实现集成。
- SQL 原生存储：存储的记忆数据具有可移植性、可查询性和可审计性，用户能自主控制数据库。
- 成本降低：无需使用昂贵的向量数据库，可节省 80 - 90% 的成本。
- 无供应商锁定：可将记忆数据导出为 SQLite 格式，便于迁移。
- 智能记忆：能够自动进行实体提取、关系映射和上下文优先级排序。
快速上手
通过 pip install memorisdk 命令安装 memorisdk，然后使用以下示例代码即可开启记忆功能：
from memori import Memori
from openai import OpenAI# 初始化
memori = Memori(conscious_ingest=True)
memori.enable()client = OpenAI()# 首次对话
response = client.chat.completions.create(model="gpt-4o-mini",messages=[{"role": "user", "content": "I'm building a FastAPI project"}]
)# 后续对话 - Memori 自动提供上下文
response = client.chat.completions.create(model="gpt-4o-mini",messages=[{"role": "user", "content": "Help me add authentication"}]
)
# LLM 自动知晓你的 FastAPI 项目
数据库支持
支持多种 SQL 数据库，包括 SQLite、PostgreSQL、MySQL、Neon 和 Supabase，并给出了相应的连接字符串示例。
LLM 框架支持
通过 LiteLLM 的原生回调系统，可与众多 LLM 框架兼容，如 OpenAI、Anthropic、LiteLLM、LangChain、Azure OpenAI 等，还支持 100 多种 LiteLLM 兼容的模型。
配置选项
- 持久存储：可在初始化
Memori时配置数据库连接字符串、记忆模式和 API 密钥等参数。 - 记忆模式：提供 Conscious Mode（一次性工作记忆注入）、Auto Mode（每次查询动态搜索）和 Combined Mode（两者结合）三种模式。
- 使用 ConfigManager：可通过环境变量或配置文件自动加载配置信息。
架构概述
Memori 通过拦截 LLM 调用，在调用前注入上下文，调用后记录对话。具体流程如下：
- 调用前：拦截应用的 LLM 调用，由检索代理或意识代理检索相关记忆，并将上下文注入消息中。
- 调用后：接收 LLM 响应，由记忆代理提取实体、分类并存储对话到 SQL 数据库，同时返回原始响应给应用。
- 后台任务：意识代理每 6 小时分析模式，将重要记忆从长期存储提升到短期存储。
示例代码
提供了多种示例代码，涵盖基本使用、个人助理、记忆检索、高级配置、多用户场景等方面，方便用户参考。
框架集成
展示了与多种框架的集成示例，如 AgentOps、Agno、AWS Strands、Azure AI Foundry 等，实现不同的功能。
交互式演示
提供了两个交互式演示，分别是个人日记助手（用于情绪跟踪和模式分析）和研究助手（具备网络搜索功能），用户可在线体验。
