ms-swift内置GRPO族强化学习算法，包括DAPO、GSPO、SAPO提升模型智能度

ms-swift 内置 GRPO 族强化学习算法：从“能说”到“会想”的智能跃迁

在大模型迈向真正“智能体”的道路上，一个核心挑战逐渐浮现：如何让模型不只是复述知识、生成通顺语句，而是能在复杂任务中做出有判断、有取舍、有远见的决策？

传统的监督微调（SFT）虽然能让模型学会“正确回答”，但在面对多轮对话一致性、工具调用路径选择、长序列推理等场景时，往往显得力不从心。即便近年来流行的 DPO（Direct Preference Optimization）简化了 RLHF 流程，其对成对偏好数据的依赖和静态训练范式的局限，仍难以支撑动态环境下的持续进化。

正是在这一背景下，ms-swift——魔搭社区推出的全流程大模型工程框架，率先集成了GRPO 族强化学习算法体系，包括 DAPO、GSPO、SAPO 等前沿变体，构建了一条从基础对齐到高阶智能进化的完整技术链路。这套系统不仅降低了高级对齐技术的应用门槛，更让开发者能够训练出具备初步“类人思维”的智能代理（Agent）。

当前对齐技术的瓶颈与突破方向

我们不妨先看几个现实中的典型问题：

为什么同一个客服机器人，在连续五轮对话后开始自相矛盾？
为什么代码助手生成的函数逻辑看似正确，却无法通过单元测试？
为什么问答模型总爱“一本正经地胡说八道”，即使它已被反复纠正？

这些问题的背后，本质上是模型缺乏内在价值评估机制和长期行为规划能力。SFT 教会它“怎么说”，DPO 告诉它“哪种说法更好”，但都无法解决“在多种可能路径中如何选择最优策略”的根本难题。

为此，研究者们开始探索将强化学习的思想深度融入偏好优化框架。不同于传统 PPO 需要维护独立的价值网络、训练不稳定且实现复杂，新一代方法试图在保留可微分优势的同时，引入更强的决策建模能力。这就是GRPO（Generalized Reinforcement Preference Optimization）的由来。

GRPO 并非单一算法，而是一个统一范式：它将人类偏好的序关系转化为可微分的目标函数，同时允许接入外部奖励信号、环境反馈或多步轨迹信息，从而支持更灵活的训练模式。更重要的是，它无需显式构造 critic 网络，大幅降低了工程复杂度。

在 ms-swift 中，这一思想被进一步扩展为一系列专用优化器，针对不同应用场景进行定制化设计。

GRPO：通用偏好优化的基石

GRPO 的核心在于定义一个概率化的偏好函数：

$$
P(y_1 \succ y_2|x) = \sigma\left( r_\theta(y_1|x) - r_\theta(y_2|x) \right)
$$

其中 $ r_\theta $ 是策略模型自身隐含的奖励估计，$ \sigma $ 为 Sigmoid 函数。通过最大化偏好正确的样本对数似然，并加入 KL 正则项防止偏离参考模型过多，得到最终目标：

$$
\mathcal{L}{\text{GRPO}} = \mathbb{E}{(y_w, y_l)} \left[ -\log \sigma\left( r_\theta(y_w|x) - r_\theta(y_l|x) \right) + \beta \cdot \text{KL}( \pi_\theta || \pi_{\text{ref}} ) \right]
$$

相比 DPO，GRPO 的关键突破在于开放性：

支持非成对数据（如单条评分）
可融合多个奖励来源（RM + 规则函数 + 执行结果）
兼容异步采样架构（如 vLLM）

这意味着你可以轻松插入一个 Python 函数作为“事实核查器”，或接入一个 API 判断代码是否可运行，这些信号都会自动参与梯度更新。

from swift import Trainer, SwiftConfig config = SwiftConfig( task='grpo', model_type='qwen3', reward_model='my_fact_check_rm', # 自定义奖励模型 reference_model='qwen3-base', beta=0.1, train_dataset='hf://dataset/pref-data', use_vllm_sampler=True, # 启用vLLM加速采样 ) trainer = Trainer(config) trainer.train()

这段代码展示了 GRPO 的典型配置流程。只需指定task='grpo'，并绑定奖励模型与参考模型，即可启动训练。启用use_vllm_sampler后，样本生成速度可提升 3 倍以上，尤其适合需要大量候选响应的任务。

DAPO：捕捉“好”与“更好”的细微差距

如果你希望模型不仅能区分好坏，还能识别“高质量”与“超高质”的差异，那么 DAPO（Direct Advantage Preference Optimization）会是一个理想选择。

DAPO 的核心思想是引入优势函数（Advantage Function）：

$$
A(y_i|x) = r(y_i|x) - \bar{r}(x)
$$

即每个响应相对于当前输入下平均表现的超出程度。这样做的好处是避免绝对打分带来的偏差，转而关注相对提升。其损失函数如下：

$$
\mathcal{L}{\text{DAPO}} = -\mathbb{E} \left[ \sum{w,l} \log \sigma\left( \beta \cdot (A_\theta(y_w|x) - A_\theta(y_l|x)) \right) \right]
$$

这种机制特别适用于以下场景：

多候选排序（如搜索引擎返回结果）
对话系统中筛选最佳回复
编程助手生成多个解法后的择优

由于 DAPO 显式建模了基线水平，因此对噪声标签更具鲁棒性，也更容易与 Reranker 模块协同工作，形成“生成 → 排序 → 反馈 → 再优化”的闭环。

config = SwiftConfig( task='dapo', advantage_estimator='moving_average', # 动态调整基线 num_candidates_per_sample=5, # 每样本生成5个候选 rerank_with_rm=True, # 使用RM重排序 enable_candidate_diversity=True # 启用n-gram抑制 )

这里的关键参数是num_candidates_per_sample和advantage_estimator。前者控制多样性，后者确保优势计算稳定。配合rerank_with_rm=True，可在训练前完成高质量候选预筛，显著提升收敛效率。

GSPO：面向群体偏好的排序优化

现实中的人类标注往往不是两两对比，而是直接从一组答案中选出“最满意的一个”。比如 A/B/n 测试、N-best 列表评估等，这类数据天然具有全序或偏序结构。

GSPO（Group-wise Preference Optimization）正是为此设计。给定一组响应 $ Y = {y_1, …, y_n} $ 及其排序关系 $ \succ_Y $，GSPO 最大化整体排序正确的概率：

$$
\mathcal{L}{\text{GSPO}} = -\mathbb{E}{Y,\succ_Y} \left[ \sum_{y_i \succ y_j} \log \sigma\left( s_\theta(y_i|x) - s_\theta(y_j|x) \right) \right]
$$

这种方法的优势非常明显：

更贴近真实标注模式
单次采样即可获得丰富监督信号
天然适配检索增强生成（RAG）中的重排阶段

此外，GSPO 还能与 embedding 学习、reranker 训练共训，实现跨任务的知识迁移。

config = SwiftConfig( task='gspo', group_size=4, # 每组4个候选 sample_strategy='top_p', loss_type='listwise' # 使用ListNet/SoftRank等列表级损失 )

设置loss_type='listwise'后，系统将采用基于排名分布的损失函数，比传统的 pairwise ranking 更能反映整体排序质量。

SAPO：专为 Agent 设计的时序决策引擎

如果说前面几种算法还在“回答问题”的范畴内演进，那么 SAPO（Step-wise Advantage Preference Optimization）已经迈入了智能体行为建模的新领域。

SAPO 的目标是优化完整的执行轨迹（trajectory），例如：

用户：“帮我查一下明天北京飞上海的航班，并预订 cheapest 的那一班。”
Agent 行动序列：
1. 调用search_flights(origin="Beijing", dest="Shanghai", date="tomorrow")
2. 解析返回结果，提取价格与时间
3. 调用book_flight(flight_id=..., payment_token=...)
4. 返回确认信息

在这个过程中，每一步动作都应受到全局目标的影响。SAPO 引入了强化学习中的优势估计：

$$
A_t = r_t + \gamma V(s_{t+1}) - V(s_t)
$$

并通过策略梯度更新：

$$
\mathcal{L}{\text{SAPO}} = -\mathbb{E}\tau \left[ \sum_t \log \pi_\theta(a_t|s_t) \cdot A_t \right]
$$

即使只有最终成败信号（稀疏奖励），也能通过 TD 误差反向传播指导中间步骤的学习。

更重要的是，SAPO 支持异构动作空间——文本生成、API 调用、等待指令等均可统一建模。结合 ms-swift 提供的环境插件机制，可以轻松搭建 Web 浏览器操作、数据库查询等仿真环境。

config = SwiftConfig( task='sapo', trajectory_format='agentml', # 使用标准轨迹格式 reward_shaping='td_lambda', # TD(λ) 奖励塑形 enable_multi_turn_sampling=True, environment_plugin='web_browser_env' # 注册浏览器环境 )

该配置可用于训练 Web Agent 完成自动化任务，如填写表单、比价购物、监控网页更新等。未来还可扩展至游戏 AI、工业调度等复杂控制系统。

实际应用中的关键考量

尽管 GRPO 族算法功能强大，但在落地过程中仍需注意若干工程实践要点：

数据质量优先

偏好数据必须覆盖多样场景，避免单一风格主导。建议采用“主动学习”策略：先用模型生成一批样本，人工标注后再回流训练，形成迭代优化闭环。

KL 系数调节

初始阶段建议设置较高 β 值（如 0.2），防止策略剧烈震荡；后期逐步降低至 0.05~0.1，以精细调整输出风格。

采样多样性保障

固定 greedy 解码容易导致模式坍塌。推荐使用 temperature > 0.7 或 top-k/top-p 采样，必要时启用 n-gram 抑制。

奖励模型校准

定期用人工标注验证 RM 打分准确性，防止“奖励黑客”现象——即模型学会欺骗奖励函数而非真正改进。

硬件资源规划

GRPO 类训练显存占用约为 SFT 的 1.5~2 倍，主要源于多候选生成与奖励计算开销。建议使用 A100 80GB 或 H100 显卡，千卡级任务可结合 Megatron-DeepSpeed 混合并行（TP+PP+ZeRO3）扩展。

通往自主智能体的技术底座

回顾整个技术演进路径，我们可以清晰地看到一条从“能说”到“会想”的跃迁轨迹：

[预训练] ↓ [指令微调 SFT] —— 学会“说什么” ↓ [DPO/KTO] —— 学会“哪种说法更好” ↓ [GRPO族算法] —— 学会“在多种可能中做决策” ↓ [评测 EvalScope] → [量化 GPTQ/AWQ] → [部署 vLLM/LMDeploy]

在这一体系中，ms-swift 不再只是一个微调工具，而是成为构建自主决策系统的底层支撑平台。无论是高精度客服机器人、智能编程助手，还是具备工具调用能力的通用 Agent，都可以基于这套框架快速搭建原型并投入生产。

尤为关键的是，其插件化架构极大提升了灵活性。用户可通过 Python 接口自定义奖励函数、注册环境插件、替换采样策略，真正实现“按需定制”。

展望未来，随着更多 GRPO 变体（如 CISPO、CHORD）的演进，以及与记忆机制、规划模块的深度融合，大模型或将真正迈向“类人思维”的新阶段。而 ms-swift 所提供的这套 GRPO 族算法体系，无疑正在为这场变革铺设坚实的轨道。