真香警告：为什么我用8B小模型碾压了235B/671B大模型？垂直Agent开发实战

垂直领域 Agent 落地：为什么我放弃 235B/671B，转而训练 8B （一）

1.结论先行

在做垂直领域 Agent 落地时，踩到的最大坑不是“模型不够聪明”，而是不够稳定。同样的输入，在多轮对话和复杂上下文（RAG、多工具返回、多步骤流程）下，模型会出现:

该调用工具不调用
调用了但参数不对
甚至在多轮对话中直接编造工具返回结果

对于“要端到端自动跑通”的业务流程来说，这类不确定性会导致整体一次通过率很难过 50%。

最初尝试过用更大的模型（如 Qwen3 235B、DeepSeek V3.1 671B）配合 Prompt/Context Engineering 去“优化流程”，但实践中发现：

当上下文越做越长、链路越做越复杂时，优化很难系统化复用
在某条路径上变好，不保证在更多轮次、更多工具返回格式、更多输入变体上依然稳定。

因此尝试了新的思路：用参数更小、推理成本更可控的 Qwen3-8B，把关键能力（领域理解 + 工具调用契约）通过后训练固化进模型。

具体做法分两阶段：

SFT：先把垂直领域背景知识、业务流程、字段含义注入，让模型“懂业务”；
DPO：再专门对齐工具调用偏好（何时调用、调用哪个函数、参数怎么填、如何解读返回），让模型“守规矩”。

结果：

SFT 后工具调用指标短期并没有变好（甚至略降），但回答开始贴近业务领域；
在扩大 DPO 数据覆盖（从 v1 到 v2，数据集扩大到原来的 5X）后，工具调用相关指标从约 30% 级别提升到约 97%～99% 级别；
在多轮对话与“think/推理能力”上做抽查回归，未发现明显损坏。

训练资源： SFT 用 1 张 A800 80G，DPO 用 2 张 A800 80G，整体投入“中小团队可承受”。

推理资源： 1 张 A800 80G，训练和导出模型为Qwen3 8B + lora合并，fp16版本，未作量化。

核心经验：在垂直 Agent 场景，与其无限加码 Prompt/Context 工程去对抗漂移，不如用小模型做可控后训练，把工具调用契约写进模型参数里，它更可回归、更可版本化，也更适合工程落地。

背景：开源模型更强了，为什么垂直 Agent 仍然难上线？

过去一年开源 LLM 的通用能力提升非常快，选择落地方案时，直觉是：选更大的基座模型，再加一点 Prompt Engineering、RAG 和流程编排，就能实现端到端自动化。但在垂直专业领域 + 多工具调用 + 多轮对话的 Agent 形态下，这条路经常会卡在“稳定性”上。

原因在于：垂直落地不是要做到“能聊会聊”，而是要做到“能稳定且准确执行”。系统对 LLM 的要求不是偶尔答对，而是持续满足三件事：

1）该调用工具就调用：对陌生场景不能依靠幻觉凭空猜测；
2）调用要严格正确：函数名、参数、类型、枚举值都要对，还能结构化输出方便解析；
3）返回要稳定解读：工具返回一复杂，模型很容易被格式噪声带偏，导致同一条数据多次处理结论不一致。

而单纯依赖 Prompt/Context 工程会引入一个现实困境：

为了“修补模型能力”，上下文会越来越长（多轮历史、RAG 片段、工具返回、流程状态……），这会带来指令衰减与注意力漂移，最终表现为“前几轮守规矩，后几轮开始乱来”。
当你用流程去强行兜底（重试、校验、补充提示）时，系统复杂度上升，失败模式也会变得更随机，导致流程优化很难稳定复用。

在这样的背景下，我把目标从“把流程编排得更强”转成“把行为对齐得更稳”：用 8B 小模型做后训练，把领域语义与工具调用契约显式固化下来，让模型在复杂上下文里也能更像一个可控组件，从而真正支撑端到端流程自动化。

现有指标表

指标含义定义：

tool_call_accuracy：是否调用工具（与期望一致）；若调用，则函数名与参数必须完全正确才算对（严格口径）。
tool_name_accuracy：在“模型发生工具调用”的情况下，函数名正确率。
tool_args_accuracy：在“模型发生工具调用”的情况下，参数与预期一致的比例。
response_quality：回答是否存在超短、结尾重复、或不匹配的标签等格式问题（值越高越好）。

表1：各训练阶段指标对比

表2：相对 Baseline 的变化

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～