从0开始：DeepSeek-R1-Distill-Qwen快速入门指南

1. 学习目标与前置知识

1.1 学习目标

本文旨在为开发者提供一份完整、可执行、零基础起步的 DeepSeek-R1-Distill-Qwen-1.5B 模型使用指南。通过本教程，您将掌握以下核心技能：

• 理解 DeepSeek-R1-Distill-Qwen-1.5B 的技术定位与优势
• 掌握基于 vLLM 启动模型服务的完整流程
• 实现本地 API 客户端调用并完成对话测试
• 验证模型部署状态与输出质量
• 应用最佳实践提升推理表现

最终实现：在本地环境中一键启动模型服务，并通过 Python 脚本完成流式和非流式对话交互。

1.2 前置知识要求

为确保顺利跟随本教程操作，请确认已具备以下基础能力：

• 熟悉 Linux 命令行基本操作（cd, ls, cat 等）
• 具备 Python 编程基础（函数定义、类使用、异常处理）
• 了解 RESTful API 和 HTTP 请求基本概念
• 拥有 NVIDIA GPU 环境（推荐 T4 或以上显卡，CUDA 11.8+）

无需深度学习或大模型训练经验，所有步骤均面向初学者设计。

2. 模型介绍与技术特性

2.1 DeepSeek-R1-Distill-Qwen-1.5B 核心架构

DeepSeek-R1-Distill-Qwen-1.5B 是由 DeepSeek 团队推出的一款轻量化大语言模型，其核心技术路径如下：

基础模型：以 Qwen2.5-Math-1.5B 为教师模型
蒸馏方法：采用知识蒸馏（Knowledge Distillation）融合 R1 架构推理能力
优化目标：在保持高精度的同时显著降低计算资源消耗

该模型特别适用于边缘设备部署和低延迟场景下的数学推理、代码生成等任务。

2.2 关键性能指标

在 C4 数据集上的评估显示，该模型保留了原始教师模型85% 以上的语言理解能力，同时在法律、医疗等垂直领域 F1 分数提升 12–15 个百分点。

2.3 适用场景建议

• ✅ 数学问题求解（推荐加入“逐步推理”提示）
• ✅ 小规模代码生成与解释
• ✅ 边缘设备上的实时问答系统
• ✅ 教育类 AI 助手开发
• ❌ 复杂多跳推理（如科研论文分析）
• ❌ 超长文本生成（>2048 tokens）

3. 环境准备与服务启动

3.1 进入工作目录

首先切换至预设的工作空间目录：

cd /root/workspace

此目录通常包含模型权重、日志文件及配置脚本，是默认的服务运行根路径。

3.2 启动模型服务（vLLM 方式）

使用 vLLM 框架启动模型服务，执行以下命令：

python -m vllm.entrypoints.openai.api_server \ --model DeepSeek-R1-Distill-Qwen-1.5B \ --host 0.0.0.0 \ --port 8000 \ --tensor-parallel-size 1 \ --dtype auto \ --quantization awq \ > deepseek_qwen.log 2>&1 &

说明： ---model：指定模型名称或路径 ---port 8000：开放 OpenAI 兼容接口 ---quantization awq：启用 AWQ 量化以节省显存 - 输出重定向至deepseek_qwen.log，便于后续查看

服务将在后台运行，可通过日志文件验证启动状态。

3.3 查看服务启动状态

检查日志输出是否成功：

cat deepseek_qwen.log

若出现如下关键信息，则表示服务已正常启动：

INFO: Started server process [PID] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

此时模型服务已在http://localhost:8000/v1提供 OpenAI 兼容 API 接口。

4. 模型调用与功能测试

4.1 安装依赖库

确保已安装openai客户端库（用于对接 vLLM API）：

pip install openai

vLLM 完全兼容 OpenAI SDK，因此可直接复用现有客户端代码。

4.2 构建 LLM 客户端类

创建一个通用的LLMClient类，封装常见调用方式：

from openai import OpenAI import requests import json class LLMClient: def __init__(self, base_url="http://localhost:8000/v1"): self.client = OpenAI( base_url=base_url, api_key="none" # vLLM 不需要真实密钥 ) self.model = "DeepSeek-R1-Distill-Qwen-1.5B" def chat_completion(self, messages, stream=False, temperature=0.7, max_tokens=2048): """基础的聊天完成功能""" try: response = self.client.chat.completions.create( model=self.model, messages=messages, temperature=temperature, max_tokens=max_tokens, stream=stream ) return response except Exception as e: print(f"API调用错误: {e}") return None def stream_chat(self, messages): """流式对话示例""" print("AI: ", end="", flush=True) full_response = "" try: stream = self.chat_completion(messages, stream=True) if stream: for chunk in stream: if chunk.choices[0].delta.content is not None: content = chunk.choices[0].delta.content print(content, end="", flush=True) full_response += content print() # 换行 return full_response except Exception as e: print(f"流式对话错误: {e}") return "" def simple_chat(self, user_message, system_message=None): """简化版对话接口""" messages = [] if system_message: messages.append({"role": "system", "content": system_message}) messages.append({"role": "user", "content": user_message}) response = self.chat_completion(messages) if response and response.choices: return response.choices[0].message.content return "请求失败"

4.3 执行普通对话测试

调用simple_chat方法进行同步响应测试：

if __name__ == "__main__": llm_client = LLMClient() print("=== 普通对话测试 ===") response = llm_client.simple_chat( "请用中文介绍一下人工智能的发展历史", "你是一个有帮助的AI助手" ) print(f"回复: {response}")

预期输出应为一段结构清晰的人工智能发展简史，涵盖从图灵测试到深度学习兴起的关键节点。

4.4 执行流式对话测试

测试流式输出功能，模拟逐字生成效果：

print("\n=== 流式对话测试 ===") messages = [ {"role": "system", "content": "你是一个诗人"}, {"role": "user", "content": "写两首关于秋天的五言绝句"} ] llm_client.stream_chat(messages)

终端将逐字符打印诗句内容，体现“边生成边输出”的实时性，适合构建交互式应用。

5. 使用建议与调优技巧

5.1 温度（Temperature）设置建议

温度控制输出的随机性，针对不同任务推荐如下配置：

官方建议范围：0.5–0.7，过高可能导致逻辑混乱，过低则缺乏多样性。

5.2 提示词工程最佳实践

数学问题标准提示格式

对于涉及计算或推理的问题，强烈建议添加明确指令：

“请逐步推理，并将最终答案放在\boxed{}内。”

例如输入：

求解方程：x^2 - 5x + 6 = 0，请逐步推理，并将最终答案放在\boxed{}内。

模型将按步骤展开因式分解过程，并返回：

解得：x = 2 或 x = 3，即 \boxed{2} 和 \boxed{3}

避免系统提示（System Prompt）

根据实测观察，不建议使用 system 角色。DeepSeek-R1 系列模型对 system prompt 敏感，容易导致行为偏移。

✅ 正确做法：将所有上下文放入 user 消息中

{ "role": "user", "content": "你是数学专家，请逐步解答以下问题..." }

❌ 不推荐做法：

{"role": "system", "content": "你是数学专家"}, {"role": "user", "content": "求解..."}

5.3 强制启用思维链（CoT）机制

部分情况下模型会跳过推理直接输出结论，表现为连续换行\n\n。为避免此现象，可在用户提示开头强制插入：

\n

例如：

\n请分析这段代码是否存在安全漏洞： ...

此举可有效触发模型内部的“思考模式”，提高复杂任务的表现稳定性。

6. 总结

6.1 核心要点回顾

1. 模型定位清晰：DeepSeek-R1-Distill-Qwen-1.5B 是一款专为高效推理设计的轻量级模型，适合部署于边缘设备。
2. 服务启动简单：通过 vLLM 一行命令即可开启 OpenAI 兼容 API 服务。
3. 调用方式灵活：支持同步与流式两种交互模式，适配多种前端应用场景。
4. 性能表现优异：INT8 量化后仅需 1.5GB 显存，在 T4 上可达 40+ tokens/sec。
5. 使用规范明确：温度设为 0.6、避免 system prompt、数学题加\boxed{}可显著提升输出质量。

6.2 下一步学习建议

• 尝试将模型集成到 Web 应用（如 Flask/FastAPI）
• 使用 LangChain 构建基于该模型的 Agent 工作流
• 在更大批量数据上测试吞吐能力（Benchmarking）
• 探索 LoRA 微调以适应特定业务场景

掌握本指南内容后，您已具备将 DeepSeek-R1-Distill-Qwen-1.5B 快速应用于实际项目的完整能力。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。