DeepSeek-R1-Distill-Qwen-1.5B实战案例：企业内部问答系统搭建教程

1. 引言

随着大模型技术的快速发展，越来越多企业开始探索将轻量级语言模型部署在本地环境，以构建安全、高效、低延迟的内部知识问答系统。然而，传统大模型对硬件资源要求高、部署复杂，难以在边缘设备或普通办公电脑上运行。

DeepSeek-R1-Distill-Qwen-1.5B 的出现改变了这一局面。该模型是 DeepSeek 团队基于 Qwen-1.5B 架构，利用 80 万条 R1 推理链数据进行知识蒸馏训练得到的“小钢炮”级模型。尽管仅有15 亿参数，却能在数学推理（MATH 数据集 80+）、代码生成（HumanEval 50+）等任务中达到接近 7B 级别模型的表现力。

更重要的是，其FP16 版本仅需 3GB 显存，量化后的 GGUF-Q4 格式更是压缩至0.8GB，可在 RTX 3060、树莓派甚至 RK3588 嵌入式板卡上流畅运行。结合 vLLM 高性能推理引擎与 Open WebUI 友好的交互界面，开发者可以快速搭建一个可商用、易维护的企业级本地问答系统。

本文将手把手带你使用vLLM + Open WebUI搭建基于 DeepSeek-R1-Distill-Qwen-1.5B 的企业内部问答系统，涵盖环境配置、模型加载、服务启动和实际应用全流程。

2. 技术选型与架构设计

2.1 为什么选择 DeepSeek-R1-Distill-Qwen-1.5B？

在企业级轻量模型选型中，我们通常关注以下几个核心维度：

维度	要求
模型性能	具备基础逻辑推理、代码理解能力
资源占用	支持消费级 GPU 或 CPU 部署
上下文长度	至少支持 4K token，满足文档摘要需求
扩展能力	支持函数调用、Agent 插件机制
商用授权	明确允许商业用途

DeepSeek-R1-Distill-Qwen-1.5B 在上述维度表现优异：

高性能低参数：通过高质量蒸馏保留了原始 R1 模型的推理链结构，推理链保留度达 85%，数学得分超 80 分。
极致轻量化：FP16 模型约 3.0 GB，Q4_K_M 量化后仅 0.8 GB，6GB 显存即可满速运行。
完整功能支持：支持 JSON 输出、工具调用（function calling）、Agent 扩展，适合构建智能助手。
开放协议：采用 Apache 2.0 开源协议，允许自由用于商业项目。
生态兼容性强：已集成 vLLM、Ollama、Jan 等主流框架，支持一键部署。

一句话总结：“1.5 B 体量，3 GB 显存，数学 80+ 分，可商用，零门槛部署。”

2.2 整体架构设计

本系统的整体架构分为三层：

[用户层] → Web 浏览器 / Jupyter Notebook ↓ [接口层] → Open WebUI（提供图形化对话界面） ↓ [推理层] → vLLM（高性能推理后端，加载 DeepSeek-R1-Distill-Qwen-1.5B）

其中： -vLLM负责模型加载、批处理调度和 KV Cache 优化，显著提升吞吐效率； -Open WebUI提供类 ChatGPT 的交互体验，支持多会话管理、上下文保存、Markdown 渲染等功能； - 模型可通过 Hugging Face 或本地路径加载，支持.bin、.safetensors和 GGUF 格式。

3. 环境准备与部署步骤

3.1 硬件与软件要求

组件	最低要求	推荐配置
CPU	x86_64 / ARM64	Intel i5 或以上
内存	8 GB	16 GB
显卡	NVIDIA GPU（≥6GB显存）	RTX 3060 / 4060 / 4090
存储	10 GB 可用空间	SSD 更佳
操作系统	Ubuntu 20.04+ / macOS Sonoma+	Docker 支持环境

软件依赖

Python ≥ 3.10
PyTorch ≥ 2.1
CUDA ≥ 11.8（NVIDIA 用户）
Docker（推荐方式部署）
Git

3.2 使用 Docker 快速部署（推荐）

我们采用docker-compose方式同时启动 vLLM 和 Open WebUI，简化依赖管理。

步骤 1：创建项目目录并拉取镜像

mkdir deepseek-r1-qwen-1.5b-system cd deepseek-r1-qwen-1.5b-system # 创建 docker-compose.yml 文件 touch docker-compose.yml

步骤 2：编写`docker-compose.yml`

version: '3.8' services: vllm: image: vllm/vllm-openai:latest container_name: vllm_server ports: - "8000:8000" environment: - VLLM_HOST=0.0.0.0 - VLLM_PORT=8000 command: - "--model=deepseek-ai/deepseek-r1-distill-qwen-1.5b" - "--dtype=auto" - "--gpu-memory-utilization=0.9" - "--max-model-len=4096" - "--enable-auto-tool-call" - "--tool-call-parser=hermes" deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu] restart: unless-stopped open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open_webui ports: - "7860:7860" environment: - OLLAMA_BASE_URL=http://vllm:8000/v1 depends_on: - vllm volumes: - ./webui_data:/app/backend/data restart: unless-stopped

⚠️ 注意：若使用 CPU 推理，请移除deploy.resources部分，并添加--device=cpu参数。

步骤 3：启动服务

docker-compose up -d

首次运行时会自动下载模型（约 3GB），请确保网络畅通。等待 5–10 分钟，直到日志显示vLLM server is ready。

步骤 4：访问 Open WebUI

打开浏览器，访问：

http://localhost:7860

初始设置中可创建管理员账户，之后即可开始对话。

4. 功能验证与实际应用

4.1 数学与代码能力测试

登录系统后，尝试输入以下问题：

示例 1：数学推理

请解方程：x^2 - 5x + 6 = 0，并给出详细推导过程。

预期输出应包含因式分解步骤：

x² - 5x + 6 = (x - 2)(x - 3) = 0 解得：x = 2 或 x = 3

示例 2：Python 编程

写一个函数，判断一个数是否为质数，并测试 97 是否为质数。

模型应返回正确实现代码并执行验证。

4.2 函数调用与 Agent 能力演示

由于模型支持function calling，我们可以定义外部工具供其调用。

例如，在 Open WebUI 中注册如下工具：

{ "name": "get_weather", "description": "获取指定城市的天气信息", "parameters": { "type": "object", "properties": { "city": {"type": "string", "description": "城市名称"} }, "required": ["city"] } }

当用户提问：“北京现在天气怎么样？”时，模型将自动提取参数{ "city": "北京" }并触发 API 调用。

这使得它可以作为企业内部的知识代理（Knowledge Agent），连接数据库、API、文档系统等。

4.3 企业内部知识库接入建议

虽然当前模型未直接接入私有知识库，但可通过以下方式扩展：

RAG 架构整合：前置向量数据库（如 Milvus、Chroma），检索相关文档片段作为 prompt 上下文注入。
微调定制：使用企业 FAQ 数据对模型进行 LoRA 微调，增强领域适应性。
权限控制：通过 Open WebUI 的用户管理系统实现部门级访问隔离。

5. 性能优化与常见问题

5.1 提升推理速度的建议

优化项	方法
量化模型	使用 GGUF-Q4 格式降低显存占用，提升 CPU 推理速度
批处理	vLLM 自动合并多个请求，提高 GPU 利用率
缓存机制	启用 Redis 缓存高频问答结果，减少重复计算
模型裁剪	若无需函数调用，可导出精简版模型