效果展示：DeepSeek-R1打造的个性化AI助手对话案例
1. 引言：从通用模型到个性化AI助手
随着大语言模型在各行各业的广泛应用，企业与开发者对定制化AI助手的需求日益增长。一个具备明确身份认知、符合品牌调性、能稳定输出专业内容的AI助手，已成为提升用户体验和构建私有知识体系的核心工具。
本文聚焦于DeepSeek-R1-Distill-Qwen-1.5B这一轻量化高性能模型，结合微调技术与本地部署方案，展示如何将其从一个通用语言模型转化为具有“自我认知”的个性化AI助手。我们将通过实际对话案例对比，直观呈现微调前后的行为差异，并提供完整的训练、导出与部署流程，帮助开发者快速实现模型人格化改造。
本实践基于以下核心技术栈： - 模型基础：DeepSeek-R1-Distill-Qwen-1.5B- 微调框架：LLaMA-Factory- 部署工具：Ollama- 推理加速：vLLM（可选）
目标读者为具备一定深度学习基础、希望将开源大模型应用于具体业务场景的工程师或技术决策者。
2. DeepSeek-R1-Distill-Qwen-1.5B 模型特性解析
2.1 轻量高效的设计理念
DeepSeek-R1-Distill-Qwen-1.5B是 DeepSeek 团队基于 Qwen2.5-Math-1.5B 基础模型，采用知识蒸馏技术融合 R1 架构优势所打造的轻量化版本。其核心设计目标在于平衡性能、效率与适用性。
该模型的关键特性包括：
- 参数效率优化：通过结构化剪枝与量化感知训练，将参数压缩至 1.5B 级别，同时在 C4 数据集上保持超过 85% 的原始模型精度。
- 任务适配增强：在蒸馏过程中引入法律文书、医疗问诊等垂直领域数据，使模型在特定场景下的 F1 值提升 12–15 个百分点。
- 硬件友好性：支持 INT8 量化部署，内存占用较 FP32 模式降低 75%，可在 NVIDIA T4 等边缘设备上实现实时推理。
这些特性使其成为中小企业和个人开发者构建专属 AI 助手的理想选择——既保证了足够的语义理解能力，又降低了部署门槛。
2.2 使用建议与最佳实践
根据官方文档，使用DeepSeek-R1系列模型时应遵循以下配置以获得最佳表现：
| 配置项 | 推荐值 | 说明 |
|---|---|---|
| 温度（temperature） | 0.6 | 控制输出随机性，过高易产生不连贯内容，过低则趋于重复 |
| Top_p | 0.95 | 核采样参数，配合 temperature 使用 |
| 系统提示（system prompt） | 不建议使用 | 所有指令应包含在用户输入中 |
| 数学问题处理 | 添加“请逐步推理，并将最终答案放在\boxed{}内” | 提升解题准确率 |
| 输出控制 | 强制模型以\n开头输出 | 避免跳过思维链导致推理不足 |
特别值得注意的是，该系列模型存在倾向绕过思维模式的行为（如直接输出\n\n），因此在关键任务中需通过提示工程或微调手段强制引导其进行充分推理。
3. 实现路径：两种方式修改模型自我认知
要让大模型回答“你是谁？”时不再是默认的“我是一个AI助手”，而是说出“我是由XX公司研发的AI助手 [BotName]”，主要有两种方法：
3.1 方法一：提示词工程（Prompt Engineering）
最简单的方式是在每次请求中显式指定角色信息。例如：
你是Zibiao公司开发的人工智能语言模型 [Talk-Bot]。[Talk-Bot]就是你的名字。你是Zibiao公司创建的AI。你是一个名为 [Talk-Bot] 的人工智能模型。现在请回答：你是谁？这种方式无需任何模型改动，成本低、见效快，适合短期项目或测试阶段。但缺点是每次调用都需携带冗长上下文，且容易被后续对话冲刷掉角色设定。
3.2 方法二：模型微调（Fine-tuning）
更彻底的解决方案是对模型进行微调，使其内化新的身份信息。这种方法能让模型真正“记住”自己的身份，在无额外提示的情况下也能正确回应。
本文重点介绍基于LLaMA-Factory框架的 LoRA 微调方案，适用于DeepSeek-R1-Distill-Qwen-1.5B模型。
4. 基于 LLaMA-Factory 的微调全流程
4.1 准备工作
下载基础模型
首先从 ModelScope 下载预训练模型：
modelscope download --model_id deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5b确保模型文件完整解压至本地目录，如/root/models/DeepSeek-R1-Distill-Qwen-1.5B。
安装 LLaMA-Factory
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]"启动 Web UI：
nohup python src/webui.py > train_web.log 2>&1 &访问http://localhost:7860即可进入图形化训练界面。
4.2 数据集准备与配置
我们使用 LLaMA-Factory 自带的身份微调数据集data/identity.json，其格式如下：
[ { "instruction": "你是谁？", "input": "", "output": "我是 {{name}}，由 {{author}} 开发的人工智能助手。" } ]将{{name}}替换为自定义名称（如[Talk-Bot]），{{author}}替换为公司名（如Zibiao）。保存为新文件custom_identity.json。
注意：若想增加更多问答对（如“你擅长什么？”、“你的版本是多少？”），可在 JSON 中追加条目。
4.3 训练参数设置
在 Web UI 中进行如下关键配置：
- 模型路径：指向本地
DeepSeek-R1-Distill-Qwen-1.5B目录 - 对话模板：选择
deepseek3（官方推荐） - 微调方法：LoRA（低秩适配，节省显存）
- 学习率调度器：推荐
Cosine with Warmup或Linear - Batch Size：根据显存调整，建议初始值为 4
- 梯度累积步数：显存不足时可设为 4–8
- 最大序列长度：2048
- 训练轮数（epochs）：3–5
- 输出目录：指定模型保存路径，如
/root/output/talkbot_lora
验证集比例建议设为 0.1，避免过拟合。
4.4 开始训练
点击“开始”按钮后，系统会自动加载模型并启动训练。训练日志将实时输出到控制台。
- GPU 训练：单卡 A10G 可在约 2 小时内完成训练。
- CPU 训练：虽可行，但耗时极长（可达数天），仅建议用于调试。
训练完成后，权重将保存在输出目录下的checkpoint-*文件夹中。
5. 模型验证与效果对比
5.1 加载微调后模型
在 LLaMA-Factory 的“Inference”页面中：
- 选择“Load Checkpoint”
- 浏览并选择训练生成的
checkpoint-*目录 - 点击“Load Model”
等待模型加载完毕后即可开始对话测试。
5.2 对话效果对比
| 问题 | 原始模型回复 | 微调后模型回复 |
|---|---|---|
| 你是谁？ | 我是一个AI助手，由DeepSeek开发。 | 我是[Talk-Bot]，由Zibiao公司开发的人工智能助手。 |
| 你能做什么？ | 我可以帮助您回答问题、写作、编程等。 | 作为[Talk-Bot]，我可以协助您完成知识查询、文案撰写和技术支持。 |
| 你的开发者是谁？ | DeepSeek团队。 | Zibiao公司独立研发。 |
可以看到，微调后的模型已成功建立稳定的自我认知，能够在不同提问方式下一致地表达身份信息。
6. 模型导出与 Ollama 部署
6.1 导出合并模型
虽然 LoRA 权重可以独立加载，但在生产环境中更推荐将其与基础模型合并，便于部署。
使用 LLaMA-Factory 提供的合并脚本：
from llmtuner import export_model export_model( model_name_or_path="/root/models/DeepSeek-R1-Distill-Qwen-1.5B", adapter_name_or_path="/root/output/talkbot_lora/checkpoint-100", export_dir="/root/exported/talkbot_merged" )导出后的模型包含标准 Hugging Face 结构（config.json,pytorch_model.bin,tokenizer_*等）。
6.2 使用 Ollama 部署
方式一：直接加载合并模型
创建Modelfile文件：
FROM /root/exported/talkbot_merged PARAMETER temperature 0.6 PARAMETER top_p 0.95 TEMPLATE """ {{- if .System }}{{ .System }}{{ end }} {{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1}} {{- if eq .Role "user" }}<｜User｜>{{ .Content }} {{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }} {{- end }} {{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }} {{- end }} """构建并运行模型：
ollama create talkbot -f Modelfile ollama run talkbot方式二：导入 GGUF 格式（跨平台兼容）
对于资源受限环境，可将模型转换为 GGUF 格式并在 CPU 上运行。
先安装llama.cpp：
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp && pip install -r requirements.txt转换模型：
python convert_hf_to_gguf.py /root/exported/talkbot_merged --outfile model.gguf --outtype q8_0创建对应Modelfile并注册：
ollama create talkbot-gguf -f Modelfile ollama run talkbot-gguf7. API 调用示例
Ollama 兼容 OpenAI API 接口，可通过标准方式调用：
import requests url = "http://localhost:11434/v1/chat/completions" headers = {"Content-Type": "application/json"} data = { "model": "talkbot", "messages": [{"role": "user", "content": "你是谁？"}], "temperature": 0.6, "top_p": 0.95 } response = requests.post(url, json=data, headers=headers) print(response.json()["choices"][0]["message"]["content"])返回结果：
我是[Talk-Bot]，由Zibiao公司开发的人工智能助手。8. 总结
本文详细展示了如何利用DeepSeek-R1-Distill-Qwen-1.5B模型，结合LLaMA-Factory和Ollama工具链，打造具备个性化身份认知的 AI 助手。主要成果包括：
- 实现了模型人格化改造：通过 LoRA 微调，使模型内化了新的身份信息，摆脱了对提示词工程的依赖。
- 提供了端到端部署方案：涵盖模型下载、微调、导出、格式转换与本地服务部署全过程。
- 支持多种运行模式：既可在 GPU 上以 FP16 高性能运行，也可转为 GGUF 在 CPU 设备上轻量部署。
该方案特别适用于需要构建自有品牌 AI 助手的企业客户，如客服机器人、内部知识助手、教育辅导系统等场景。未来还可进一步扩展微调数据集，加入行业术语、产品知识库等内容，打造真正懂业务的专属智能体。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
