DeepSeek-R1-Distill-Qwen-1.5B微调入门：LoRA适配器添加步骤

你是不是也想让自己的小模型变得更聪明，特别是在数学推理、代码生成这些硬核任务上更进一步？今天我们就来聊聊怎么给DeepSeek-R1-Distill-Qwen-1.5B这个“潜力股”加上 LoRA 适配器，实现低成本高效微调。整个过程就像给一辆基础款小车加装智能驾驶模块——不换发动机，也能跑出高级感。

这篇文章专为刚接触模型微调的朋友准备，不需要你懂太多底层原理，只要会跑 Python 脚本、有块能跑 CUDA 的 GPU，就能跟着一步步操作。我们会从环境准备开始，讲清楚 LoRA 是什么、为什么适合这个模型，然后手把手教你如何加载预训练权重、插入 LoRA 层，并完成一次完整的微调流程。

别担心术语多，咱们全程用大白话解释关键概念，还会穿插实用技巧和避坑指南。最后你不仅能跑通代码，还能理解每一步在做什么，真正掌握“可落地”的微调能力。

1. 环境准备与依赖安装

在动手之前，先把地基打好。微调这种计算密集型任务对环境要求比较高，尤其是 GPU 和 CUDA 版本必须匹配好，不然很容易卡在第一步。

1.1 系统与硬件要求

• 操作系统：推荐 Ubuntu 20.04 或 22.04（Linux 环境最稳定）
• GPU：至少 8GB 显存（如 RTX 3070 / A10G），建议使用支持 FP16 的设备
• CUDA：版本需为 12.1 或以上（文中示例使用 12.8）
• Python：3.11+（避免低版本导致包兼容问题）

如果你是在云服务器或容器环境中部署，确保已经正确安装 NVIDIA 驱动并启用nvidia-smi命令。

1.2 安装核心依赖库

打开终端，执行以下命令安装必要的 Python 包：

pip install torch==2.9.1 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers==4.57.3 pip install peft==0.14.0 pip install datasets accelerate bitsandbytes pip install gradio jupyter

提示：peft是 Hugging Face 提供的参数高效微调库，LoRA 就是其中的核心功能之一。bitsandbytes支持 4-bit 量化，能大幅降低显存占用。

安装完成后可以简单测试一下是否能识别 GPU：

import torch print(torch.cuda.is_available()) # 应输出 True print(torch.__version__) # 查看 PyTorch 版本

如果一切正常，就可以进入下一步了。

2. 模型加载与基础配置

我们使用的模型是DeepSeek-R1-Distill-Qwen-1.5B，这是一个基于 Qwen-1.5B 经过强化学习蒸馏优化后的轻量级推理模型，在数学和代码任务上有不错的表现。现在我们要做的，是在它基础上加入 LoRA 适配器进行微调。

2.1 加载基础模型

首先从 Hugging Face 下载模型（或使用本地缓存）：

huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local-dir ./models/deepseek-r1-1.5b

然后用transformers加载模型和 tokenizer：

from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "./models/deepseek-r1-1.5b" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="auto" # 自动分配到 GPU )

这里device_map="auto"会自动将模型层分布到可用设备上，适合显存有限的情况。

2.2 设置训练参数

定义一些基本训练参数，方便后续调整：

max_seq_length = 1024 batch_size = 4 learning_rate = 2e-4 num_epochs = 3 warmup_steps = 100 output_dir = "./lora-finetuned-deepseek"

这些值可以根据你的数据量和硬件条件灵活调整。比如显存紧张时可以把batch_size降到 2。

3. LoRA 适配器添加详解

LoRA（Low-Rank Adaptation）是一种高效的微调方法，它的核心思想是：不动原始模型权重，只训练一小部分新增的低秩矩阵。这样既能保留原模型的强大能力，又能显著减少训练参数量和显存消耗。

3.1 什么是 LoRA？

你可以把 LoRA 想象成一个“外挂补丁”。比如原来模型里有个线性层 $ W $，LoRA 不直接改 $ W $，而是额外加两个小矩阵 $ A $ 和 $ B $，使得更新量为 $ \Delta W = A \times B $。因为 $ A $ 和 $ B $ 的秩非常小，所以参数量极少。

举个例子：

• 原始权重：$ W \in \mathbb{R}^{4096 \times 4096} $ → 约 1677 万参数
• LoRA 替代：$ A \in \mathbb{R}^{4096 \times 8}, B \in \mathbb{R}^{8 \times 4096} $ → 仅约 6.5 万参数

节省了超过 95% 的可训练参数！

3.2 使用 PEFT 添加 LoRA 层

接下来我们用peft库为模型注入 LoRA：

from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=8, # 低秩矩阵的秩 lora_alpha=16, # 缩放因子 target_modules=["q_proj", "v_proj"], # 选择哪些层添加 LoRA lora_dropout=0.05, # dropout 防止过拟合 bias="none", # 不训练偏置项 task_type="CAUSAL_LM" # 用于语言模型生成任务 ) model = get_peft_model(model, lora_config)

说明：

• r=8表示低秩维度，数值越大效果越好但参数越多，一般 4~16 足够。
• target_modules通常选注意力机制中的q_proj和v_proj，它们对推理能力影响最大。
• 启用后，只有 LoRA 参数会被标记为可训练，其余冻结。

打印模型结构可以看到可训练参数数量：

model.print_trainable_parameters() # 输出类似：trainable params: 2,621,440 || all params: 1,500,000,000 || trainable%: 0.17%

看到没？只用了不到 0.2% 的参数就在做“微调”，这就是 LoRA 的魅力。

4. 数据准备与微调流程

有了模型和 LoRA 结构，接下来就是喂数据训练了。我们以一个简单的数学推理任务为例，展示完整流程。

4.1 准备训练数据

假设我们要提升模型解应用题的能力，准备如下格式的数据集（JSONL 格式）：

{"instruction": "小明有5个苹果，吃了2个，还剩几个？", "response": "还剩3个。"} {"instruction": "一个矩形长6米宽4米，面积是多少？", "response": "面积是24平方米。"}

加载数据集：

from datasets import load_dataset dataset = load_dataset('json', data_files='math_data.jsonl', split='train')

4.2 构建训练样本

使用 tokenizer 对输入输出拼接编码：

def format_example(example): return f"问题：{example['instruction']}\n答案：{example['response']}" def tokenize_function(examples): texts = [format_example(e) for e in examples] tokens = tokenizer( texts, truncation=True, max_length=max_seq_length, padding="max_length", return_tensors="pt" ) return { "input_ids": tokens["input_ids"], "labels": tokens["input_ids"].clone() # 自回归任务，label 就是 input } tokenized_datasets = dataset.map( lambda x: tokenize_function(x), batched=True, remove_columns=["instruction", "response"] )

4.3 开始微调

使用 Hugging Face 的Trainer进行训练：

from transformers import TrainingArguments, Trainer training_args = TrainingArguments( output_dir=output_dir, num_train_epochs=num_epochs, per_device_train_batch_size=batch_size, gradient_accumulation_steps=4, learning_rate=learning_rate, warmup_steps=warmup_steps, weight_decay=0.01, logging_dir=f"{output_dir}/logs", save_strategy="epoch", report_to="none", # 不上传日志 fp16=True, # 启用混合精度 optim="adamw_torch" ) trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets, ) trainer.train()

训练过程中你会看到 loss 逐渐下降。等结束后，LoRA 权重会保存在output_dir中。

5. 模型合并与推理测试

训练完的 LoRA 模型可以直接用于推理，也可以合并回原模型以便独立部署。

5.1 直接加载 LoRA 推理

from peft import PeftModel base_model = AutoModelForCausalLM.from_pretrained("./models/deepseek-r1-1.5b") lora_model = PeftModel.from_pretrained(base_model, "./lora-finetuned-deepseek") inputs = tokenizer("问题：1+1+2*3等于多少？\n答案：", return_tensors="pt").to("cuda") outputs = lora_model.generate(**inputs, max_new_tokens=64) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

5.2 合并 LoRA 到原模型

如果你想导出一个完整的模型文件，可以执行合并：

merged_model = model.merge_and_unload() merged_model.save_pretrained("./merged-deepseek-math") tokenizer.save_pretrained("./merged-deepseek-math")

合并后的模型不再依赖peft，可以直接像普通 HF 模型一样加载使用。

6. 总结

通过这篇文章，你应该已经掌握了如何为DeepSeek-R1-Distill-Qwen-1.5B添加 LoRA 适配器并完成微调的全流程。我们从环境搭建讲起，深入浅出地介绍了 LoRA 的工作原理，演示了数据处理、模型配置、训练和推理的每一个关键步骤。

这套方法不仅适用于数学推理，同样可用于代码生成、逻辑问答等特定场景的定制化优化。关键是：你不需要重新训练整个 15 亿参数的大模型，只需训练几百万参数的 LoRA 模块，就能让模型在某个领域变得更专业。

实际项目中，你可以根据需求调整 LoRA 的目标模块、秩大小、学习率等参数，甚至尝试 QLoRA（4-bit 量化 LoRA）进一步降低资源消耗。未来还可以结合 DPO 或 SFT 构建更复杂的训练流程。

最重要的是——你现在已经有能力让一个小模型“学会新技能”了。下一步，不妨试试用自己的业务数据去训练一个专属助手？

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。