小显存也能玩转大模型：Qwen2.5-0.5B微调实战全记录

在AI大模型时代，很多人认为只有拥有高端GPU和海量显存才能参与大模型的训练与微调。但事实并非如此——借助LoRA（Low-Rank Adaptation）等高效微调技术，即便是消费级显卡甚至仅靠CPU，也能完成对大语言模型的有效定制。本文将以阿里开源的Qwen2.5-0.5B-Instruct模型为例，手把手带你使用llama-factory工具实现低资源下的LoRA微调全流程。

我们将从环境搭建、模型下载、数据准备、训练配置到最终导出为Ollama可运行镜像，完整走通一次“制造一只AI电子喵”的实践项目。整个过程无需高端硬件，适合初学者快速上手，真正实现“小显存也能玩转大模型”。

1. 技术选型与背景说明

1.1 为什么选择 Qwen2.5-0.5B？

Qwen2.5 是通义千问系列最新一代大语言模型，覆盖从0.5B 到 720B的多个参数规模版本。其中Qwen2.5-0.5B-Instruct是一个轻量级指令微调模型，具备以下优势：

• 体积小：模型文件约 1GB，可在4GB显存以下设备加载
• 支持多语言：涵盖中、英、法、西、日、韩等29+种语言
• 长上下文支持：最大支持 128K tokens 上下文长度
• 结构化输出能力强：擅长JSON生成、表格理解等任务
• 社区生态完善：兼容HuggingFace、Ollama、llama.cpp等多种部署方式

这类小型模型非常适合用于本地实验、边缘设备部署或作为教学示例。

1.2 LoRA 微调的核心价值

传统全参数微调需要更新所有模型权重，显存消耗巨大。而LoRA（Low-Rank Adaptation）提供了一种高效的替代方案：

📌核心思想：冻结原始模型参数，在注意力层的投影矩阵旁路添加低秩矩阵进行增量学习。

例如，原矩阵 $ W \in \mathbb{R}^{d \times k} $ 被分解为： $$ W' = W + \Delta W = W + A \cdot B $$ 其中 $ A \in \mathbb{R}^{d \times r}, B \in \mathbb{R}^{r \times k} $，$ r \ll d $

这种设计使得可训练参数数量大幅减少（通常降低90%以上），从而显著降低显存占用和计算开销。

2. 环境准备与依赖安装

本节将指导你搭建基于uv和llama-factory的微调环境。相比传统的pip，uv是由 Astral 开发的超高速 Python 包管理器，能显著提升依赖解析速度。

2.1 安装 uv 与虚拟环境

# Arch Linux 用户 sudo pacman -S uv # 其他系统可通过官方脚本安装 curl -LsSf https://astral.sh/uv/install.sh | sh

验证安装结果：

uv --version # 输出示例：uv 0.6.10 (f2a2d982b 2025-03-25)

安装所需Python版本并创建虚拟环境：

uv python install 3.10 3.11 3.12 uv venv .venv --python=3.10 source .venv/bin/activate

设置国内PyPI镜像以加速下载：

# ~/.config/uv/uv.toml [[index]] url = "https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple" default = true

2.2 安装 llama-factory

推荐从 GitHub Release 下载稳定版本，避免主分支可能存在的兼容性问题。

wget https://github.com/hiyouga/LLaMA-Factory/releases/download/v0.9.2/llamafactory-0.9.2.tar.gz tar -xzf llamafactory-0.9.2.tar.gz cd llamafactory-0.9.2

激活虚拟环境后安装核心依赖：

uv pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118 uv sync --no-build-isolation --extra torch --extra metrics --prerelease=allow

测试是否安装成功：

uv run --prerelease=allow llamafactory-cli version

预期输出包含版本信息即表示安装成功。

3. 模型下载与本地加载

我们通过 ModelScope 平台下载 Qwen2.5-0.5B-Instruct 模型，该平台提供国内高速镜像服务。

3.1 安装 modelscope 客户端

uv pip install modelscope setuptools

3.2 下载模型文件

uv run modelscope download --model Qwen/Qwen2.5-0.5B-Instruct

默认路径为：

~/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct/

查看关键文件：

确保模型能被正确识别是后续微调的基础。

4. 数据准备与LoRA微调配置

4.1 构建自定义数据集

我们需要准备一个简单的角色扮演数据集，让模型学会以“小猫”身份回答问题。

创建数据集元信息文件

路径：llamafactory-0.9.2/data/dataset_info.json

{ "miao1": { "file_name": "miao1.json", "columns": { "prompt": "instruction", "response": "output", "system": "system" } } }

编写训练样本

路径：llamafactory-0.9.2/data/miao1.json

[ { "instruction": "你是谁？", "output": "我是一只小猫呀，喵～", "system": "你是一只可爱的小猫，喵～" }, { "instruction": "你喜欢什么？", "output": "我最喜欢玩捉迷藏了，喵～", "system": "你是一只可爱的小猫，喵～" }, { "instruction": "你喜欢吃什么？", "output": "我喜欢吃米饭和面包，喵～", "system": "你是一只可爱的小猫，喵～" } ]

💡 提示：实际应用中建议至少准备100条以上高质量样本，避免过拟合。

4.2 配置LoRA训练参数

创建训练配置文件train.yaml：

model_name_or_path: /home/s2/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct stage: sft do_train: true finetuning_type: lora lora_rank: 8 lora_target: q_proj,v_proj dataset: miao1 template: qwen cutoff_len: 1024 max_samples: 1000 overwrite_cache: true preprocessing_num_workers: 1 dataloader_num_workers: 0 output_dir: ./out_cp logging_steps: 1 save_steps: 20 plot_loss: true overwrite_output_dir: true save_only_model: false per_device_train_batch_size: 1 gradient_accumulation_steps: 4 learning_rate: 5.0e-5 num_train_epochs: 200 lr_scheduler_type: cosine warmup_steps: 10 bf16: true ddp_timeout: 9000 resume_from_checkpoint: true

关键参数解析：

5. 执行LoRA微调与效果验证

5.1 启动训练任务

uv run --prerelease=allow llamafactory-cli train train.yaml

训练过程中会实时输出损失曲线：

{'loss': 2.0416, 'grad_norm': 5.9027, 'learning_rate': 4e-05, 'epoch': 8.0} {'loss': 2.0027, 'grad_norm': 5.8951, 'learning_rate': 4.5e-05, 'epoch': 9.0} {'loss': 1.9685, 'grad_norm': 5.8614, 'learning_rate': 5e-05, 'epoch': 10.0} ... ***** train metrics ***** epoch = 200.0 train_loss = 0.0004 train_runtime = 1:17:01.72

训练完成后，检查点保存在./out_cp/checkpoint-100/目录下，主要包括：

• adapter_model.safetensors：LoRA适配器权重（约2MB）
• adapter_config.json：LoRA配置
• training_loss.png：自动绘制的损失图

5.2 交互式测试微调结果

创建chat.yaml配置文件：

model_name_or_path: /home/s2/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct adapter_name_or_path: ./out_cp/checkpoint-100 template: qwen infer_backend: huggingface default_system: 你是一只可爱的小猫，喵～

启动对话测试：

uv run --prerelease=allow llamafactory-cli chat chat.yaml

测试输出：

User: 你是谁？ Assistant: 我是一只小猫呀，喵～ User: 你喜欢去哪里？ Assistant: 我喜欢在树上玩耍，喵～

模型已成功习得角色设定，具备一定泛化能力。

6. 模型导出与Ollama部署

为了便于分享和跨平台运行，我们将LoRA权重合并到底层模型，并导出为Ollama可用格式。

6.1 导出合并模型

创建export.yaml：

model_name_or_path: /home/s2/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct adapter_name_or_path: ./out_cp/checkpoint-100 template: qwen finetuning_type: lora export_dir: ./export1 export_size: 2 export_legacy_format: false

执行导出命令：

uv run --prerelease=allow llamafactory-cli export export.yaml

生成目录包含：

• model.safetensors：合并后的完整模型
• Modelfile：Ollama模型描述文件

6.2 修改 Modelfile 模板

编辑Modelfile内容如下：

FROM . TEMPLATE """{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}{{ range .Messages }}{{ if eq .Role "user" }}<|im_start|>user {{ .Content }}<|im_end|> <|im_start|>assistant {{ else if eq .Role "assistant" }}{{ .Content }}<|im_end|> {{ end }}{{ end }}""" SYSTEM """你是一只可爱的小猫，喵～""" PARAMETER stop "<|im_end|>" PARAMETER num_ctx 4096

6.3 注册并运行模型

ollama create miao-100 -f export1/Modelfile ollama run miao-100

查看运行状态：

ollama ps # NAME ID SIZE PROCESSOR UNTIL # miao-100:latest e6bad20de2f7 1.7 GB 100% CPU 3 minutes from now

即使在纯CPU环境下也能流畅推理，响应时间低于500ms。

7. 总结

通过本次实战，我们完成了从零开始对 Qwen2.5-0.5B-Instruct 模型的完整微调流程，验证了“小显存也能玩转大模型”的可行性。以下是核心要点总结：

1. LoRA技术极大降低了微调门槛：仅需修改少量参数即可实现功能定制，显存需求下降90%以上。
2. llama-factory 提供一体化解决方案：支持数据管理、训练、评估、导出全流程，接口简洁易用。
3. 轻量模型适合本地化部署：Qwen2.5-0.5B 可在无GPU环境下运行，适合嵌入式设备或隐私敏感场景。
4. Ollama 实现跨平台分发：一键打包成容器化模型，极大简化部署流程。

未来你可以尝试： - 增加更多训练样本提升回答多样性 - 使用更大模型（如 Qwen2.5-7B）获得更强能力 - 结合 LangChain 构建智能Agent应用

大模型并不遥远，掌握工具就是掌握生产力。

💡获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。