用modelscope下载模型，Unsloth更顺畅

1. 引言

在大语言模型（LLM）的微调实践中，高效、低显存占用的训练框架是提升开发效率的关键。Unsloth 作为一个开源的 LLM 微调与强化学习框架，凭借其卓越的性能优化能力——训练速度提升2倍，显存消耗降低70%，正在成为开发者的新宠。

然而，在实际使用中，模型下载环节常因网络问题成为瓶颈。本文将重点介绍如何结合ModelScope镜像加速功能，快速获取 Hugging Face 上的主流模型，并基于 Unsloth 框架完成从环境配置、模型加载、LoRA 微调到推理部署的全流程实践。

通过本教程，你将掌握： - 使用 ModelScope 高效下载大模型 - 在 Conda 环境中正确安装和验证 Unsloth - 基于 LoRA 的轻量级微调流程 - 显存监控与训练结果评估方法

2. 环境准备与依赖安装

2.1 创建并激活 Conda 环境

首先确保已进入支持 GPU 的计算环境，并检查可用的 Conda 虚拟环境：

conda env list

输出应包含unsloth_env环境。若不存在，请根据镜像文档创建：

conda create -n unsloth_env python=3.10 -y conda activate unsloth_env

激活指定环境以隔离依赖：

conda activate unsloth_env

2.2 安装核心依赖库

Unsloth 对 CUDA 版本有特定适配要求，建议参考官方文档选择对应安装命令。以下为通用安装指令：

pip install --no-deps "xformers<0.0.26" trl peft accelerate bitsandbytes

该命令避免了不必要的依赖冲突，同时保留了关键组件： -bitsandbytes：支持 4-bit 量化 -peft：参数高效微调（如 LoRA） -trl：Transformer Reinforcement Learning 工具包 -xformers：优化注意力机制内存使用

2.3 安装 ModelScope 支持

为实现国内高速模型下载，推荐使用阿里云 ModelScope 平台替代 Hugging Face 默认源：

pip install modelscope

安装完成后即可通过snapshot_download接口从镜像站拉取模型。

3. 模型与数据集下载

3.1 使用 ModelScope 下载模型

相比 Hugging Face CLI，ModelScope 提供更稳定的国内访问体验。以下代码可直接下载FlagAlpha/Llama3-Chinese-8B-Instruct模型至指定目录：

from modelscope import snapshot_download model_dir = snapshot_download('FlagAlpha/Llama3-Chinese-8B-Instruct', cache_dir="/root/models")

此方式自动处理分片模型文件的并发下载与校验，显著提升下载成功率和速度。

提示：若仍需使用 Hugging Face，可通过设置镜像端点加速：

bash export HF_ENDPOINT=https://hf-mirror.com huggingface-cli download FlagAlpha/Llama3-Chinese-8B-Instruct

3.2 下载训练数据集

同样地，使用 CLI 工具下载公开数据集用于指令微调：

huggingface-cli download --repo-type dataset kigner/ruozhiba-llama3

数据将默认存储于~/.cache/huggingface/hub目录下，便于后续加载。

4. 模型加载与 LoRA 配置

4.1 加载预训练模型与 Tokenizer

使用 Unsloth 提供的FastLanguageModel.from_pretrained方法加载本地模型，支持自动类型推断与 4-bit 量化：

from unsloth import FastLanguageModel import torch model, tokenizer = FastLanguageModel.from_pretrained( model_name="/root/models/Llama3-Chinese-8B-Instruct", max_seq_length=2048, dtype=None, # 自动推断精度 load_in_4bit=True, # 启用4-bit量化 )

该步骤仅需约 5.6GB 显存即可加载 8B 规模模型，极大降低了硬件门槛。

4.2 配置 LoRA 微调参数

LoRA（Low-Rank Adaptation）是一种高效的参数微调技术，Unsloth 进一步优化其实现，减少 VRAM 占用达 30%：

model = FastLanguageModel.get_peft_model( model, r=16, target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"], lora_alpha=16, lora_dropout=0, bias="none", use_gradient_checkpointing="unsloth", random_state=3407, use_rslora=False, loftq_config=None, )

关键参数说明： -r=16：低秩矩阵秩大小，控制可训练参数量 -target_modules：指定注入 LoRA 的注意力层模块 -use_gradient_checkpointing="unsloth"：启用 Unsloth 优化版梯度检查点，节省显存

5. 数据集构建与预处理

5.1 指令微调数据格式

LLM 指令微调通常采用 Alpaca 格式，结构如下：

{ "instruction": "用户指令（必填）", "input": "上下文或输入内容（选填）", "output": "期望模型输出（必填）" }

示例企业知识问答数据：

{ "instruction": "内退条件是什么？", "input": "", "output": "内退条件包括与公司签订正式劳动合同并连续工作满20年及以上..." }

5.2 构建 Prompt 模板

定义统一 prompt 格式以增强模型理解一致性：

alpaca_prompt = """下面是一项描述任务的说明，配有提供进一步背景信息的输入。写出一个适当完成请求的回应。 ### Instruction: {} ### Input: {} ### Response: {}""" EOS_TOKEN = tokenizer.eos_token # 必须添加结束符

5.3 数据映射函数

对原始数据集进行批处理转换：

def formatting_prompts_func(examples): instructions = examples["instruction"] inputs = examples["input"] outputs = examples["output"] texts = [] for instruction, input, output in zip(instructions, inputs, outputs): text = alpaca_prompt.format(instruction, input, output) + EOS_TOKEN texts.append(text) return {"text": texts}

5.4 加载并处理数据集

使用 Hugging Face Datasets 库加载并映射处理：

from datasets import load_dataset dataset = load_dataset("kigner/ruozhiba-llama3", split="train") dataset = dataset.map(formatting_prompts_func, batched=True) print(dataset[0]["text"])

输出示例：

下面是一项描述任务的说明...### Instruction:\n内退条件是什么？\n\n### Input:\n\n\n### Response:\n内退条件包括...

6. 训练超参数与 SFTTrainer 配置

6.1 设置 TrainingArguments

配置训练过程中的各项超参数：

from transformers import TrainingArguments from trl import SFTTrainer training_args = TrainingArguments( output_dir="models/lora/llama", per_device_train_batch_size=2, gradient_accumulation_steps=4, warmup_steps=5, max_steps=60, logging_steps=10, save_strategy="steps", save_steps=100, learning_rate=2e-4, fp16=not torch.cuda.is_bf16_supported(), bf16=torch.cuda.is_bf16_supported(), optim="adamw_8bit", weight_decay=0.01, lr_scheduler_type="linear", seed=3407, )

6.2 初始化 SFTTrainer

SFT（Supervised Fine-Tuning）Trainer 封装了完整的监督微调流程：

trainer = SFTTrainer( model=model, tokenizer=tokenizer, args=training_args, train_dataset=dataset, dataset_text_field="text", max_seq_length=2048, dataset_num_proc=2, packing=False, )

• packing=False：关闭序列打包，适用于长文本场景
• dataset_num_proc=2：启用多进程数据处理

7. 显存监控与训练执行

7.1 查看初始显存占用

在训练前记录基础显存状态：

gpu_stats = torch.cuda.get_device_properties(0) start_gpu_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3) max_memory = round(gpu_stats.total_memory / 1024 / 1024 / 1024, 3) print(f"GPU = {gpu_stats.name}. Max memory = {max_memory} GB.") print(f"{start_gpu_memory} GB of memory reserved.")

典型输出：

GPU = NVIDIA A100-SXM4-40GB. Max memory = 39.62 GB. 5.633 GB of memory reserved.

7.2 执行训练

启动训练任务：

trainer_stats = trainer.train()

训练过程中会输出 loss 变化、学习率、吞吐量等指标。

7.3 输出最终显存统计

训练结束后分析资源消耗：

used_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3) used_memory_for_lora = round(used_memory - start_gpu_memory, 3) used_percentage = round(used_memory / max_memory * 100, 3) lora_percentage = round(used_memory_for_lora / max_memory * 100, 3) print(f"{round(trainer_stats.metrics['train_runtime'] / 60, 2)} minutes used for training.") print(f"Peak reserved memory = {used_memory} GB.") print(f"Peak reserved memory for training = {used_memory_for_lora} GB.") print(f"Peak reserved memory % of max memory = {used_percentage} %.")

典型结果：

1.23 minutes used for training. Peak reserved memory = 6.365 GB. Peak reserved memory for training = 0.732 GB.

表明 LoRA 微调仅额外占用约 0.7GB 显存，效率极高。

8. 模型推理与保存

8.1 启用高性能推理模式

FastLanguageModel.for_inference(model)

此操作启用 Unsloth 内部优化，推理速度提升可达 2 倍。

8.2 执行单条推理测试

inputs = tokenizer([ alpaca_prompt.format("内退条件是什么？", "", "") ], return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_new_tokens=64, use_cache=True) response = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0] print(response)

输出应与训练样本高度一致，验证微调有效性。

8.3 保存 LoRA 适配器

仅保存增量参数，便于版本管理与共享：

lora_model_path = "/home/username/models/lora/llama0715/llama_lora" model.save_pretrained(lora_model_path) tokenizer.save_pretrained(lora_model_path)

生成文件： -adapter_model.safetensors：LoRA 权重 -adapter_config.json：配置元信息 -tokenizer.json等：分词器文件

9. 模型合并与导出

9.1 合并为完整模型（16-bit 或 4-bit）

将 LoRA 权重合并回基础模型，便于独立部署：

# 合并为16位浮点模型 model.save_pretrained_merged("models/Llama3", tokenizer, save_method="merged_16bit") # 合并为4-bit量化模型（更小体积） model.save_pretrained_merged("models/Llama3", tokenizer, save_method="merged_4bit")

9.2 导出为 GGUF 格式（支持 llama.cpp）

适用于本地 CPU 推理或边缘设备部署：

# 保存为 f16 GGUF（高精度，大体积） model.save_pretrained_gguf("model", tokenizer, quantization_method="f16") # 保存为 q4_k_m GGUF（平衡精度与体积） model.save_pretrained_gguf("model", tokenizer, quantization_method="q4_k_m")

10. 总结

本文系统介绍了基于ModelScope + Unsloth的高效 LLM 微调方案，涵盖模型下载、环境搭建、数据预处理、LoRA 微调、显存监控、推理测试与模型导出全流程。

核心优势总结如下：

1. 下载加速：通过 ModelScope 替代 Hugging Face，默认使用国内镜像源，解决模型拉取慢的问题。
2. 显存友好：Unsloth 实现 4-bit 量化 + LoRA + 梯度检查点优化，8B 模型仅需约 6GB 显存即可训练。
3. 速度快：训练与推理性能提升最高达 2 倍，显著缩短迭代周期。
4. 易集成：兼容 Hugging Face 生态，无缝对接 Transformers、Datasets、TRL 等工具链。
5. 多格式导出：支持合并为标准格式或导出为 GGUF，满足云端与本地部署需求。

对于希望快速开展中文大模型私有化微调的企业开发者而言，该组合提供了兼具稳定性、效率与灵活性的理想解决方案。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。