用PyTorch-2.x-Universal-Dev-v1.0完成了人生第一个AI项目

1. 引言：从零开始的AI初体验

坦白说，动手做这个项目之前，我对大模型微调这件事是既向往又害怕。向往的是能亲手打造一个属于自己的智能助手，害怕的是复杂的环境配置和动辄几百行的代码。但当我真正用上PyTorch-2.x-Universal-Dev-v1.0这个镜像时，一切都变得简单了。

这个镜像就像一位贴心的向导，它已经帮我把所有常用的工具都准备好了——Pandas、Numpy处理数据，Matplotlib画图，JupyterLab写代码，甚至连国内源都给你配好，下载速度飞快。最让我感动的是，它“去除了冗余缓存”，系统非常纯净，没有那些乱七八糟的东西干扰你。这让我能心无旁骛地专注于学习本身，而不是在解决环境问题上浪费时间。

本文将记录我如何利用这个强大的开发环境，完成对Llama3模型的中文能力微调。整个过程会遇到各种坑，比如显存不足、依赖冲突，但我会一步步带你解决。相信读完这篇文章，你也能自信地说：“我也能做一个AI项目！”

2. 环境验证与快速启动

2.1 验证GPU可用性

拿到环境的第一件事，就是确认我们的“算力心脏”——GPU是否正常工作。在终端里输入两条命令：

nvidia-smi python -c "import torch; print(torch.cuda.is_available())"

如果一切顺利，你会看到类似True的输出。这说明PyTorch已经成功识别到了你的GPU，可以开始进行深度学习训练了。这是迈向成功的第一步，非常重要。

2.2 克隆并激活专属环境

为了不污染基础环境，我们创建一个独立的conda环境来运行项目。

# 创建名为 llama_factory_torch 的新环境，并克隆base环境 conda create -n llama_factory_torch --clone base # 激活环境 source activate llama_factory_torch

执行完这些命令后，你的命令行提示符前面应该会出现(llama_factory_torch)，这就表示你已经进入了为项目量身定制的工作空间。

3. 安装核心框架LLaMA-Factory

LLaMA-Factory是一个开源的大语言模型微调框架，它让复杂的微调过程变得像搭积木一样简单。我们通过pip安装它。

# 在LLaMA-Factory项目根目录下执行 pip install -e ".[torch,metrics]"

这条命令中的-e表示“可编辑安装”，意味着你可以直接修改框架的源码，非常适合学习和调试。安装过程中可能会出现一些关于非标准版本号的警告（如lmdeploy），但只要最终显示Successfully installed，就可以忽略这些警告。

3.1 解决依赖包冲突

在安装vllm推理引擎时，我发现了一个常见的依赖冲突问题。

# 原始命令导致冲突 pip install vllm==0.4.3 # 冲突信息 ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. lmdeploy 0.1.0-git782048c.abi0.dtk2404.torch2.1. requires transformers==4.33.2, but you have transformers 4.43.3 which is incompatible.

解决方案：使用--no-deps参数跳过依赖检查，强制安装。

pip install --no-dependencies vllm==0.4.3

这样做虽然有点“暴力”，但在确保其他关键依赖（如transformers）版本正确的情况下，是安全且高效的。

4. 私有化部署Llama3模型

4.1 下载模型文件

我们以Llama3-8B-Instruct为例，从ModelScope下载模型权重。

mkdir models cd models git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git

4.2 启动Web服务

使用LLaMA-Factory提供的webui.py脚本，一键启动可视化界面。

python src/webui.py \ --model_name_or_path "/path/to/your/models/Meta-Llama-3-8B-Instruct" \ --template llama3 \ --infer_backend vllm \ --vllm_enforce_eager

服务启动后，会输出一个本地访问地址（如http://0.0.0.0:7860）。通过浏览器访问这个地址，就能看到一个功能完整的聊天界面。此时的模型还不会中文，但它已经具备了强大的英文对话能力。

5. 中文能力微调实战

5.1 准备中文数据集

为了让模型学会中文，我们需要用中文数据集对其进行微调。这里我们选用alpaca_zh数据集。

# 下载数据集 git clone https://www.modelscope.cn/datasets/llamafactory/alpaca_zh.git # 将数据文件复制到LLaMA-Factory的data目录 cp alpaca_data_zh_51k.json ./LLaMA-Factory/data/ # 修改 data/dataset_info.json 文件，注册本地数据集 # 将 "ms_hub_url": "..." 改为 "file_name": "alpaca_data_zh_51k.json"

5.2 配置多卡分布式训练

单张显卡无法承载Llama3-8B这么大的模型，我们必须使用多卡训练。LLaMA-Factory推荐使用DeepSpeed ZeRO-3技术来节省显存。

我们修改examples/train_lora/llama3_lora_sft.yaml配置文件：

# 模型路径 model_name_or_path: models/Meta-Llama-3-8B-Instruct # 启用DeepSpeed deepspeed: examples/deepspeed/ds_z3_config.json # 训练参数 stage: sft finetuning_type: lora lora_target: all per_device_train_batch_size: 2 gradient_accumulation_steps: 8 learning_rate: 5.0e-5 # 注意：必须写成5.0e-5，不能写5e-5 num_train_epochs: 1.0 bf16: true # 数据集 dataset: alpaca_zh template: llama3 # 输出 output_dir: saves/llama3-8b/lora/sft save_steps: 100 logging_steps: 5

5.3 执行微调任务

使用llamafactory-cli工具启动训练。

FORCE_TORCHRUN=1 llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml

训练过程大约持续90分钟。从日志中可以看到，模型的损失（loss）从最初的2.5逐渐下降到2.3左右，说明模型正在有效地学习。

6. 合并与推理：见证成果

6.1 合并LoRA适配器

微调完成后，我们得到的是一个轻量级的LoRA权重文件。需要将其与原始模型合并，才能得到一个完整的新模型。

创建examples/merge_lora/llama3_lora_sft.yaml配置文件：

model_name_or_path: models/Meta-Llama-3-8B-Instruct adapter_name_or_path: saves/llama3-8b/lora/sft finetuning_type: lora export_dir: output/llama3_lora_sft export_device: cpu # 推荐在CPU上合并，避免占用GPU资源

执行合并命令：

llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml

6.2 测试微调后的模型

最后，让我们测试一下这个注入了中文知识的“新生命”。

llamafactory-cli chat examples/inference/llama3_lora_sft.yaml

在交互式命令行中输入问题：

User: 中国深圳有哪些旅游景点 Assistant: 深圳是一个旅游目的地，拥有许多旅游景点，以下是一些主要的旅游景点： 1. **Window of the World**（世界之窗）... 2. **Splendid China Folk Village**（锦绣中华民俗文化村）... ...

看着模型流利地用中文回答问题，那一刻的成就感，真的难以言表。这就是我人生第一个AI项目的终点，也是新征程的起点。