详细介绍：LLaMA-Factory实战优化进阶

news/2025/11/11 21:10:58/文章来源:https://www.cnblogs.com/yxysuanfa/p/19211625

一、挑战和需求

基于LLaMA-Factory的LoRA微调实战与性能剖析-CSDN博客

基于上篇博文，实验还没有结束，出现下面几个问题需要解除。

1）微调速度很慢，要16小时，如何加速训练？

2）训练完100步之后，出现显存爆炸错误，为什么会出现？如何解决？

3）如何更好的监控LOSS曲线，而不是仅仅靠WEBUI的那种LOSS曲线图？

4）如何从之前训练好的LoRA检查点接着训练？

训练效果最好的检查点？就是5）如何判断哪个检查点才

需要看完之前的博文在来阅读这篇进阶优化有更好的效果。

二、实验目的和配置

2.1 实验目的

启用LLaMA-Factory来对Qwen2.5-1.5B-Instruct模型进行LoRA微调，基于DISC-Law-SFT · 素材集的刑法部分的数据集进行偏过拟合的模型微调训练，最终得到一个刑法判决生成的专业微模型。

2.2 实验设置

三、加速训练

3.1 总览

SDPA微调加速的。就是之前选择auto默认使用的

LLaMA-Factory 三种LoRA微调加速方式对比

加速方式	核心技术原理	主要优势	对微调质量的潜在影响	适用场景
FlashAttention-2	通过分块计算和算子融合，重构注意力计算机制，减少GPU内存访问开销，实现更高效的并行计算。	对长文本序列训练有极佳的加速效果，并能有用降低显存占用（从O(n²)降至O(n)）。	基本无负面影响。它是一种精确的算法优化，计算结果与标准注意力机制完全一致，不会改变模型输出的数学基础。	处理长文本、法律文档、代码等应该长上下文的任务。
Unsloth	一套组合优化技巧：1. 4-bit量化存储与优化计算流程；2. LoRA计算优化（专用算子）；3. 改进的内存管理和多模型适配层。	显著降低显存占用（可减少50%-80%），提升训练速度（快2-5倍），特别适合资源受限的环境（如消费级显卡）。	理论上4-bit量化可能引入极小偏差，但社区实践表明，在LoRA微调场景下，质量损失可忽略不计，几乎不影响最终性能。	显存有限的消费级显卡、快捷实验迭代、资源受限环境。
Liger Kernel	内核级优化：针对NVIDIA GPU的CUDA架构，重写矩阵乘法（GEMM）、LayerNorm等核心算子的计算内核，并优化分布式通信，以提升硬件利用率。	追求极致的训练吞吐量，尤其在多卡分布式训练场景下能显著提升性能（吞吐量提升25%-30%）。

加速方式	最低GPU要求	推荐GPU架构
FlashAttention-2	Ampere架构（计算能力≥8.0）	RTX 30/40系列、A100等
Unsloth	Pascal架构（计算能力≥6.0）	广泛兼容，包括消费级显卡
Liger Kernel	Volta架构（计算能力≥7.0）	多卡服务器环境

3.2 确定GPU架构

nvidia-smi --query-gpu=name,compute_cap --format=csv

name, compute_cap
Tesla T4, 7.5

先执行这一步，看看能用什么加速，我这边不能使用FlashAttention加速。

3.3 FlashAttention的安装

python -c "import torch; print(f'PyTorch版本: {torch.__version__}')"
python -c "import torch; print(f'CUDA版本: {torch.version.cuda if hasattr(torch.version, \"cuda\") else \"N/A\"}')"
python --version

Releases · Dao-AILab/flash-attention

找到匹配的自己系统版本的，右击复制链接

# 1. 下载预编译包
wget https://github.com/Dao-AILab/flash-attention/releases/download/v2.8.2/flash_attn-2.8.2+cu12torch2.7cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
# 2. 安装下载的包
pip install flash_attn-2.8.1+cu12torch2.7cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

如果服务器链接不了外网，就自己手动下载好，上传到服务器

T4的GPU架构不支持FlashAttention加速推理,会出现下面的报错。

RuntimeError: FlashAttention only supports Ampere GPUs or newer.

四、swanlab

4.1 swanlab是什么

欢迎使用SwanLab | SwanLab官方文档

SwanLab 是一款开源、轻量的 AI 模型训练跟踪与可视化工具，提供了一个跟踪、记录、比较、和协作实验的平台。

SwanLab 面向人工智能研究者，设计了友好的Python API 和漂亮的UI界面，并提供训练可视化、自动日志记录、超参数记录、实验对比、多人协同等功能。在SwanLab上，研究者能基于直观的可视化图表发现训练障碍，对比多个实验找到研究灵感，并通过在线网页的分享与基于组织的多人协同训练，打破团队沟通的壁垒，提高组织训练效率。

借助SwanLab，科研人员可以沉淀自己的每一次训练经验，与合作者无缝地交流和协作，机器学习工程师可以更快地开发可用于生产的模型。

4.2 swanlab怎么用

1）在官网注册，获取api-key

2）微调的时候如图勾选启用Swanlab和填写API-KEY即可

特别适合微调时间长的时候，还可以使用手机监控微调过程。

启动微调界面的时候后台挂起即可

nohup llamafactory-cli webui > webui.log 2>&1 &

这是我的微调指令，可以参考一下

llamafactory-cli train \
--stage sft \
--do_train True \
--model_name_or_path /root/model/Qwen2.5-1.5B-Instruct \
--preprocessing_num_workers 16 \
--finetuning_type lora \
--template qwen \
--flash_attn auto \
--enable_liger_kernel True \
--dataset_dir data \
--dataset CriminalLaw_train \
--cutoff_len 2048 \
--learning_rate 4e-05 \
--num_train_epochs 8.0 \
--max_samples 4000 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 6 \
--lr_scheduler_type cosine \
--max_grad_norm 1.0 \
--logging_steps 5 \
--save_steps 100 \
--warmup_steps 0 \
--packing False \
--enable_thinking True \
--report_to none \
--use_swanlab True \
--output_dir saves/Qwen2.5-1.5B-Instruct/lora/train_2025-10-11-17-35-17 \
--bf16 True \
--plot_loss True \
--trust_remote_code True \
--ddp_timeout 180000000 \
--include_num_input_tokens_seen True \
--optim adamw_torch \
--lora_rank 12 \
--lora_alpha 24 \
--lora_dropout 0 \
--lora_target all \
--swanlab_project llamafactory \
--swanlab_run_name AI_TEST2 \
--swanlab_api_key your_api_key \
--swanlab_mode cloud \
--val_size 0.1 \
--eval_strategy steps \
--eval_steps 100 \
--per_device_eval_batch_size 2

4.3 swanlab图表

4.3.1 train`/loss`

这是LLaMA-Factory的Loss曲线

这是swanlab的图表信息

图表名称	核心含义	关键解读要点
train/loss	模型预测与真实值的差距，核心优化目标	应总体平稳下降，波动过大或上升可能预示问题。
train/grad_norm	参数更新步长的大小，反映训练稳定性	值过小可能收敛停滞，值过大可能梯度爆炸。
train/learning_rate	控制参数更新速度的超参数	确认学习率调度策略（如预热、衰减）是否按计划执行。
train/num_input_tokens_seen	模型已“见过”的训练数据总量	用于估算训练进度和内容利用效率。
train/train_tokens_per_second	硬件和训练流程的效率指标	速度骤降可能表示遇到系统瓶颈（如I/O、显存）。
train/epoch	训练完整个训练数据集的轮数	直观显示训练进度。

指标	当前表现分析	背后含义
train/loss（训练损失）	曲线呈现健康、平稳的下降趋势，初期下降迅速，后期渐趋平缓。	这是最重点的指标，表明模型正在有效地从训练数据中学习。损失下降说明模型的预测结果与真实答案越来越接近。当前状态表明训练过程良好。
train/grad_norm（梯度范数）	数值保持相对稳定，在一个较小的范围内波动，没有出现剧烈尖刺或归零。	梯度是模型参数更新的方向和大小。稳定的梯度范数表明训练过程非常平稳，优化器（如AdamW）在稳定地引导模型收敛。没有出现梯度爆炸（数值突然极大）或梯度消失（数值趋近于0）的问题。
train/learning_rate（学习率）	曲线显示采用了 “线性预热”策略：学习率从0开始线性增大到一个峰值，然后保持恒定。	这是现代深度学习训练中特别标准的技巧。预热期让模型在训练初期“小步慢跑”地稳定方向，避免因初始权重随机而“跑偏”。预热后保持恒定学习率，有利于模型持续学习。
train/epoch（训练轮数）	曲线线性增长。	直观地显示了训练进度，表明训练按计划逐个epoch进行。
train/num_input_tokens_seen（已处理Token数）	曲线线性增长，斜率恒定。	表明数据流供给稳定，没有中断。结合`train/tokens_per_second`可以计算总训练时间。
train/train_tokens_per_second（训练吞吐量）	数值保持一条水平直线，非常稳定。	这是一个非常好的信号！说明整个训练流水线（数据加载、预处理、前向传播、反向传播）效率极高且稳定，没有遇到性能瓶颈（如磁盘I/O阻塞、CPU/GPU处理速度不均等）。

4.3.2 `eval/loss`

如果勾选了验证集合一定的比例，就会有这个图表。

指标	数据来源	核心目的	理想状态
`train/loss`（训练损失）	训练集	指导模型学习和拟合训练内容，通过反向传播调整参数。	持续稳定下降，表明模型正在从训练数据中学习。
`eval/loss`（验证损失）	验证集	评估模型对未见数据的泛化能力，用于模型选择和超参数调优。	整体趋势应跟随训练损失下降，并最终趋于稳定。

五、选取最优检查点

5.1 选取的原则

1) train/loss越低，不代表LoRA检查点效果更好，只能说明微调过程没有问题。

2）依据eval/loss，越低说明效果越好，因为eval数据集本质上就是拿LoRA模型没有见过的数据拿去测试得到的loss值。

3）可以先根据客观指标，再根据主观指标来打分。

`5.2 评估指标说明`

：一只棕色的小狗在公园里快乐地奔跑。那么对于这两个模型同学生成的答案评估指标如下：就是如果标准答案

评估指标	核心关注点 (像什么样的老师)	同学A的作文：“一只棕色的小狗在公园奔跑。”	同学B的作文：“一只咖啡色的小犬在公园愉快地跑。”	主要优缺点
BLEU	字面匹配（严格的语文老师）	高分因为“棕色”、“小狗”、“公园”、“奔跑”等关键词完全匹配。	较低分因为“咖啡色”、“小犬”、“跑”等词与标准答案的字面不一致。	优点：标准客观，计算快。缺点：无法理解同义词，会惩罚表达多样性。
ROUGE-L	内容覆盖（抓重点的班主任）	很高分最长的公共序列（如“一只棕色的小狗在公园奔跑”）几乎覆盖了所有核心信息。	不错的分核心信息（小狗、颜色、公园、跑）都提到了，但序列因用词不同而稍短。	优点：更关注要点是否齐全，不严格纠结字词。缺点：对同义替换的识别依然有限。
BERTScore-F	语义相似（重理解的英语老师）	高分能识别出大部分意思一致，但会注意到“快乐地”这个情绪细节被省略了。	很高分能理解“咖啡色”≈“棕色”、“小犬”≈“小狗”、“愉快地跑”≈“快乐地奔跑”，认为意思高度一致。	优点：能理解语义，与人工判断更接近。缺点：计算更复杂。

`5.3 数据证明`

在eval/loss图中，Qwen2.5-1.5B-Instruct-lora900的值最低

Step	Train Loss	Eval Loss	BLEU Score (20平均)	ROUGE-L (20平均)	BERTScore-F (20平均)	BERTScore-R (20平均)	BERTScore-P (20平均)
0	N/A	N/A	0.1781	0.2996	0.7797	0.8261	0.7394
700	0.3483	0.3960	0.3115【+74.90%】	0.4481【+49.57%】	0.8321【+6.72%】	0.8407【+1.77%】	0.8255【+11.64%】
800	0.3381	0.3900	0.3224【+81.02%】	0.4825【+61.05%】	0.8382【+7.50%】	0.8407【+1.77%】	0.8255【+11.64%】
900	0.3246	0.3840	0.3321【+86.49%】	0.4861【+62.25%】	0.8454【+8.42%】	0.8446【+2.24%】	0.8336【+12.74%】
1000	0.3168	0.3850	0.3198【+79.56%】	0.4578【+52.80%】	0.8389【+7.60%】	0.8480【+2.65%】	0.8443【+14.19%】
1100	0.3150	N/A	0.3076【+72.74%】	0.4364【+45.66%】	0.8373【+7.39%】	0.8465【+2.47%】	0.8318【+12.50%】

生成式任务模型测评实战【附带源码】_生成任务的评估指标-CSDN博客

通过把这五个模型都导出，然后再20样本的测试集上，得到模型的评估答案，再根据之前博客说明的评估指标和函数，得到上述表格。可以有一下结论。

1) 指标上效果最好的是eval loss最低的检查点，并不是loss最低的检查点。
2）BLEU和ROUGE-L指标在Step 900达到顶峰，增幅分别超过86%和62%，证明微调显著提升了模型在特定任务上的文本生成质量和内容覆盖能力。
3）BERTScore-F1的稳步提升（峰值增幅8.42%）表明模型生成文本与参考文本在语义层面的相似性越来越好

后续应该采用人为主观评估方法，再来评估得分。