7D-AI系列：模型微调之mlx-lm

大模型的出现，导致信息量太大，只有静心动手操作，才能得到真理。

文章目录

- 环境要求
- 安装
- 示例
- mlx-lm微调工具参数
- 准备数据集
- 下载模型
- 微调模型
- 合并模型
- 验证结果
- - 验证微调前的模型
  - 验证微调后的模型

环境要求

macbook pro m系列芯片
mlx环境已安装

安装

mlx-lm微调工具是一个用于微调基于mlx框架的预训练语言模型(LM)的工具。该工具提供了多种功能，包括预训练语言模型的微调、模型保存和加载、模型评估等功能。

(mlx) gaolou@GaodeMacBook-Pro mlx-examples % pip install mlx-lm

示例

当使用 generate 命令且不指定模型时，会自动下载 models--mlx-community--Llama-3.2-3B-Instruct-4bit 模型。并保在 /Users/gaolou/.cache/huggingface/hub 中。

(mlx) gaolou@GaodeMacBook-Pro mlx-examples % mlx_lm.generate --prompt "How tall is Mt Everest?"
special_tokens_map.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 296/296 [00:00<00:00, 2.87MB/s]
config.json: 1.12kB [00:00, 2.42MB/s]                                                                                                                             
tokenizer_config.json: 54.6kB [00:00, 66.4MB/s]                                                                                         | 1/6 [00:00<00:04,  1.04it/s]
model.safetensors.index.json: 45.7kB [00:00, 124MB/s]
tokenizer.json: 17.2MB [00:01, 16.9MB/s]
model.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.81G/1.81G [00:47<00:00, 37.7MB/s]
Fetching 6 files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6/6 [00:52<00:00,  8.78s/it]
==========
Mt. Everest is approximately 8,848 meters (29,029 feet) tall.
==========
Prompt: 41 tokens, 101.355 tokens-per-sec
Generation: 19 tokens, 120.663 tokens-per-sec
Peak memory: 1.937 GB
(mlx) gaolou@GaodeMacBook-Pro mlx-examples %

mlx-lm微调工具参数

(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.lora --help                                  
usage: mlx_lm.lora [-h] [--model MODEL] [--train] [--data DATA] [--fine-tune-type {lora,dora,full}] [--optimizer {adam,adamw}] [--mask-prompt][--num-layers NUM_LAYERS] [--batch-size BATCH_SIZE] [--iters ITERS] [--val-batches VAL_BATCHES] [--learning-rate LEARNING_RATE][--steps-per-report STEPS_PER_REPORT] [--steps-per-eval STEPS_PER_EVAL] [--resume-adapter-file RESUME_ADAPTER_FILE] [--adapter-path ADAPTER_PATH][--save-every SAVE_EVERY] [--test] [--test-batches TEST_BATCHES] [--max-seq-length MAX_SEQ_LENGTH] [-c CONFIG] [--grad-checkpoint] [--seed SEED]
LoRA or QLoRA finetuning.
options:-h, --help            show this help message and exit--model MODEL         The path to the local model directory or Hugging Face repo.--train               Do training--data DATA           Directory with {train, valid, test}.jsonl files or the name of a Hugging Face dataset (e.g., 'mlx-community/wikisql')--fine-tune-type {lora,dora,full}Type of fine-tuning to perform: lora, dora, or full.--optimizer {adam,adamw}Optimizer to use for training: adam or adamw--mask-prompt         Mask the prompt in the loss when training--num-layers NUM_LAYERSNumber of layers to fine-tune. Default is 16, use -1 for all.--batch-size BATCH_SIZEMinibatch size.--iters ITERS         Iterations to train for.--val-batches VAL_BATCHESNumber of validation batches, -1 uses the entire validation set.--learning-rate LEARNING_RATEAdam learning rate.--steps-per-report STEPS_PER_REPORTNumber of training steps between loss reporting.--steps-per-eval STEPS_PER_EVALNumber of training steps between validations.--resume-adapter-file RESUME_ADAPTER_FILELoad path to resume training from the given fine-tuned weights.--adapter-path ADAPTER_PATHSave/load path for the fine-tuned weights.--save-every SAVE_EVERYSave the model every N iterations.--test                Evaluate on the test set after training--test-batches TEST_BATCHESNumber of test set batches, -1 uses the entire test set.--max-seq-length MAX_SEQ_LENGTHMaximum sequence length.-c CONFIG, --config CONFIGA YAML configuration file with the training options--grad-checkpoint     Use gradient checkpointing to reduce memory use.--seed SEED           The PRNG seed
(mlx) gaolou@GaodeMacBook-Pro mlx-lm %

准备数据集

在用mlx_lm.lora 微调工具微调模型时，需要准备数据集。数据集可以是一个目录，包含 train.jsonl、valid.jsonl和test.jsonl文件，也可以是一个Hugging Face数据集。数据要超过5条。

示例如下：


{"prompt": "你是谁？","completion": "我是7DRESAR性能分析决策模型，我可以帮助你分析系统的性能问题，给出性能分析证据链，并提供相应的解决方案。"}
{"prompt": "如何分析操作系统中用户态CPU使用率高的根本原因？","completion": "根据7DRESAR性能分析决策树模型，分析us cpu使用率高根本原因的步骤如下：1. 首先要明确是us cpu使用率，而非其他cpu计数器。2. 然后查看us cpu消耗在哪个进程上。3， 再进一步根据进程号查看是哪一个线程消耗了us cpu。注意：如果不是某一个特定线程一直消耗us cpu，而是有多个线程消耗cpu，并且线程号在不断切换，则需要判断线程数设置是否合理。4. 当明确了某个线程消耗了us cpu之后，再多次打印线程栈，以确定正在执行的代码。5. 最后根据线程栈信息，确定是哪个代码片段消耗了us cpu。在java的应用中，可以用arthas之类的工具来跟踪方法的执行时间，其他的语言中也有类似的工具。"}
{"prompt": "如何分析操作系统中磁盘IO使用率高的根本原因？","completion": "根据7DRESAR性能分析决策树模型，分析磁盘IO使用率高的根本原因步骤如下：1. 首先要明确磁盘本身顺序、随机读写能力的上下限。也就是需要根据基准测试确定磁盘的最大读写能力。2. 然后查看磁盘IO消耗在哪个线程上。这一步在linux中可以直接通过iotop命令做到。3. 可以直接打线程栈，查看是哪一段代码在读写文件。4. 根据读写文件的逻辑，判断是否需要增加读写buffer的大小。5. 若读写文件不合理，则减少读写。"}
{"prompt": "如何分析操作系统中内存使用率高的根本原因？","completion": "根据7DRESAR性能分析决策树模型，分析内存率高的根本原因步骤如下：1. 对于java语言的应用，查看jvm的gc状态；对于其他语言开发的应用，则分析物理内存的使用情况。2. 若物理内存使用率高，在linux中可以使用top -Hp pid命令查看进程中哪个线程消耗了内存。3. 可以直接打线程栈，查看是哪一段代码在申请内存。4. 若申请内存不合理，则减少内存申请。5. 若内存申请合理，则需要考虑增加节点或内存。"}
{"prompt": "如何分析操作系统中网络是否阻塞？","completion": "根据7DRESAR性能分析决策树模型，分析网络是否阻塞步骤如下：1. 在linux中通过命令netstat查看recvq和sendq是否有积压。2. 若本机recvq有积压，则是阻塞在本机。3. 若是sendq有积压，则需要查看tcp连接的对端recvq是否也有积压，若有，则需要分析对端recvq积压的原因。"}
{"prompt": "如何分析操作系统中上下文切换是否合理？","completion": "根据7DRESAR性能分析决策树模型，分析上下文切换是否合理步骤如下：1. 在linux中通过命令vmstat查看上下文切换的次数。2. 若上下文切换次数高，则需要分析上下文切换的原因。3. 若上下文切换的原因是线程数设置不合理，则需要调整线程数。4. 若上下文切换的原因是线程切换的时间片不合理，则需要调整线程切换的时间片。"}

下载模型

你可以到网上下载一个模型权重。这里我之前在本地演示时，训练过的一个模型权重 Qwen2.5-0.5B-Instruct。

注意：模型的选择要量力而为。

(mlx) gaolou@GaodeMacBook-Pro DeepSeek-R1-1.5B-7dresar % pwd
/Users/gaolou/Desktop/AI研究/AI模型权重/DeepSeek-R1-1.5B-7dresar
(mlx) gaolou@GaodeMacBook-Pro DeepSeek-R1-1.5B-7dresar % tree -h
[ 320]  .
├── [ 392]  Modelfile
├── [ 812]  config.json
├── [ 181]  generation_config.json
├── [3.3G]  model.safetensors
├── [ 485]  special_tokens_map.json
├── [ 11M]  tokenizer.json
├── [6.7K]  tokenizer_config.json
└── [ 16K]  读取模型文件.md
1 directory, 8 files

微调模型


(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.lora --model /Users/gaolou/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct --train --data ./dataset
Loading pretrained model
Loading datasets
Training
Trainable parameters: 0.073% (0.360M/494.033M)
Starting training..., iters: 1000
Iter 1: Val loss 3.671, Val took 0.257s
Iter 10: Train loss 3.379, Learning Rate 1.000e-05, It/sec 3.233, Tokens/sec 2062.551, Trained Tokens 6380, Peak mem 3.130 GB
Iter 20: Train loss 2.893, Learning Rate 1.000e-05, It/sec 3.214, Tokens/sec 2050.724, Trained Tokens 12760, Peak mem 3.130 GB
Iter 30: Train loss 2.525, Learning Rate 1.000e-05, It/sec 3.227, Tokens/sec 2058.875, Trained Tokens 19140, Peak mem 3.130 GB
Iter 40: Train loss 2.198, Learning Rate 1.000e-05, It/sec 3.271, Tokens/sec 2086.831, Trained Tokens 25520, Peak mem 3.130 GB
----------删除了部分输出日志------------
Iter 990: Train loss 0.009, Learning Rate 1.000e-05, It/sec 3.205, Tokens/sec 2044.611, Trained Tokens 631620, Peak mem 3.136 GB
Iter 1000: Val loss 0.009, Val took 0.162s
Iter 1000: Train loss 0.009, Learning Rate 1.000e-05, It/sec 3.209, Tokens/sec 2047.448, Trained Tokens 638000, Peak mem 3.136 GB
Iter 1000: Saved adapter weights to adapters/adapters.safetensors and adapters/0001000_adapters.safetensors.
Saved final weights to adapters/adapters.safetensors.
(mlx) gaolou@GaodeMacBook-Pro mlx-lm %

合并模型

(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.fuse --model /Users/gaolou/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct --adapter-path ./adapters --save-path Qwen2.5-0.5B-7dresar-v0.1
Loading pretrained model
(mlx) gaolou@GaodeMacBook-Pro mlx-lm % ll
total 88
drwxrwxr-x@ 14 gaolou  staff   448  4 12 03:39 tests
-rw-rw-r--@  1 gaolou  staff  1509  4 12 03:39 setup.py
-rw-rw-r--@  1 gaolou  staff    77  4 12 03:39 requirements.txt
drwxrwxr-x@ 29 gaolou  staff   928  4 12 03:39 mlx_lm
-rw-rw-r--@  1 gaolou  staff  9186  4 12 03:39 README.md
-rw-rw-r--@  1 gaolou  staff    56  4 12 03:39 MANIFEST.in
-rw-rw-r--@  1 gaolou  staff  1066  4 12 03:39 LICENSE
-rw-rw-r--@  1 gaolou  staff  2773  4 12 03:39 CONTRIBUTING.md
-rw-rw-r--@  1 gaolou  staff  5544  4 12 03:39 CODE_OF_CONDUCT.md
-rw-rw-r--@  1 gaolou  staff   640  4 12 03:39 ACKNOWLEDGMENTS.md
drwxr-xr-x@  5 gaolou  staff   160  4 12 16:27 dataset
drwxr-xr-x@ 14 gaolou  staff   448  4 12 16:57 adapters
drwxr-xr-x@  8 gaolou  staff   256  4 12 17:03 DeepSeek-R1-1.5B-7dresar-v0.1
drwxr-xr-x@ 12 gaolou  staff   384  4 12 18:35 DeepSeek-R1-8B-7dresar-v0.1
drwxr-xr-x@ 11 gaolou  staff   352  4 12 19:11 Qwen2.5-0.5B-7dresar-v0.1
(mlx) gaolou@GaodeMacBook-Pro mlx-lm % tree -h Qwen2.5-0.5B-7dresar-v0.1
[ 352]  Qwen2.5-0.5B-7dresar-v0.1
├── [ 605]  added_tokens.json
├── [ 710]  config.json
├── [1.6M]  merges.txt
├── [942M]  model.safetensors
├── [ 20K]  model.safetensors.index.json
├── [ 613]  special_tokens_map.json
├── [ 11M]  tokenizer.json
├── [7.2K]  tokenizer_config.json
└── [2.6M]  vocab.json
1 directory, 9 files
(mlx) gaolou@GaodeMacBook-Pro mlx-lm %

验证结果

验证微调前的模型


(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.generate --model /Users/gaolou/.cache/modelscope/hub/models/Qwen/Qwen2.5-0.5B-Instruct --max-tokens 1000 --prompt "如何分析操作系统中用户态CPU使用率高的根本原因？"
==========
分析操作系统中用户态CPU使用率高的根本原因，通常需要从以下几个方面进行深入分析：
1. **系统资源使用情况**：首先，需要了解系统的总资源使用情况，包括CPU、内存、磁盘I/O等。如果系统资源使用率过高，可能意味着系统负载过高，需要进一步分析。
2. **进程和线程管理**：检查进程和线程的使用情况。如果某些进程或线程占用大量CPU资源，可能是由于它们的运行状态不稳定或资源分配不当导致的。
3. **内存使用情况**：检查内存使用情况，包括内存的分配和释放。如果内存分配过多或释放不足，可能会导致CPU使用率过高。
4. **磁盘I/O使用情况**：检查磁盘I/O使用情况，包括磁盘的读写速度和磁盘I/O的总请求量。如果磁盘I/O使用率过高，可能是由于磁盘的性能问题或磁盘I/O的调度策略不当导致的。
5. **系统调度和资源管理**：检查系统调度和资源管理的策略，包括进程调度、内存分配和磁盘I/O调度等。如果这些策略不当，可能会导致CPU使用率过高。
6. **系统优化和调整**：根据上述分析，可以考虑对系统进行优化和调整，例如调整进程和线程的调度策略、优化磁盘I/O调度策略、调整内存分配策略等。
7. **系统监控和日志分析**：通过系统监控和日志分析，可以更深入地了解CPU使用率高的原因，包括异常的CPU使用情况、异常的内存使用情况、异常的磁盘I/O使用情况等。
8. **性能测试和优化**：进行性能测试和优化，找出性能瓶颈，然后针对性地进行优化。
通过上述分析和优化，可以有效地解决用户态CPU使用率高的问题，提高系统的性能和稳定性。
==========
Prompt: 42 tokens, 1476.203 tokens-per-sec
Generation: 404 tokens, 194.790 tokens-per-sec
Peak memory: 1.044 GB

验证微调后的模型

(mlx) gaolou@GaodeMacBook-Pro mlx-lm % mlx_lm.generate --model /Users/gaolou/Desktop/AI研究/AI工具集/mlx/mlx-lm/Qwen2.5-0.5B-7dresar-v0.1 --max-tokens 1000 --prompt "如何分析操作系统中用户态CPU使用率高的 根本原因？"
==========
根据7DRESAR性能分析决策树模型，分析us cpu使用率高根本原因的步骤如下：
1. 首先要明确是us cpu使用率，而非其他cpu计数器。
2. 然后查看us cpu消耗在哪个进程上。
3， 再进一步根据进程号查看是哪一个线程消耗了us cpu。注意：如果不是某一个特定线程一直消耗us cpu，而是有多个线程消耗cpu，并且线程号在不断切换，则需要判断线程数设置是否合理。
4. 当明确了某个线程消耗了us cpu之后，再多次打印线程栈，以确定正在执行的代码。
5. 最后根据线程栈信息，确定是哪个代码片段消耗了us cpu。在java的应用中，可以用arthas之类的工具来跟踪方法的执行时间，其他的语言中也有类似的工具。
==========
Prompt: 42 tokens, 1410.335 tokens-per-sec
Generation: 187 tokens, 196.516 tokens-per-sec
Peak memory: 1.044 GB