deepspeed/llama-factory

DeepSpeed 是底层训练加速库，用于进行分布式训练

LLaMA Factory 是高层一站式训练框架

DeepSpeed

定位：微软开发的深度学习优化库，核心目标是极大化训练和推理的效率、规模与速度。

核心特性：

1. ZeRO 优化器：其标志性技术，通过跨GPU智能分割模型状态（参数、梯度、优化器状态）来消除数据并行中的显存冗余，使得能够训练以前无法想象的超大模型。

2. 混合精度训练：自动管理FP16/BF16和FP32的转换，提升速度并节省显存。

3. 流水线并行和张量并行：支持将模型层或矩阵计算拆分到不同GPU上，是万卡级超大规模训练的基础。

4. 推理优化：提供DeepSpeed-Inference，支持模型并行、量化推理等。

5. 与框架解耦：虽然与PyTorch集成最深，但其理念是作为一个可插拔的库，理论上可以支持其他框架。

 

LLaMA Factory

定位：一个开源的、易用的大语言模型微调框架，核心目标是让用户以最低门槛、最高效的方式对LLM进行监督微调、奖励模型训练等。

核心特性：

1. 开箱即用：提供了大量预设的模型（LLaMA, Mistral, Qwen, Phi, GLM等）和数据集模板，几行命令或Web UI点击即可开始训练。

2. 丰富的算法支持：集成了当今主流的微调技术，如LoRA, QLoRA, 全参数微调, 梯度检查点等，并且底层默认就使用了DeepSpeed的ZeRO-2/3等技术来优化显存。

3. Web UI界面：提供类似Text-generation-webui的友好界面，让不熟悉代码的用户也能进行模型训练和数据管理。

4. 高度集成与抽象：它将模型加载、数据预处理、训练循环、评估、推理等流程全部封装好。用户只需关注数据和指令，无需编写复杂的训练代码。

5. 与 transformers, peft, trl 深度整合：它建立在Hugging Face生态系统之上，是这些优秀工具的上层封装和应用。