深入大模型-2-大模型微调之Windows10安装大语言模型Unsloth微调环境 - 教程

文章目录

• 1 什么是LLM微调
• 2 windows安装微调环境
• • 2.1 windows安装WSL
  • 2.2 准备安装环境
  • • 2.2.1 Anaconda(linux)
    • 2.2.2 ollama(linux)
    • 2.2.3 unsloth(linux)
    • 2.2.4 CUDA简介
• 3 查找适配的版本
• • 3.1 GTX1050显卡
  • 3.2 支持的CUDA版本
  • 3.3 协助的PyTorch版本
  • 3.4 安装方式
  • 3.5 总结
• 4 执行安装
• • 4.1 创建Conda虚拟环境
  • 4.2 安装Unsloth(使用清华镜像源)
  • 4.3 卸载CPU版本的PyTorch
  • 4.4 安装GPU版本的PyTorch
  • 4.5 处理xformers版本冲突挑战
  • 4.6 验证安装
  • 4.7 安装jupyterlab(linux)
• 5 参考附录

基于显卡GTX1050，驱动的版本，CUDA的版本，查找适配的pytorch版本。Unsloth、PyTorch及xformers等库之间存在版本依赖，需谨慎选择。注意一定要先安装Unsloth，然后再安装pytorch和调整xformers。

LLM微调就是1 什么

微调是拿一个已经预训练好的LLM(比如GPT或Llama)，它已经很懂得通用语言了，然后针对你的特定任务“调校”一下。给它喂一些你领域的例子，它就会调整自己的知识，专门为这个领域发光发热。

1、微调原理
从一个懂得英语(或其他语言)的base model开始，给它一堆“输入”(比如一个难题)和“输出”(比如完美答案)的配对，模型会调整内部weights来匹配这些例子。
2、微调与prompting的区别
Prompting就像临时给指令(比如“写得像莎士比亚”)，而微调是永久改变模型，让它表现更稳定。
3、微调与parameter tuning的区别
Parameter tuning是调整像“temperature”(输出多有创意)这样的设置，就像调车上的收音机。微调则是给引擎升级，让它能跑越野。
4、假设想让LLM从乱糟糟的邮件里提取信息
(1)微调前：
John。订个披萨。“中提取名字和订单。”就是Prompt: "从’嗨，我
输出：可能很随机，比如"Name: John, Food: Pizza"或者只是个总结。
(2)微调后：
用100封邮件例子训练。