网站建设邮,医院网站开发百度文库,网站建设尢金手指专业,上海进博会文章目录 序言准备环境准备图片处理图片下载kohya_ss代码修改pyvenv.cfg启动界面访问地址生成字幕准备训练的文件夹配置训练参数开始训练遇到的问题#xff1a; 序言 在把玩stable diffusion的webUI和comfyUI后#xff0c;思考着自己也微调一个个性化风格的checkpoint、LyCO… 文章目录 序言准备环境准备图片处理图片下载kohya_ss代码修改pyvenv.cfg启动界面访问地址生成字幕准备训练的文件夹配置训练参数开始训练遇到的问题 序言 在把玩stable diffusion的webUI和comfyUI后思考着自己也微调一个个性化风格的checkpoint、LyCORIS或LoRA。 做好环境问题搞崩心态的准备。 我的旧电脑GPU才4G直接跑蹦了三次。 在没有好电脑的情况下还是别自己制作模型啦费时间、费电脑GPU不够的情况下肯定跑不出来。 准备环境 python3.10.9官方推荐官方强调一定不能是3.11否则跑不了。 准备图片 大概需要准备10-20张图片。 这里我们用华仔的图片 https://stable-diffusion-art.com/wp-content/uploads/2023/09/lora_training_captions.zip 处理图片 这个是在线图片处理网站https://www.birme.net/ 下载kohya_ss代码 https://github.com/bmaltais/kohya_ss#setup git clone https://github.com/bmaltais/kohya_ss.git下载好了后在目录下打开cmd 运行 .\setup.bat安装过程中会有报错信息如下面我的安装信息就有error错误的。 这时我们再单独安装他们即可。 我的安装信息如下 07:30:01-098969 INFO Python 3.10.9 on Windows 07:30:01-114591 INFO nVidia toolkit detected 07:30:22-313445 INFO Torch 2.0.1cu118 07:30:27-317148 INFO Torch backend: nVidia CUDA 11.8 cuDNN 8700 07:30:27-524602 INFO Torch detected GPU: NVIDIA GeForce GTX 960M VRAM 4096 Arch (5, 0) Cores 5 07:30:27-546322 INFO Installing modules from requirements_windows_torch2.txt... 07:30:27-571730 INFO Installing package: torch2.0.1cu118 torchvision0.15.2cu118 --index-urlhttps://download.pytorch.org/whl/cu118 07:30:31-836436 INFO Installing package: xformers0.0.21 07:31:57-013124 INFO Installing package: bitsandbytes0.35.0 07:32:51-316790 INFO Installing package: tensorboard2.12.3 tensorflow2.12.0 07:37:59-014316 ERROR Error running pip: install --upgrade tensorboard2.12.3 tensorflow2.12.0 07:37:59-014316 INFO Installing modules from requirements.txt... 07:37:59-014316 WARNING Package wrong version: accelerate 0.23.0 required 0.19.0 07:37:59-014316 INFO Installing package: accelerate0.19.0 07:38:03-229388 INFO Installing package: aiofiles23.2.1 07:38:06-751172 INFO Installing package: altair4.2.2 07:38:38-267155 INFO Installing package: dadaptation3.1 07:38:51-524642 INFO Installing package: diffusers[torch]0.18.2 07:38:59-209713 INFO Installing package: easygui0.98.3 07:39:02-399649 WARNING Package wrong version: einops 0.6.1 required 0.6.0 07:39:02-415277 INFO Installing package: einops0.6.0 07:39:06-136609 INFO Installing package: fairscale0.4.13 07:39:25-893111 INFO Installing package: ftfy6.1.1 07:39:29-690634 INFO Installing package: gradio3.36.1 07:40:36-392666 WARNING Package wrong version: huggingface-hub 0.17.2 required 0.15.1 07:40:36-400190 INFO Installing package: huggingface-hub0.15.1 07:40:40-941236 INFO Installing package: invisible-watermark0.2.0 07:41:24-129685 INFO Installing package: lion-pytorch0.0.6 07:41:30-507921 INFO Installing package: lycoris_lora1.8.3 07:41:37-013021 INFO Installing package: open-clip-torch2.20.0 07:41:50-051513 INFO Installing package: opencv-python4.7.0.68 07:42:25-089723 INFO Installing package: prodigyopt1.0 07:42:28-598267 INFO Installing package: pytorch-lightning1.9.0 07:42:38-209014 WARNING Package wrong version: rich 13.5.3 required 13.4.1 07:42:38-215011 INFO Installing package: rich13.4.1 07:42:43-854357 WARNING Package wrong version: safetensors 0.3.3 required 0.3.1 07:42:43-860357 INFO Installing package: safetensors0.3.1 07:42:48-383515 INFO Installing package: timm0.6.12 07:42:54-170484 INFO Installing package: tk0.1.0 07:42:57-803992 INFO Installing package: toml0.10.2 07:43:01-527071 WARNING Package wrong version: transformers 4.33.2 required 4.30.2 07:43:01-533037 INFO Installing package: transformers4.30.2 07:43:24-744913 INFO Installing package: voluptuous0.13.1 07:43:29-529060 INFO Installing package: wandb0.15.0修改pyvenv.cfg 我的路径E:\openai\project\kohya_ss\venv 我习惯性的改为true。原因是1.来节省空间2来已经安装过的模块就不用再安装一遍了。 include-system-site-packages true启动界面 在kohya_ss目录下双击gui.bat文件进行启动。 访问地址 http://127.0.0.1:7860/ 这个地址和stable diffusion webUI是同一个地址。 生成字幕 打开我们启动的页面 路径Utilities – Captioning – BLIP CaptioningWD14 Captioning也可以 选择文件夹选择我们处理好图片的文件夹 最后点击Caption images。就可以帮我们生成字幕了。 命令行中打印的日志如下 To create a public link, set shareTrue in launch(). 19:29:13-558295 INFO Captioning files in E:/下载/AI绘图/AIGC/hanli... 19:29:13-561260 INFO ./venv/Scripts/python.exe finetune/make_captions.py --batch_size1 --num_beams1--top_p0.9 --max_length75 --min_length5 --beam_search --caption_extension.txtE:/下载/AI绘图/AIGC/hanli--caption_weightshttps://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth Current Working Directory is: E:\openai\project\kohya_ss load images from E:\下载\AI绘图\AIGC\hanli found 13 images. loading BLIP caption: https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth Downloading (…)solve/main/vocab.txt: 100%|███████████████████████████████████████████| 232k/232k [00:0000:00, 360kB/s] Downloading (…)okenizer_config.json: 100%|██████████████████████████████████████████████████| 28.0/28.0 [00:00?, ?B/s] Downloading (…)lve/main/config.json: 100%|████████████████████████████████████████████████████| 570/570 [00:00?, ?B/s] 100%|█████████████████████████████████████████████████████████████████████████████| 1.66G/1.66G [09:0100:00, 3.30MB/s] load checkpoint from https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_large_caption.pth BLIP loaded 100%|██████████████████████████████████████████████████████████████████████████████████| 13/13 [00:3000:00, 2.36s/it] done! 19:41:08-386110 INFO ...captioning done可以看出它下载了一个1.6G的文件这个问题存在路径C:\Users\yutao\.cache\torch\hub\checkpoints\model_large_caption.pth 可以看出存放在C盘非常不友好。 生成字幕效果如下 随便打开一个 准备训练的文件夹 设置准备训练的文件夹。 点击Prepare training data按钮会生成如下图所示的文件夹 配置训练参数 路径 LoRa – Training – source model 路径 LoRa – Training – Folders 路径 LoRa – Training – parameters – basic 参数 Optimizer extra arguments : scale_parameterFalse relative_stepFalse warmup_initFalse 路径 LoRa – Training – parameters – advanced 参数说明LoRA-training-parameters 开始训练 点击“Start training” 开始训练。 遇到的问题 这里我遇到了一个警告 WARNING[XFORMERS]: xFormers cant load C/CUDA extensions. xFormers was built for:PyTorch 2.0.1cu118 with CUDA 1108 (you have 2.0.1cpu)Python 3.10.11 (you have 3.10.9)Please reinstall xformers (see https://github.com/facebookresearch/xformers#installing-xformers)Memory-efficient attention, SwiGLU, sparse and more wont be available.上面是说CUDA没法使用也就意味着我们无法调用GPU来跑只能调用CPU来跑。 执行如下命令 pip uninstall -y torch torchvision torchaudiopip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118即可解决 参考地址 SDXL LORA Training locally with Kohya How to train Lora models AnimateDiff高质量文本到动画视频生成 LoRA-training-parameters