安庆市住房和城乡建设局网站首页,全包圆装修400电话怎么打,网站开发分工,手机如何建免费网站文章目录 ControlNet的介绍及安装ControlNet的介绍ControlNet的安装 ControlNet的功能介绍ControlNet的应用与演示 ControlNet的介绍及安装 ControlNet的介绍 ControlNet 的中文就是控制网#xff0c;本质上是Stable Diffusion的一个扩展插件#xff0c;在2023年2月份由斯坦… 文章目录 ControlNet的介绍及安装ControlNet的介绍ControlNet的安装 ControlNet的功能介绍ControlNet的应用与演示 ControlNet的介绍及安装 ControlNet的介绍 ControlNet 的中文就是控制网本质上是Stable Diffusion的一个扩展插件在2023年2月份由斯坦福大学的研究人员开发出来的能够使创作者轻松地控制AI图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。ControlNet可以概括为一种简单的稳定扩散微调方法。 为什么需要ControlNet 因为在ControlNet出现之前基于扩散模型的“AI绘画”是非常难以控制的在文生图或图生图的过程中充满了随机性如果只是简单的自娱自乐这种随机性并不会带来很大的困扰画出来的内容有偏差也是可以接受的但对于一些有具体需求的场景来说如果不能做到精确的“控制”只能靠随机性来得到想要的图片的话那就无法保证稳定和有效了。 ControlNet以一种降维打击的方式实现了很多控制方式并且相当稳定。ControlNet 和 Lora是有很多相似之处的都是对扩散模型做微调的额外网络也就是基于一些额外输入的信息给扩散模型的生成提供明确的指引。 ControlNet与Prompt的区别如果只是在prompt中输入 dancing跳舞那么生成的图片会有各种各样的舞蹈姿势即使是用更多的词来作为引导。而ControlNet的精髓在于你可以给它输入一张记录了某种特定“姿势”信息的图片来指导作图。 ControlNet的安装 在Stable Diffusion WebUI 的界面中找到Extensions进行安装在对应的文本框中输入下面链接 https://github.com/Mikubill/sd-webui-controlnet 如果安装报错可以手动下载安装到 安装完成后需要点击下Check for updates 和 Apply and restart UI 如果没有加载出来的话可以重新启动下 Stable Diffusion WebUI。 安装成功后可打开如下图所示 ControlNet的功能介绍 安装完成后来看下ControlNet的每个部分以及每个配置如何影响输出。 Enable :选中此框以启用ControlNet。开启ControlNet需要经过一次额外的图片处理过程所以会占用一定的显存。 Low VRAM:这将减缓ETA进程但有助于使用更少的计算空间(显存小于6 GB VRAM建议使用) Pixel Perfect完美像素它可以自动计算预处理器产出图片最合适的分辨率避免因为尺寸不合导致的图像模糊变形。建议选中 Allow Preview 会打开一个小的预处理窗口是专门为预处理图像做准备的。 控制类型。 Preprocessor预处理器 Model模型 这里主要是控制ControlNet的基本作用过程最需要注意的是Control Weight也就是控制权重和提示词/Lora的权重一样它会决定这个控制效果在图片中呈现出来的强度通常情况下胡使用默认值1后面的Starting Control和Ending Control Stop会决定在生成图片过程中的什么阶段加入控制效果默认的0到1表示从头到尾全程生效可以尝试设置不同的值。 控制模式可以控制在提示词的影响和ControlNet的信息之间更倾向于哪一个通常情况下也是会默认使用Balanced。 ControlNet的应用与演示 模型下载https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main 下载到extensions/sd-webui-controlnet/models下注意下载的时候确保要下载模型对应的配置文件.yaml 这里需要注意的是如果models下有重复的文件yaml直接选择覆盖即可。 1、Canny边缘检测 Canny通过使用边缘检测器创建高对比度区域的轮廓来检测输入图像。线条可以捕捉到非常详细的信息但如果你的图像背景中有一些物体它很可能会检测到不需要的物体。所以背景中物体越少效果越好。用于此预处理器的最佳模型是control_sd15_canny。 2、Depth Depth Leres 背景替换方法在 img2img 图生图模式中通过 ControlNet 的 Depth_leres 模型中的 remove background 功能移除背景再通过提示词更换想要的背景。 应用模型Depth预处理器 Depth_leres。 要点如果想要比较完美的替换背景可以在图生图的 Inpaint 模式中对需要保留的图片内容添加蒙版remove background 值可以设置在 70-80%。 Depth_leres 示例将原图背景替换为办公室背景 3、MLSD ( Mobile Line Segment Detection) MLSD Preprocessor 最适合生成强有力的线条这些线条能够检测出需要独特和刚性轮廓的建筑和其他人造作品。但是它不适用于处理非刚性或弯曲的物体。MLSD适用于生成室内布局或建筑结构因为它可以突出直线和边缘。用于此预处理器的最佳模型是control_sd15_mlsd。 4、角色三视图 方法通过 ControlNet 的 Openpose 模型精准识别出人物姿态再配合提示词和风格模型生成同样姿态的图片。 应用模型OpenPose。在 ControlNet1.1 版本中提供了多种姿态检测方式包含openpose 身体、openpose_face 身体脸、openpose_faceonly 只有脸、openpose_full 身体手脸、openpose_hand 手可以根据实际需要灵活应用。 OpenPose 角色三视图示例 要点上传 openpose 三视图加载 charturner 风格模型 https://civitai.com/?querycharturner 添加提示词保持背景干净 (simple background, white background:1.3), multiple views