网站手机版下悬浮条怎么做,青岛微信网站制作,学影视后期的正规学校,php网站的数据库怎么做备份文章目录 IntroductionMethodControlNetControlNet for Text-to-Image DiffusionTrainingInference Experiments消融实验定量分析 在作者 github 上的一些讨论消融实验更进一步的探索Precomputed ControlNet 加快模型推理迁移控制能力到其他 SD1.X 模型上其他 Introduction 提… 文章目录 IntroductionMethodControlNetControlNet for Text-to-Image DiffusionTrainingInference Experiments消融实验定量分析 在作者 github 上的一些讨论消融实验更进一步的探索Precomputed ControlNet 加快模型推理迁移控制能力到其他 SD1.X 模型上其他 Introduction 提出ControlNet通过引入该结构微调预训练文生图扩散模型可以给模型增加空间定位条件.在Stable Diffusion上使用ControlNet微调使模型能接受 Canny edges, Hough lines, user scribbles, human key points, segmentation maps, shape normals, depths, cartoon line drawings 图像作为输入条件.消融实验、定量分析、对比 baseline. Method ControlNet 考虑一个预训练好的神经网络 F ( ⋅ ; Θ ) \mathcal{F}(·;\Theta) F(⋅;Θ)表示训练好的神经网络块它的内部结构可以包括 resnet, conv-bn-relu, muti-head att, transfomer 等. 输入 x ∈ R h × w × c x\in\mathbb{R}^{h\times w\times c} x∈Rh×w×c将其转换到 y y y也即 y F ( x ; Θ ) \large y\mathcal{F}(x;\Theta) yF(x;Θ) 使用ControlNet微调神经网络 F ( ⋅ ; Θ ) \mathcal{F}(·;\Theta) F(⋅;Θ)首先复制 F ( ⋅ ; Θ ) \mathcal{F}(·;\Theta) F(⋅;Θ)的结构和参数参数命名为 Θ c \Theta_{c} Θc​同时冻结 Θ \Theta Θ. 然后在复制结构的前和后分别引入zero convolution也即核大小为 1 × 1 1\times1 1×1、初始参数为 0 0 0的卷积层分别用 Z ( ⋅ ; Θ z 1 ) \mathcal{Z}(·;\Theta_{z1}) Z(⋅;Θz1​)和 Z ( ⋅ ; Θ z 2 ) \mathcal{Z}(·;\Theta_{z2}) Z(⋅;Θz2​)表示. 最后将 c c c作为微调时的条件将其整合到模型的前向计算中具体表示为 y c F ( x ; Θ ) Z ( F ( x Z ( c ; Θ z 1 ) ; Θ c ) ; Θ z 2 ) \large y_c\mathcal{F}(x;\Theta)\mathcal{Z}(\mathcal{F}(x\mathcal{Z}(c;\Theta_{z1});\Theta_c);\Theta_{z2}) yc​F(x;Θ)Z(F(xZ(c;Θz1​);Θc​);Θz2​) 模型结构如下所示 在训练的第一步中zero convolution的参数都为 0 0 0因此模型输出和未加入ControlNet的输出一样这样做有助于在刚开始训练时保护微调结构的 backbone使其免受随机噪声的污染. ControlNet for Text-to-Image Diffusion 众所周知Stable Diffusion训练时的网络有这么几个部分构成 FrozenCLIPEmbedder是一个预训练的 text encoder将 prompt 嵌入成条件向量一般情况下参数冻结.AutoencoderKL是一个预训练的 image encoder将图像从像素空间转换到隐空间降低扩散过程中图像向量的尺寸一般情况下参数冻结.UNet主要需要训练的部分模拟隐空间上图像在数据分布和高斯分布之间转换的过程. 结构上主要包含 若干 encoder 块主要由 resnet, transformer, avg_pool 组成用于逐层提取特征. resnet 块融合图像隐向量和扩散时间步的嵌入向量transformer 块融合图像隐向量和 prompt 条件向量 一个 middle 块由 resnet 和 transformer 组成若干 decoder 块主要由 resnet, transformer, interpolate 组成用于融合深层特征和浅层特征. 将ControlNet应用于Stable Diffusion做微调也即应用于其中UNet的 decoder 部分使这部分网络能进一步融合作为条件的图像。用 t t t表示时间步 c t c_t ct​表示 prompt 条件 c f c_f cf​表示条件图像在隐空间上的表示修改后的UNet结构为 Training 用 z 0 z_0 z0​表示原始图像的隐向量经过时间步 t t t后加噪的图像表示为 z t z_t zt​应用了ControlNet的UNet表示为 ϵ θ \epsilon_{\theta} ϵθ​训练时的损失函数可以表示为 L E z 0 , t , c t , c f , ϵ ∈ N ( 0 , I ) [ ∣ ∣ ϵ − ϵ θ ( z t , t , c t , c f ) ∣ ∣ 2 2 ] \large \mathcal{L}\mathbb{E}_{ z_0,t,c_t,c_f,\epsilon\in\mathcal{N}(0,I)}\left[||\epsilon-\epsilon_{\theta}(z_t,t,c_t,c_f)||_2^2\right] LEz0​,t,ct​,cf​,ϵ∈N(0,I)​[∣∣ϵ−ϵθ​(zt​,t,ct​,cf​)∣∣22​] 在实际训练过程中作者随机将 50 % 50\% 50%的 prompt 置为空字符串这种做法能使ControlNet学习到图像条件的语义信息. 由于zero convolution不会引入额外的噪声因此在训练过程中整个Stable Diffusion模型仍然能生成高质量的图片. 基于这一特性作者观察到微调时模型并非逐渐学习到图像条件而是在训练步数低于 10 K 10\mathrm{K} 10K时的某一步开始突然遵从图像条件. 作者称这其为 “sudden convergence phenomenon” Inference Stable Diffusion使用CFG控制条件强弱令 ϵ u c \epsilon_{uc} ϵuc​表示无 prompt 条件的模型输出 ϵ c \epsilon_{c} ϵc​表示有 prompt 条件的模型输出超参数 β c f g \beta_{cfg} βcfg​表示 prompt 条件的强弱模型最终的输出 ϵ p r d \epsilon_{prd} ϵprd​可以表示为 ϵ p r d ϵ u c β c f g ( ϵ c − ϵ u c ) \large \epsilon_{\mathrm{prd}}\epsilon_{\mathrm{uc}}\beta_{\mathrm{cfg}}(\epsilon_{\mathrm{c}}-\epsilon_{\mathrm{uc}}) ϵprd​ϵuc​βcfg​(ϵc​−ϵuc​) 在没有 prompt 条件的极端情况下如果抽取完深层特征的图像条件同时加到 ϵ u c \epsilon_{uc} ϵuc​和 ϵ c \epsilon_{c} ϵc​上这会使CFG完全失去控制条件强弱的作用如果只加到 ϵ c \epsilon_{c} ϵc​上又会使控制条件对输出图像的影响过大. 因此作者提出一种叫做Classifier-free guidance resolution weighting(CFG-RW)的方法. 具体做法把图像条件加到 ϵ c \epsilon_{c} ϵc​上在ControlNet每一层输出加回UNet前乘系数 w i w_i wi​( 64 / h i 64/h_i 64/hi​ h i h_i hi​为第 i i i个 decoder 块的尺寸). 下图分别展示了该讨论各种情况下的输出图像 有了上述方法之后结合不同类别的图像条件也只需要对应相加即可. Experiments 消融实验 探索ControlNet其他可能结构 将zero convolution换成随机初始化的卷积层只使用一个卷积层作为ControlNet 定量分析 作者使用 ADE20K 作为测试集在 OneFormer 上做语义分割对比不同方法重构图像和原图像的 IoU . 之后作者评估了不同模型的 FID、CLIP score、CLIP aesthetic score. 下图展示了不同模型实际生成的图片 在作者 github 上的一些讨论 消融实验更进一步的探索 discussion 链接 将ControlNet简化为ControlNet-lite和ControlNet-mlp两种模型 作者从根据一张房子的图片做了简单地涂鸦风格处理作为控制条件 在精心设计 prompt 的情况下发现原版模型和改后的两种模型输出的图像效果都不错. Professional high-quality wide-angle digital art of a house designed by frank lloyd wright. A delightful winter scene. photorealistic, epic fantasy, dramatic lighting, cinematic, extremely high detail, cinematic lighting, trending on artstation, cgsociety, realistic rendering of Unreal Engine 5, 8k, 4k, HQ, wallpaper 分别为ControlNet、ControlNet-lite、ControlNet-mlp的输出 但是当 prompt 为空时两种改版都很拉胯. 分别为ControlNet、ControlNet-lite、ControlNet-mlp的输出 一方面这样的对比说明更深的 encoder 结构确实拥有更强的识别能力所以如果你的目标是训练稳健的ControlNet投入到生产环境这样的识别能力是很重要的. 反之如果用来做解决特定问题的研究或者训练集足够简单那可以考虑轻量化的方案. 另一方面这也解释了ControlNet接受 prompt 条件和时间步输入是重要的因为这么做可以让使用者仍然能靠 prompt 条件调整模型的输出. Precomputed ControlNet 加快模型推理 discussion 链接 主要 idea 如下图所示 这样做可以提前计算好ControlNet中每个块的输出在推理时直接加到原模型的UNet上. 作者观察到这样训练的模型生成的图像更假并且更不稳健以失败告终. 评论中有人提到可以尝试使用 NAS (neural architecture search) 探索更好的模型结构以降低 GPU 消耗. 迁移控制能力到其他 SD1.X 模型上 discussion 链接 作者尝试将在 Stable Diffusion 1.5上训练的ControlNet迁移到AnythingV3上作者给出的方法是 AnythingV3_control_openpose AnythingV3 SD15_control_openpose – SD15 限制有两点 text encoder 不同会导致意外结果在例如 human pose 的应用中输入最好不是二刺螈人物图片因为检测姿势用的 OpenPose 不擅长处理二刺螈人物. 这种方法已经过时了. 目前在实际应用中直接把ControlNet插到其他 SD1.X 模型上就行. 其他 Riffusion ControlNet 音乐修复将原图转换成像素风格人物换衣调色