Day26-文生图原理+实操

comfyui文生图原理+实操

comfyui的文生图架构

comfyui的文生图架构如图所示：

其中潜空间部分相对比较难理解，接下来通过下图深入理解潜空间工作原理：

经过潜空间的迭代去噪，最终需要通过像素空间将降噪后的结果还原为可识别的图像。

在comfyui中对应的条件空间、潜空间和像素空间对应的节点如下：

模块/阶段	功能与原理说明	对应节点/组件
1. 条件空间处理
文本编码	通过CLIP 文本编码器将文本提示词转化为语义向量，建立文本与图像的关联性	CLIP 文本编码器（正向/负向）
大模型加载	加载相关模型	Checkpoint加载器
2. 潜空间生成
噪声初始化	生成指定尺寸的随机高斯噪声矩阵，作为生图的起点。	空Latent
迭代降噪（核心）	通过扩散模型（UNet）结合文本条件在潜空间逐步去除噪声	K采样器
3. 像素空间转换
潜空间解码	将降噪后的潜空间特征矩阵还原为高清像素图像	VAE 解码
图像输出	保存或预览最终生成的图像	保存图像

文生图实操

使用阿里云的cloudstudio部署的Comfyui

• 添加【条件空间】相关节点

  • Checkpoint加载器
  • CLIP 文本编码器
  

  • 选择模型：

    

• 添加【潜空间】相关节点

  • K采样器
  • 空Latent

  

• 添加【像素空间】相关节点

  • VAE 解码
  • 图像保存

  

  最后注意，将所有连线串联完整！

模型相关

文生图大模型综合对比表

常用大模型

• 写实模型：

  • realisticVisionV51

• 3d大模型：

  • dreamshaper_8

• 卡通大模型：

  • meinamix
  • GhostMix鬼混_V2.0

下载链接： https://pan.baidu.com/s/19Len6XHX4L15MApaJq8Y2A?pwd=j9kz 提取码: j9kz

提示词编写技巧

一份清晰、结构化的提示词，能够更好地引导 AI 生成我们想要的画面。这里为大家推荐一个高效且易于上手的提示词编写模板。

一、核心公式：三位一体结构

我们可以将提示词想象成向一位画家描述作品要求，一个高效的公式是：

质量词 + 内容描述 + 艺术风格

这三个部分依次决定了画面的 “精细度”、“是什么” 和 “像什么”。

1. 质量词

这部分用于设定画面的基础质量和细节水平，通常放在提示词的最开头。

• 常用词示例：masterpiece（杰作）、highly detailed（高度细节）、Best quality（最佳质量）
• 作用：相当于对 AI 说：“请用心画，画得精致一些。”

2. 内容描述

这是提示词的核心，用于描绘画面的具体内容。推荐采用 “谁 + 在哪里 + 做什么” 的结构进行组织，这样逻辑清晰，不易遗漏。

• 谁：主体是什么？例如：1girl（一个女孩）、an astronaut（一位宇航员）、a cute cat（一只可爱的猫）。
• 在哪里：场景或背景是什么？例如：in a coffee shop（在咖啡馆）、on the moon（在月球上）、in a magical forest（在魔法森林中）。
• 做什么：主体在发生什么动作或呈现什么状态？例如：smiling（微笑）、reading a book（看书）、flying a kite（放风筝）。
• 细节补充：可以进一步描述外貌、服饰、表情、光线等，如 black curly hair, long hair, Big eyes, blue Shoulder skirt, Earrings（黑色卷发、长发、大眼睛、蓝色露肩裙、耳环）。

3. 艺术风格

这部分决定了画面的最终表现手法和审美基调。

• 写实风格：追求像照片一样真实。关键词：photorealistic（照片般真实）、realistic（写实的）。
• 3D 渲染风格：像三维软件制作的 CG 图像。关键词：3d rendering（3D 渲染）、CGI（电脑生成图像）。
• 卡通/动画风格：具有手绘或动画质感。关键词：Cartoon（卡通）、Studio Ghibli（吉卜力工作室风格）、anime（动漫）。

---

二、参考案例与实操解析

假设我们想生成一张 “一位女孩在咖啡馆喝咖啡” 的精致写实图片。

• 大模型选择：为了实现写实效果，我们可以选择擅长此类风格的模型，例如 realistic 或 ghostmix 等。

• 正面提示词：这是我们希望画面中出现的内容。

  • text

  masterpiece, highly detailed, Best quality, 1girl, black curly hair, long hair, Big eyes, blue Shoulder skirt, Earrings, smiling, Coffee shop, have coffee, photorealistic
  

  • 结构分解：
    • 质量词：masterpiece, highly detailed, Best quality
    • 内容：1girl（谁），black curly hair... Earrings（外貌细节），Coffee shop（在哪里），smiling, have coffee（做什么）
    • 风格：photorealistic（写实风格）

• 负面提示词：这是我们不希望画面中出现的内容，用于避免常见错误或瑕疵。

  • text

  nsfw, text, watermark
  

  • 含义解释：
    • nsfw：排除不适宜公开的内容。
    • text：避免图片中出现无意义的文字符号。
    • watermark：避免出现类似水印的痕迹。

演示示例1：

这个示例营造一个充满幻想、色彩明媚的动画电影场景。

• 正面提示词：

  text

  Studio Ghibli style, masterpiece, beautiful and detailed, vibrant colors, a young explorer with a backpack and a straw hat, standing in a sun-dappled enchanted forest, giant glowing mushrooms and friendly forest spirits, looking up in awe, magical atmosphere, Miyazaki Hayao
  

  • 结构解析：
    • 质量词：masterpiece, beautiful and detailed
    • 内容：a young explorer with a backpack and a straw hat（谁），standing in a sun-dappled enchanted forest, giant glowing mushrooms...（在哪里），looking up in awe（做什么），magical atmosphere（氛围）
    • 风格：Studio Ghibli style, vibrant colors, Miyazaki Hayao（非常明确的风格指引）

• 负面提示词：

  text

  realistic, photorealistic, photo, dark, scary, horror, ugly, deformed, nsfw, text
  

---

演示示例2：

这个示例侧重于宏大的场景构建与特定的数字艺术风格。

• 正面提示词：

  text

  epic scale, concept art, digital painting, intricate details, a massive floating mechanical city overgrown with luminous plants, towering spires and flying vehicles, golden hour sunlight piercing through clouds, volumetric fog, by artists like Syd Mead and Moebius
  

  • 结构解析：
    • 质量词：epic scale, concept art, intricate details（这里用“概念艺术”和“史诗规模”来定义一种高质量标准）
    • 内容：a massive floating mechanical city（场景主体），overgrown with luminous plants, towering spires and flying vehicles（场景细节），golden hour sunlight, volumetric fog（光影氛围）
    • 风格：digital painting（风格媒介），by artists like...（通过参考艺术家来锁定特定审美风格）

• 负面提示词：

  text

  low resolution, pixelated, blurry, simple background, empty, cartoon, real photo, photograph, human, person, face
  

k采样器参数

参数类别	参数名称	说明	推荐值范围	作用效果与原理	实用示例
基础控制	随机种(Seed)	生成过程的“身份ID”	任意整数（如12345）	本质是潜在空间中初始噪点图的坐标。相同种子+相同参数=几乎相同的输出，保证可复现性。是创作中微调的起点。	找到一张喜欢的图，记录其种子，可在此基础上仅修改提示词进行系列创作。
	生成后控制	种子的行为模式	递增/递减/固定/随机	固定：保持当前种子不变；随机：每次生成全新种子。	批量生成不同创意时选“随机”；优化单张作品时选“固定”。
质量与时间	步数(Steps)	画师的“思考时间”	见右侧详解	去噪迭代次数。每一步都是对图像的一次“思考与修正”。	草图（5-15步）：快速构思，适合分镜。 动漫/卡通（20-30步）：风格化强，细节需求适中。 超写实/复杂场景（25-40步）：需要更多步数打磨材质、光影等微观细节。
创意控制	CFG（提示词引导系数）	画师的“听话程度”	见右侧详解	控制生成结果与你的提示词之间的紧密度。	创意发散（3-6）：AI有更大自由发挥空间，色彩、构图可能更“艺术”，但可能偏离提示。 平衡可控（7-9）：最常用范围，良好遵循提示的同时保持自然。 过度引导（>10）：易产生“过度锐化”、“塑料感”、颜色饱和度过高或肢体扭曲。
算法核心	采样器(Sampler)	画师的“作画策略”	见右侧详解	决定了从纯噪声到清晰图像的“行走路径”。不同算法在速度、稳定性和风格倾向上有差异。	全能优选 dpmpp_2m：速度与质量平衡好，通用性强。 快速草图 euler/euler a：单步快，适合快速测试想法（euler a 是随机变体，更有趣）。 高质写实 dpmpp_sde：带随机微分方程，常能产出更丰富的细节和更“绘画感”的结果，但更慢。
	调度器(Scheduler)	作画的“节奏大师”	见右侧详解	控制每一步噪声去除的“力度”变化曲线。影响收敛速度和最终纹理。	细节增强 karras：中后期步长变化，强调后期精细调整，常增加对比和细节。 平滑稳定 normal：线性或简单调度，产出更柔和、有时更“平均”的结果。 快速收敛 exponential：前期去噪猛，适合步数少时快速成型，但可能损失一些微妙过渡。
高级合成	降噪(Denoise)	新旧画面的“融合比”	0.0 - 1.0	在图生图（Latent）流程中，控制在初始图上应用新生成过程的比例。	完整重绘（1.0）：从初始潜变量完全重新生成。 风格融合（0.5-0.8）：保留原图大致构图和色彩，注入新风格或内容。 微调优化（0.2-0.4）：仅做轻微色调、细节调整。 抽象叠加（<0.3）：产生类似双重曝光的多层抽象效果。

步数测试：

• 推荐参数：
  • 卡通20，写实30

cfg测试

• 推荐参数：
  • 7左右

步数(Steps) vs. 采样器(Sampler)

• 误区纠正：“步数越高=质量越好”不完全正确。每个采样器都有其“收益饱和点”。
• 示例对比：
  • 使用 euler 采样器，可能15步后细节就不再显著提升，而30步只是浪费时间。
  • 使用 dpmpp_2m 采样器，可能在25步达到最佳平衡，40步能挖掘出更微妙的纹理。
• 行动建议：为你的常用采样器做阶梯测试（如5, 15, 25, 35步），找到其“性价比”最高的步数区间。

cfg与采样器的化学反应

• 关键洞察：cfg的效果强烈依赖采样器。
  • 对于 euler 这类简单采样器，CFG>9就极易崩坏。
  • 对于 dpmpp_sde 这类复杂采样器，CFG在7-11之间可能仍能保持稳定，并产出高动态范围的作品。
• 测试任务：固定一个复杂人像提示词，用 dpmpp_2m 测试CFG=7, 9, 12。观察面部细节、瞳孔高光和发丝锐利度的变化。

调度器：改变图像的“质感”

让我们通过一个具体场景来理解：

• 提示词：A weathered ancient stone statue, moss covering, morning mist, forest
• 测试组合：
  1. dpmpp_2m + karras：雕像表面会显得更粗糙、更戏剧化，苔藓细节分明，像一张高清摄影。
  2. dpmpp_2m + normal：雕像可能更光滑、整体更统一，雾气更柔和，像一幅古典油画。
• 原理：karras调度在最后几步使用极小的步长，相当于画师在收尾时用了更细的笔刷进行“精雕细琢”。

推荐组合配置模板

创作目标	采样器	步数	CFG	调度器	说明
快速创意探索	euler a	12-18	7-8	normal	快速试错，捕捉灵感，不拘泥于细节。
高质量动漫/角色	dpmpp_2m	25-30	7.5-8.5	karras	平衡速度与角色细节、线条清晰度。
超写实照片/场景	dpmpp_sde	30-35	8-9.5	karras	最大化材质、光影和复杂场景的细节深度。
艺术感绘画/概念	dpmpp_2m	28-35	6-7.5	normal	给予AI更多创作自由，获得更“绘画性”而非“照片性”的结果。
图生图风格融合	dpmpp_2m	20-25	7-8	normal	降噪设置在0.5-0.75，平衡原图信息与新指令。

最终建议：理解参数最好的方式就是控制变量法测试。创建一个你最喜欢的提示词，然后每次只改变一个参数（如固定其他，只从CFG=7调到CFG=12），像做科学实验一样观察其带来的视觉变化，你将成为真正驾驭AI的画师。