网站免费发布与推广,工业园企业建设网站公司,网站建设找超速云,泰安网络营销网站建设[paper | code] 用生成对象本身作为控制信号#xff0c;实现无条件图像生成。训练阶段。Step1#xff1a;用预训练模型#xff08;例如#xff1a;Moco v3#xff09;提取生成对象的特征编码#xff1b;Step2#xff1a;基于特征编码#xff0c;训练一个扩散模型RDM实现无条件图像生成。训练阶段。Step1用预训练模型例如Moco v3提取生成对象的特征编码Step2基于特征编码训练一个扩散模型RDMStep3基于特征编码和大量图片训练一个图像生成器例如MAGE推理阶段。从RDM从采样图像特征作为控制信号生成图片或者生成参考图像的特征编码作为控制信号生成图片。优点无需人类标注标签实现接近使用标签的生成模型的能力。 目录 摘要 引言 方法 实验结果 Class-unconditioned Generation Classifier-free Guidance Ablations Compuational Cost Qualitative Results 摘要 提出一种无条件图像生成框架Representation-Conditioned image Generation (RCG)RCG的控制信号来自自监督表征分布该分布是预训练编码器对图片处理得到生成过程中RCG使用representation diffusion model (RDM) 从该分布中采样作为控制条件生成图像在ImageNet 256 x 256分辨率下测试RCG去得了Frechet Inception Distance (FID) 3.31和Inception Score (IS) 253.4的成绩显著改善无条件图像生成方法缩小了与有条件图像生成方法的差距。 引言 使用图片本身特征作为控制信号的优点1更直观艺术家是先形成抽象概念再形成作品2更多数据无条件图像生成使得可用的训练数据变多3无需标注适合分子设计和药物探索。本文首先使用自监督图片编码器例如Moco v3计算图像特征其次用Representation Diffusion Model (RDM) 学习图像特征分布。这样做的优点在于1RDM可以捕捉图像特征分布的多样性2图像特征维度较低降低计算开销。生成过程RDM采样图像特征分布作为控制信号pixel generator生成图像。 方法 RCG包含3个关键部分1预训练自监督图像编码器2图像表征生成器3图像生成器。 图像编码器本文使用自监督对比学习方法Moco v3作为图像编码器。本文使用映射头projection head后的256维表征每个表征基于其均值和方差归一化。图像表征生成器RDM如下图所示每个块包含输入层input layer、时间编码映射层timestep embedding projection layer和输出层output layer。每层包含LayerNorm、SiLU和线性层。图像表征生成器通过两个参数控制块数量N和中间特征维度C。 如下图所示RDM遵循DDIM做训练和推理。图片特征添加噪声得到RDM的训练目标是预测去噪结果。 图像生成器如下图所示可以使用任意图像生成器唯一修改是把原有的控制条件例如文本或分类标签替换为self-supervised learning (SSL) 表征。训练时输入masked image输出完整图像推理时输入为全部mak掉的图片输出完整图像。训练和推理时都用图像编码作为控制信号。 Classifier-free GuidanceRCG遵循Muse实现classifier-free guidance。训练时MAGE有10%的概率在不受SSL表征控制下生成。推理时MAGE预测不受SSL表征控制的输出和受表征控制的最终预测为 实验结果 生成了50K图像做测试 Class-unconditioned Generation Classifier-free Guidance Ablations Compuational Cost Qualitative Results