百度联系电话,巩义关键词优化推广,企业做网站带来的好处,公司名字大全免费测吉凶视频扩散模型因其能够生成连贯且高保真的视频而日益受到关注。然而#xff0c;迭代去噪过程使得这类模型计算密集且耗时#xff0c;限制了其应用范围。香港中文大学 MMLab、Avolution AI、上海人工智能实验室和商汤科技公司的研究团队提出了AnimateLCM#xff0c;这是一种允…视频扩散模型因其能够生成连贯且高保真的视频而日益受到关注。然而迭代去噪过程使得这类模型计算密集且耗时限制了其应用范围。香港中文大学 MMLab、Avolution AI、上海人工智能实验室和商汤科技公司的研究团队提出了AnimateLCM这是一种允许在最少步骤内生成高保真视频的方法。AnimateLCM采用了一种解耦的一致性学习策略将图像生成先验和运动生成先验的蒸馏分开处理从而提高训练效率并增强生成的视觉质量。为了实现稳定扩散社区中即插即用适配器的组合以实现各种功能例如可控生成论文提出了一种有效策略无需特定教师模型即可适配现有适配器或从头开始训练适配器而不损害采样速度。 AnimateLCM在4个步骤内实现个性化扩散模型和适配器的动画化 方法 AnimateLCM的整体训练范式的高级概述 如Figure 2 所示AnimateLCM 由三个主要部分组成分别为训练范式、无教师适配策略和适配器训练设计。 左侧整体训练范式 这部分展示了如何训练视频生成模型以遵循一致性属性。AnimateLCM 的目标是让模型在生成视频时保持数据的一致性即使在仅有少量迭代步骤的情况下也能生成高质量的视频。这一过程涉及到以下几个关键组件 教师扩散模型作为训练过程中的参考提供了视频生成的基础。 CFG-Augmented ODE Solver无分类器引导增强的ODE求解器用于改善生成过程并提高结果的质量。 Self-Consistency自我一致性机制确保模型生成的数据在整个过程中保持一致。 EMA指数移动平均用于更新目标一致性模型以保持模型权重的平滑过渡。 右上角无教师适配策略 这一部分介绍了如何在没有教师模型的情况下训练适配器。在 AnimateLCM 中适配器是可插拔的模块可以为模型提供额外的功能例如控制视频生成的风格或内容。以下是无教师适配策略的关键点 One-step MCMC Approximation一步MCMC近似方法用于在没有教师模型指导的情况下估计得分从而进行一致性学习。 Teacher-Free Adaptation无需教师模型的适配过程允许模型自我学习并适应新的生成任务。 右下角适配器训练设计 这部分描述了从头开始训练图像到视频适配器或调整现有适配器以适应稳定扩散社区的设计。这包括 Multi-Res Encoder多分辨率编码器用于处理不同分辨率的输入图像。 Image-to-Video Adapters图像到视频适配器负责将图像内容转换为视频格式。 Community Adapters社区适配器如XX-Net或XX-Adapter等这些是稳定扩散社区中已经存在的适配器可以被进一步训练或调整以提高与 AnimateLCM 的兼容性。 扩散模型DMs通过迭代去噪过程逐步将高维高斯噪声转化为真实数据。在这类模型中通常预测的是给定样本上添加的噪声量即所谓的ϵ-预测型模型。这种模型的优势在于能够生成高质量的图像和视频但其缺点是生成过程计算量大速度慢。 为了解决这一问题作者提出了一致性模型CMs。与DMs不同CMs的目标是直接预测PF-ODEProbability Flow Ordinary Differential Equation轨迹的解x0。CMs致力于直接找到从噪声状态到数据状态的最短路径而不是逐步去噪从而有望显著提高生成速度。 在实现从DMs到CMs的转换中作者引入了一种新的参数化方法。这种方法中函数fθ被重新定义用以结合文本条件嵌入c。这允许模型在生成过程中考虑文本条件实现文本引导的图像或视频生成。例如给定文本描述“穿着礼服的男人的RAW面部特写肖像专业摄影刀锋跑者风格”模型能够根据这些条件生成相应的图像。此外作者还采用了无分类器引导增强的ODE求解器这种求解器利用无分类器引导Classifier-free GuidanceCFG的概念通过增强的ODE求解过程来提高生成质量。CFG是一种在扩散模型中广泛使用的技术它可以帮助模型在生成过程中更好地遵循数据分布从而提高生成结果的质量和多样性。 为了提高训练效率和生成质量作者引入了一种解耦的一致性学习策略。这一策略的核心思想是将图像生成的先验知识与运动生成的先验知识分开进行蒸馏处理。 上图显示在一致性训练开始时如何只将空间LoRA权重插入在线模型中并逐渐通过指数移动平均EMA将LoRA权重传播到目标模型 首先作者选择在经过筛选的高质量图像-文本数据集上对稳定的扩散模型进行蒸馏。这样做的目的是获得一个图像一致性模型该模型能够捕捉到图像生成的内在规律。这一步骤是基础因为它为后续的视频生成提供了一个坚实的起点。 接下来为了适应视频数据的三维特性作者采用了3D膨胀技术。这涉及到将2D卷积核扩展为伪3D卷积核从而使得模型能够处理时间维度上的信息。通过添加时间层并采用零初始化和块级残差连接模型能够在训练初期保持输出的稳定性这有助于加速训练过程。 在这一过程中作者还特别设计了一种初始化策略。这种策略的目的是减轻在膨胀过程中可能对特征造成的损坏。具体来说在一致性训练的初期只有预训练的空间LoRA权重被插入到在线一致性模型中而目标一致性模型则不包含这些权重。这样的设计使得目标一致性模型在训练过程中不会对在线模型产生负面影响。随着训练的进行LoRA权重会通过指数移动平均EMA逐渐累积到目标一致性模型中从而在一定迭代次数后达到预期的权重设置。 作者还引入了一个损失函数用于衡量模型输出与目标之间的差异。这个损失函数不仅考虑了不同时间步长的重要性还采用了Huber损失作为距离度量以提供更平滑的梯度并增强对异常值的鲁棒性。 为了适应稳定扩散社区中的即插即用适配器或者从头开始训练特定适配器作者提出了一种无需教师模型的适配策略。在稳定扩散社区中即插即用适配器起着至关重要的作用它们可以为模型提供额外的控制能力比如根据文本提示生成图像。然而直接将这些适配器应用于视频生成时可能会遇到细节控制丢失或结果闪烁等问题。为了解决这些问题作者提出了一种有效的策略通过调整适配器的LoRALow-Rank Adaptation层来优化它们与视频一致性模型的兼容性。LoRA层是一种轻量级的调整方式可以在不显著增加计算负担的情况下改善适配器的性能。 作者还提出了一种基于一步MCMC马尔可夫链蒙特卡洛近似的方法来估计得分。这种方法可以在没有教师模型的指导下对视频生成过程中的得分进行无偏估计。通过使用一步MCMC近似可以在给定的噪声水平下对模型的输出进行调整以更好地反映数据的分布。 在实现图像到视频的生成方面作者比较了不同的图像预处理方法包括使用预训练的CLIP图像编码器、在像素空间的轻量下采样块以及在潜在空间的轻量块。研究发现在潜在空间中首先对图像进行编码然后重复潜在表示以对齐视频生成的帧数这种方法能够取得最佳结果。这可能是因为在潜在空间中进行生成可以更好地保持图像的一致性。 为了进一步提升生成结果的质量作者还提出了在HSV色调、饱和度、亮度空间中对生成视频与输入图像进行额外对齐的方法。这有助于确保生成的视频在颜色和亮度上与原始输入图像保持一致从而提高了视觉质量和真实感。 在可控视频生成方面即使是在图像扩散模型上训练的布局控制适配器也可以直接集成到视频一致性模型中以实现可控的视频生成。但是为了减少细节控制的丢失和结果闪烁作者通过调整现有适配器的LoRA层显著提高了控制的稳定性和视觉质量。 实验 作者使用了稳定扩散版本1-5作为大多数实验的基础模型并采用了DDIM ODE求解器进行训练。遵循潜在一致性模型的做法作者从1000个时间步中均匀采样了50个用于训练。除了可控视频生成的实验外所有实验都是在公开可用的WebVid2M数据集上进行的没有使用任何数据增强或额外数据。对于可控视频生成作者在TikTok数据集上训练模型并使用BLIP标注的简短文本提示。 定性结果展示了AnimateLCM在文本到视频生成、图像到视频生成以及可控视频生成中的四步生成结果。这些结果包括了现实主义、2D动漫和3D动漫等不同个性化风格模型。所有结果都令人满意在不同推理步骤下AnimateLCM方法能够很好地遵循一致性属性保持相似的风格和运动。即使仅使用两步推理也能展示出良好的视觉质量和平滑的运动。随着功能评估NFE次数的增加生成质量相应提高与教师模型在25步和50步推理步骤下的性能具有竞争力。 AnimateLCM在文本到视频、图像到视频和可控视频生成中的生成结果 定量实验部分通过表格形式展示了AnimateLCM与其他强基线方法DDIM和DPM的定量指标比较。AnimateLCM在低步数区间1到4步中显著超越了基线方法。AnimateLCM的所有这些指标都是在没有使用分类器自由引导CFG的情况下评估的而其他基线方法则应用了7.5 CFG强度因此在推理峰值内存成本和推理时间上节省了一半。通过将空间权重替换为公开可用的个性化现实风格模型AnimateLCM进一步增强了性能展示了其与个性化扩散模型的良好兼容性。 在UCF-101数据集上零样本文本到视频生成的性能比较展示了AnimateLCM与其他基线方法在FVD和CLIPSIM指标上的表现 作者还验证了所提出的解耦学习策略和特定初始化设计的有效性并通过实验结果展示了这些策略在提高收敛速度方面的优势。图5中通过比较不同训练策略下的FVDFréchet Video Distance和CLIPSIM分数可以看出采用了解耦一致性学习并结合特别初始化方法的AnimateLCM在训练过程中收敛得更快并且在较少的推理步骤下就能实现更低的FVD分数和更高的CLIPSIM分数这表明其生成的视频在视觉质量和与文本描述的匹配度上都有显著提升。与没有使用解耦策略或没有采用特定初始化方法的基线相比AnimateLCM展现出了更优的性能从而验证了其方法在加速视频生成同时保持高生成质量方面的有效性。 提出的解耦一致性学习和特定初始化策略的有效性 图6揭示了直接使用现有适配器如T2I-Adapter与经过教师自由适应策略调整后的适配器在控制稳定性和视觉质量方面的对比。实验结果表明经过教师自由适应过程的适配器能够显著减少细节控制的丢失和结果闪烁问题从而在保持较低推理步骤的同时生成更高质量且控制更为精确的视频内容。这一结果验证了AnimateLCM框架在无需额外教师模型指导下通过简单有效的策略能够提升适配器性能实现更优的可控视频生成效果。 使用和不使用无教师适配策略的可控生成结果对比 AnimateLCM通过解耦一致性学习策略和无教师适配策略在训练效率和生成质量之间取得了良好的平衡。尽管在单步生成样本时可能会产生模糊或有缺陷的结果但实验结果验证了该方法的有效性。 论文链接https://arxiv.org/abs/2402.00769