RCG如何将带有噪声的表征+条件输入RDM并得到去噪的表征

一、有条件去噪控制 

很简单的一个模型,整体来说就是将“内容(图像)” + “图像所对应的标签” + “每个噪声表征对应的时间步Timestap”分别输入进线性层Layer,然后将他们的表征相加(+)即可

执行步骤是:

x的维度是(bz,512,1,1)

1、将带有噪声的表征经过Linear Projection,得到x

x = self.input_proj(x)

2、将x输入进Layer得到h

h = self.in_layers(x)

3、将条件context输入Layer得到context_out

context_out = self.context_layers(context)

4、将每个噪声图像对应的timestep 的嵌入emb输入进Layer得到emb_out

emb_out = self.emb_layers(emb)

5、将它们三个自个的embedding相加+

h = h + emb_out + context_out

6、将它们的输出经过输出层Layer映射

h = self.out_layers(h)

7、将经过linear的x与输出映射h进行残差相加+

return x + h

8、最后再经过一个输出Layer就可以了

最后得到的输出的维度和输入是一样的,是(bz,512,1,1)

return self.out(x).unsqueeze(-1).unsqueeze(-1)

先执行步骤1一次,步骤2-7重复N次,然后再执行步骤8

整体的代码逻辑:

def block(self, x, emb, context):# 1、将带有噪声的rep x输入h = self.in_layers(x)# 2、将timestep embedding emb输入emb_out = self.emb_layers(emb)# 3、将条件context输入if self.use_context:context_out = self.context_layers(context)# 4、将它们三个自个的embedding相加h = h + emb_out + context_outelse:h = h + emb_out# 5、将它们的输出经过输出层映射h = self.out_layers(h)# 6、将经过linear的x与输出映射h相加return x + hx = self.input_proj(x)for block in self.res_blocks:x = block(x, emb, context)output = self.out(x).unsqueeze(-1).unsqueeze(-1)

二、无条件去噪控制 

与条件去噪控制 唯一不同的是,未加入(+)条件context的Embedding而已

        if self.use_context:context_out = self.context_layers(context)# 4、将它们三个自个的embedding相加h = h + emb_out + context_outelse:# 未加入条件h = h + emb_out

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/776551.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

FCP270 P0917YZ 兼容性如何

FCP270 P0917YZ 是一种现场控制处理器,通常应用于工业自动化和过程控制系统中。 这款现场控制处理器的主要职责是监测和控制多种过程变量,确保系统的正常运行,并且满足生产的要求。以下是关于FCP270 P0917YZ的一些可能用途和特点&#xff1a…

HWOD:名字的漂亮度

一、题目 描述 给出一个字符串,该字符串仅由小写字母组成,定义这个字符串的漂亮度是其所有字母漂亮度的总和 每个字母都有一个漂亮度,范围在1到26之间。没有任何两个不同字母拥有相同的漂亮度。字母忽略大小写。 给出多个字符串&#xff…

船舶航行突发事故3D模拟仿真演练优化搜救路线

在波澜壮阔的海洋世界中,船舶事故与搜救行动始终牵动着无数人的心。为了更好地应对这些挑战,我们倾力打造了3D船舶事故和搜救情景再现系统,旨在以科技之力为海事安全保驾护航。 该系统采用先进的web3D开发渲染技术,能够真实模拟船…

实验3 中文分词

必做题: 数据准备:academy_titles.txt为“考硕考博”板块的帖子标题,job_titles.txt为“招聘信息”板块的帖子标题,使用jieba工具对academy_titles.txt进行分词,接着去除停用词,然后统计词频,最…

火山引擎VeDI:A/B测试开放平台正式上线,企业个性化平台一键定制

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 火山引擎数智平台VeDI旗下的A/B测试平台(DataTester),旨在为企业提供科学且可信的A/B测试能力及丰富的场景实验支持。随着企业的…

java常用优秀开发框架及工具类汇总

目录 1、各类系统及简称扫盲2、开发框架2.1、若依(ruoyi) 3、工具组件3.1、java工具类库3.1.1、HuTool3.1.2、office、excel、pdf文档处理3.1.3、运行日志管理3.1.4、数据层框架3.1.5、数据库连接池 java发展了很多年,为了便于开发,出现刴优秀的开发框架…

知识图谱操作的探索与利用

目录 前言1 搜索(Search)1.1 基于关键词搜索1.2 属性搜索1.3 模式匹配 2 过滤(Filtering)2.1 属性过滤2.2 关系过滤 3 引导(Guidance)3.1 相关实体推荐3.2 路径推荐 4 合并(Merging)…

WPF自定义Panel:让拖拽变得更简单

在 WPF 应用程序中,拖放操作是实现用户交互的重要组成部分。通过拖放操作,用户可以轻松地将数据从一个位置移动到另一个位置,或者将控件从一个容器移动到另一个容器。然而,WPF 中默认的拖放操作可能并不是那么好用。为了解决这个问…

智慧公厕的技术融合策略

智慧公厕是迎合现代城市发展需要的一项重要基础设施,其设计的技术融合策略在实现公共厕所泛在感知、互通互联、协同构筑智慧城市等方面起到了关键作用。本文将以智慧公厕源头实力厂家广州中期科技有限公司,大量精品案例现场实景实图实例,从物…

数字兆欧表的量程选择技巧,你需要知道的秘密!

使用数字兆欧表的方法如下: 步骤一:准备工作 在开始操作之前,务必确保待测电气设备已经断电并进行了充分放电,以保证操作的安全性。此外,还需检查数字兆欧表的电量是否足够,外观是否完好,并确保…

元宇宙虚拟展厅——虚拟场景同现实世界的结合宣传

元宇宙作为具有前瞻性和先导性的未来产业,在政策布局、产业发展以及应用融合等方面也都实现了诸多探索。元宇宙虚拟展厅是虚拟场景同现实世界的结合,元宇宙与展厅的应用融合打破了传统展厅、传统宣传对时间和空间的限制,以往我们印刷过数不胜…

Wagtail-基于Python Django的内容管理系统CMS实现公网访问

目录 ⛳️推荐 前言 1. 安装并运行Wagtail 1.1 创建并激活虚拟环境 2. 安装cpolar内网穿透工具 3. 实现Wagtail公网访问 4. 固定Wagtail公网地址 ⛳️推荐 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给…

MySQL 8 索引原理详细分析

千山万水总是情, 问问索引行不行? 轻舟已过万重山, 有种尽管来发难。 索引是在数据库优化时的重要手段之一,今天 V 哥从索引的角度展开讲一讲索引的各个要点,希望可以通过这篇文章,帮助大家彻底搞透索引的关键点。 1.索引的定义与作用2.索引的类型3.索引原理4.二分查…

Redis 不再“开源”:中国面临的挑战与策略应对

Redis 不再“开源”,使用双许可证 3 月 20 号,Redis 的 CEO Rowan Trollope 在官网上宣布了《Redis 采用双源许可证》的消息。他表示,今后 Redis 的所有新版本都将使用开源代码可用的许可证,不再使用 BSD 协议,而是采用…

CBO VS ABO,哪种策略才更能优化FB广告?

海外创业时,FB广告无疑是吸引目标受众、推动业务增长的重要渠道之一!然而令大家头疼的却是在CBO与ABO的选择上,今天就带大家一起解读这两种常见的广告策略。了解两者之间的区别、优缺点及适用场景。 CBO 和 ABO 分别是什么? CBO&a…

从数据治理到数据资产管理,释放新质生产力

在当前的数字化浪潮中,数据作为第五大生产要素,正日益成为企业激活新质生产力的关键引擎。数据治理和数据资产管理作为数据管理的重要环节,对企业提升竞争力、实现数字化转型具有重大意义。本文将对数据治理和数据资产管理进行深入探讨&#…

vue3封装Element动态表单组件

1. 封装组件DymanicForm.vue 使用component实现动态组件组件不能直接使用字符串传入,所以根据传入的组件名称找到对应的组件校验规则,可使用rule传入自定义规则,也可以使用封装好的基本规则 示例中使用了checkRequired暴露重置方法和校验方法…

python_1

要求: 代码: # 先将分钟数转化成年数,再将余数做为天数 minute float(input("请输入分钟数:")) year_1 (minute / 60 / 24) // 365 day_1 (minute / 60 / 24) % 365 now f"{minute}分钟{year_1}年{day_1}天&q…

Cocos2dx-lua ScrollView[三]高级篇

一.概述 本文缩写说明:sv = ScrollView, cell代表ScrollView的一个子节点 本文介绍sv的一种封装类库,来实现快速创建sv,有如下几个优点: 1.item的位置通过参数控制,提高开发效率 2.免去了调用sv的API,提高开发效率 3.分帧创建,提高性能 4.可通过参数控制,复用ite…

Nginx超详细讲解+实操

前言 nginx作为当今火爆的、高性能的http及反向代理服务,不管前端还是后端,都需要全面去了解,学习,实操。 nginx 介绍 为了有一个全面的认知,接下来我们先来看看nginx的架构以及一些特点。 nginx 特点 处理响应请…