淘宝网站建设可行性分析报告,怎么做网站页面代码搜索,制作公司网站的作用,公司标志图片logo声明#xff1a;本文原创首发于公众号夕小瑶的卖萌屋。作者#xff1a;智商掉了一地---【我是传送门】#xff0c;内含海量CV/NLP/ML入门资料、必刷综述、前沿论文解读、交流社群、offer神器、学习神器等在介绍接下来的内容前#xff0c;我们先来看一则笑话#xff1a…声明本文原创首发于公众号夕小瑶的卖萌屋。作者智商掉了一地---【我是传送门】内含海量CV/NLP/ML入门资料、必刷综述、前沿论文解读、交流社群、offer神器、学习神器等在介绍接下来的内容前我们先来看一则笑话小猪佩奇哭着对妈妈说“小伙伴们都说我长得像粉色吹风机。” 猪妈妈安慰道“尽瞎说不过宝贝下次说话时离妈妈远一点吧别把妈妈新烫的头发给吹乱了。”不知道大家有没有注意过这个现象随着年轻一代开始步入科研的道路学术论文的画风也越来越有趣。在自然语言处理领域可以看到从科幻电影中的Transformer再到儿童教育节目《芝麻街》中的BERT、ELMo、ERNIE和Big Bird越来越多的论文作者冲破论文命名需要严肃的桎梏给自己的模型起一些富有趣味且朗朗上口的简称让读者可以迅速记住自己的模型同时这些模型也不负众望地在其研究领域占据了主流地位。今天这篇文章的作者就在论文配图上别出心裁给我们诠释了一位小猪佩奇爱好者在CV领域进行研究时配图画风究竟会有多可爱。作者首次提出域信息和类别信息的解耦表达利用双对抗网络结构学习较有影响力的类别信息。论文题目: Learning Disentangled Semantic Representation for Domain Adaptation论文链接: https://www.ijcai.org/proceedings/2019/285点开这篇论文时最吸引目光的无疑是这张问题图作者借助小猪佩奇和吹风机这两类毫不相干却又有一定联系的样本引出了本文要研究的问题。▲玩具的域适应示例作者指出现有的域自适应方法无法从特征空间提取具有域耦合信息和语义信息的域不变表示因此作者提出了用潜在可解耦语义表示(latent disentangled semantic representation)来扩展语义信息。本文引出了以下两个问题跨域问题中域的不变性表示是什么如何设计一个模型来提炼域的不变性表示针对第一个问题作者从数据生成过程背后的因果机制入手如下图所示给定由两个独立的潜在变量生成的 x其中域潜在变量 对域信息编码语义潜在变量 对语义信息编码并且假设两者相互独立。作者还考虑到域信息在不同域之间可能存在很大差异因此推断语义潜在变量在提取域不变表示中起着重要作用。▲数据生成过程的因果模型对于第二个问题利用上述数据生成机制作者提出了一种可解耦语义表示 (Disentangled Semantic Representation, DSR) 的域适应框架如下图所示其中 和 分别是语义和域信息的编码器。首先通过变分自编码器重构两个独立的潜在变量然后通过双对抗训练网络来解耦合。▲可解耦语义表示模型的框架在重建块中变分自编码器用于恢复语义潜在变量 和域潜在变量 。在解耦合块中使用双对抗网络对潜在变量解耦合。图的左侧是利用了语义潜在变量 的标签对抗学习模块融合了语义信息并对域分类器 用梯度反转层 (GRL) 排除了所有的域信息。这是通过使用标签分类器 和域分类器 来完成的。图的右侧是域对抗学习模块将域信息融合到 中并从 中排除语义信息。同时将 GRL 用于标签分类器上以便掌握来自 的所有域信息。但与语义模块不同的是作者没有用交叉熵作为标签损失因为目标域中的无监督学习。实验效果实验使用的公开数据集如下Office-31是视觉域自适应的Baseline包含来自三个不同域的 4652 张图像和 31 个类别Amazon (A)Webcam (W) 和 DSLR (D)。Office-Home是 Office-31 的升级版本包含来自 65 类日常对象的约 15500 张图像。该数据集分为四个域Art (Ar)Clipart (Cl)Product (Pr) 和 Real-world (Rw)。接下来看看在两个公开数据集上的表现图中加粗表示在公开数据集上训练的最优结果。从实验结果来看DSR 在数据集 Office-Home 的大多数迁移任务上优于其他Baseline尤其显著提升了硬迁移任务的分类精度但在 W→D 和 A→D 任务上的结果低于一些比较方法这是因为域中的样本数量过少导致 DSR 模型不足以重建可解耦的语义表示。数据集 Office-Home 的结果也显示了 DSR 模型更容易提取相对简单的图片和更复杂的场景的语义表示而真实图片是在现实生活中拍摄的存在很多模棱两可的样本这样的语义信息是在域中难以被解耦合和提取。为了验证可解耦语义表示的有效性在任务 Ar→Cl源域Art目标域Clipart上作者还将 DSR 与两种使用类似对抗学习策略的方法利用 t-SNE 可视化进行了比较。▲DANN(a)、MSTN(b)和DSR(c)提取的深度特征的t-SNE可视化。红点是源域样本蓝点是目标域样本可以看到DSR 的对齐效果更佳而 DANN 和 MSTN 都有大量样本的对齐存在错误。小结作者提出了一种用于无监督域自适应任务的可解耦语义表示模型 DSR 该模型遵循数据生成过程的因果模型在可恢复的潜在空间上提取分离的语义表示也因此该模型还具有基于变分自编码器的潜在空间恢复和基于双对抗学习的可解耦表示的特点。该方法的成功不仅为域自适应任务提供了有效的解决方案而且为基于可解耦的学习方法开辟了可能性。最后说一句题外话作者可爱的论文配图画风也是吸引我阅读这篇文章的原因之一当越来越多的科研人员冲破学术论文严肃的桎梏时也许研究的内容也会让读者阅读时感觉更亲切吧。声明本文原创首发于公众号夕小瑶的卖萌屋。作者智商掉了一地---【我是传送门】内含海量CV/NLP/ML入门资料、必刷综述、前沿论文解读、交流社群、offer神器、学习神器等