seo网站有哪些,视频拍摄方案,江西赣州258网络推广,全国互联网备案信息查询系统GAN论文逐段精读【论文精读】这是李沐博士论文精读的第五篇论文#xff0c;这次精读的论文是 GAN。目前谷歌学术显示其被引用数已经达到了37000。GAN 应该是机器学习过去五年上头条次数最多的工作#xff0c;例如抖音里面生成人物卡通头像#xff0c;人脸互换以及自动驾驶中… GAN论文逐段精读【论文精读】这是李沐博士论文精读的第五篇论文这次精读的论文是 GAN。目前谷歌学术显示其被引用数已经达到了37000。GAN 应该是机器学习过去五年上头条次数最多的工作例如抖音里面生成人物卡通头像人脸互换以及自动驾驶中通过传感器采集的数据生成逼真的图像数据用于仿真测试等。这里李沐博士讲解的论文是 NeurIPS 版与 arXiv 版稍有不同。 GAN 论文链接https://proceedings.neurips.cc/paper/2014/file/5ca3e9b122f61f8f06494c97b1afccf3-Paper.pdf 1. 标题、作者、摘要 首先是论文标题GAN 就取自于论文标题首字母论文标题中文意思是生成式对抗网络。机器学习里面有两大类模型一种是分辨模型例如 AlexNet、ResNet 对数据进行分类或预测一个实数值、另一种就是生成模型用于生成数据本身。Adversarial 是对抗的意思第一次读的时候可能不知道什么意思先放在这里接着往下读。最后是 Nets网络的意思不过建议大家还是写成 Networks 比较规范一些。 下面是论文作者一作大家很熟悉了他的另一个代表作就是深度学习经典书籍花书《深度学习》通信作者是深度学习三巨头之一2018年图灵奖的获得者。 这里有一个小八卦当时一作在给论文取标题时有人说 GAN 这个词在中文里写作干和英语里的 fxxk 意思很接近但是意义上丰富多了一作就说这个好就用它了。 下面是论文摘要摘要总共七句话。 前三句话介绍我们提出了一个新的 framework 通过对抗过程估计生成模型我们同时会训练两个模型一个是生成模型 GGG生成模型用来捕获数据的分布另一个模型是辨别模型 DDD辨别模型用来判断样本是来自于训练数据还是生成模型生成的。生成模型 GGG 的训练过程是使辨别模型犯错概率最大化实现的当辨别模型犯错概率越大则生成模型生成的数据越接近于真实数据。整个framework类似于博弈论里的二人对抗游戏。第四句话是说在任意函数空间里存在唯一解GGG 能找出训练数据的真实分布而 DDD 的预测概率为 12\frac{1}{2}21​此时辨别模型已经分辨不出样本的来源。最后就是说生成模型和辨别模型可以通过反向传播进行训练实验也显示了提出的框架潜能。 2. 导言、相关工作 下面是 Introduction 部分总共3段。 第一段说深度学习在判别模型取得了很大的成功但是在生成模型进展还很缓慢主要原因是在最大似然估计时会遇到很多棘手的近似概率计算因此作者提出一个新的生成模型来解决这些问题。第二段作者举了一个例子来解释对抗网络。生成模型好比是一个造假者而判别模型好比是警察警察需要能区分真币和假币而造假者需要不断改进技术使警察不能区分真币和假币。第三段说生成模型可以通过多层感知机来实现输入为一些随机噪声可以通过反向传播来训练。 然后是相关工作部分这里有件有趣的事。当时GAN作者在投稿时Jürgen Schmidhuber 恰好是论文审稿者Jürgen Schmidhuber 就质问“你这篇论文和我的 PM 论文很相似只是方向相反了应该叫 Inverse PM 才对”。然后Ian就在邮件中回复了但是两人还在争论。 一直到NIPS2016大会Ian 的 GAN Tutorial上发生了尴尬的一幕。Jürgen Schmidhuber 站起来提问后先讲自己在1992年提出了一个叫做 Predictability Minimization 的模型它如何如何一个网络干嘛另一个网络干嘛接着话锋一转直问台上的Ian“你觉得我这个 PM 模型跟你的 GAN 有没有什么相似之处啊” 似乎只是一个很正常的问题可是 Ian 听完后反应却很激烈。Ian 表示“Schmidhuber 已经不是第一次问我这个问题了之前我和他就已经通过邮件私下交锋了几回所以现在的情况纯粹就是要来跟我公开当面对质顺便浪费现场几百号人听tutorial 的时间。然后你问我 PM 模型和 GAN 模型有什么相似之处我早就公开回应过你了不在别的地方就在我当年的论文中而且后来的邮件也已经把我的意思说得很清楚了还有什么可问的呢” 关于Jürgen Schmidhuber 和 Ian之间争论的更多趣事可以看这篇文章从PM到GAN——LSTM之父Schmidhuber横跨22年的怨念。 3. 模型、理论 下面开始介绍 Adversarial nets。为了学习生成器在数据 x\boldsymbol{x}x 上的分布 pgp_gpg​我们定义输入噪声变量 pz(z)p_{\boldsymbol{z}}({\boldsymbol{z}})pz​(z)数据空间的映射用 G(z;θg)G(\boldsymbol{z};\theta_g)G(z;θg​) 表示其中 GGG 是一个可微分函数多层感知机其参数为 θg\theta_gθg​。我们再定义第二个多层感知机 D(x;θd)D(\boldsymbol{x};\theta_d)D(x;θd​)其输出为标量。D(x)D(\boldsymbol{x})D(x) 表示数据 x\boldsymbol{x}x 来自真实数据的概率。 下面是训练策略我们同时训练生成模型 GGG 和判别模型 DDD。对于判别模型 DDD我们通过最大化将正确标签分配给训练样本和生成器生成样本的概率来训练对于生成模型 GGG我们通过最小化 log⁡(1−D(G(z)))\log (1-D(G(\boldsymbol{z})))log(1−D(G(z))) 来训练总结为 D(x)D(\boldsymbol{x})D(x) 概率越大判别器训练越好log⁡D(x)\log D(\boldsymbol{x})logD(x) 越大D(G(z))D(G(\boldsymbol{z}))D(G(z)) 概率越小判别器训练越好log⁡(1−D(G(z)))\log (1-D(G(\boldsymbol{z})))log(1−D(G(z))) 越大D(G(z))D(G(\boldsymbol{z}))D(G(z)) 概率越大生成器训练越好log⁡(1−D(G(z)))\log (1-D(G(\boldsymbol{z})))log(1−D(G(z))) 越小 下图是对抗网络训练的直观示意图黑色曲线是真实样本绿色曲线为生成样本蓝色曲线为判别概率。可以看到在 a 阶段真实样本和生成样本分布不一致此时判别器能够正确区分真实样本和生成样本。到 d 阶段真实样本和生成样本分布几乎一致此时判别器很难再区分二者此时判别器输出概率为 12\frac{1}{2}21​。 算法1是整个对抗网络的正式描述对于判别器我们通过梯度上升来训练对于生成器我们通过梯度下降来训练。 在实际训练时公式1往往不能提供足够的梯度让生成器去学习。因为在学习的早期阶段生成器 GGG 性能很差判别器 DDD 有着很高的置信度判别数据来源。在这种情况log⁡(1−D(G(z)))\log (1-D(G(\boldsymbol{z})))log(1−D(G(z))) 存在饱和现象。因此在这个时候我们通过最大化 log⁡D(G(z))\log D(G(\boldsymbol{z}))logD(G(z)) 来训练生成器 GGG。 下面是 Theoretical Results对于任意给定的生成器 GGG则最优的判别器 DDD 为 DG∗(x)pdata (x)pdata (x)pg(x)D_{G}^{*}(\boldsymbol{x})\frac{p_{\text {data }}(\boldsymbol{x})}{p_{\text {data }}(\boldsymbol{x})p_{g}(\boldsymbol{x})} DG∗​(x)pdata ​(x)pg​(x)pdata ​(x)​ 下面是证明过程对于给定的生成器 GGG判别器 DDD 通过最大化期望 V(G,D)V(G,D)V(G,D) 来训练 V(G,D)V(G,D)V(G,D) 为 V(G,D)∫xpdata (x)log⁡(D(x))dx∫zpz(z)log⁡(1−D(g(z)))dz∫xpdata (x)log⁡(D(x))pg(x)log⁡(1−D(x))dx\begin{aligned} V(G, D) \int_{\boldsymbol{x}} p_{\text {data }}(\boldsymbol{x}) \log (D(\boldsymbol{x})) d x\int_{\boldsymbol{z}} p_{\boldsymbol{z}}(\boldsymbol{z}) \log (1-D(g(\boldsymbol{z}))) d z \\ \int_{\boldsymbol{x}} p_{\text {data }}(\boldsymbol{x}) \log (D(\boldsymbol{x}))p_{g}(\boldsymbol{x}) \log (1-D(\boldsymbol{x})) d x \end{aligned} V(G,D)​∫x​pdata ​(x)log(D(x))dx∫z​pz​(z)log(1−D(g(z)))dz∫x​pdata ​(x)log(D(x))pg​(x)log(1−D(x))dx​ 已知 (a,b)∈R2(a, b) \in \mathbb{R}^{2}(a,b)∈R2函数 y→alog⁡(y)blog⁡(1−y)y \rightarrow a \log (y)b \log (1-y)y→alog(y)blog(1−y) 在 aab\frac{a}{ab}aba​ 处取得最大值。 根据上面的证明在最优判别器处则有最大期望值 −log⁡4-\log4−log4。 最后简单总结下虽然在本文中作者做的实验现在来看比较简单但是整个工作是一个开创性的工作GAN 属于无监督学习研究而且作者是使用有监督学习的损失函数去训练无监督学习而且本文的写作也是教科书级别的写作作者的写作是很明确的读者只看这一篇文章就能对GAN有足够的了解不需要再去看其它更多的文献。