惠州网站营销推广,网站哪里可以做,药品销售推广方案,网站设计主要做什么点击蓝字关注我们AI研习图书馆#xff0c;发现不一样的世界风格迁移图像风格化迁移是一个很有意思的研究领域#xff0c;它可以将一张图的风格迁移到另外一张图像上#xff0c;由此还诞生了Prisma和Ostagram这样的商业化产品。本文#xff0c;我们将介绍谷歌大脑团队的一篇… 点击蓝字关注我们AI研习图书馆发现不一样的世界风格迁移图像风格化迁移是一个很有意思的研究领域它可以将一张图的风格迁移到另外一张图像上由此还诞生了Prisma和Ostagram这样的商业化产品。本文我们将介绍谷歌大脑团队的一篇很有影响力的论文: Exploring the structure of a real-time, arbitrary neural artistic stylization network该论文提出了一种任意内容、任意风格的图像风格化迁移算法。大佬已经将算法demo整合进了aizoo.com欢迎进入网址在线体验。在深度学习引进图像风格迁移之前图像风格化一般称作图像纹理合成或者图像纹理迁移。在2015年Leon Gatys等学者开始将深度学习引入到图像风格合成领域从那时起图像风格化迁移这个名字才开始用起来。从2015年到2017年图像风格化迁移领域经过了火箭般的发展。其发展路线主要有以下三个阶段单内容单风格模型任意内容单风格模型任意内容、任意风格模型有意思的是图像风格迁移领域基本是沿着这三个阶段一脉相承的发展下来的每一代算法都有借鉴前一个阶段的算法成果。真正做到了前人的成果后人的阶梯。虽然本文写作于2020年2月6日但今天我们要重点介绍的该论文是谷歌大脑团队2017年8月发布的。我们参考Reiichiro大神于2018年开源的代码和模型我们很快的就将他部署到了我们的网站aizoo.com。但是我并不清楚该算法的原理和细节为了弄明白这篇论文我仔细阅读了该论文以及其参考文献中的部分经典、高被引参考论文结合谷歌开源的代码我才算是真正搞懂了这篇文章。对于如果要研究图像风格化迁移的新手直接看懂这篇文章还是蛮困难的。所以本文将用清晰、简洁的方式介绍这篇论文提到核心的算法。正如上面提到图像风格化迁移领域的发展是一脉相承的该论文也使用了之前两个阶段的其他论文中的很多方法所以我们先对图像风格迁移领域的发展历程进行简单的介绍。01单内容单风格模型顾名思义这种模型就是对每一张内容图片和每一张风格图片都需要单独建模一般是对一张随机噪声图不断的迭代优化使生成图的风格类似于给定的风格图内容却与给定的内容图像一致。Gatys等学者发表的Image Style Transfer Using Convolutional Neural Networks是图像风格化迁移领域的开山之作。该论文主要使用预训练的VGG网络来提取特征一般我们认为VGG这类图像分类网络其浅层会更多的保存图像的纹理信息而深层更多的是图像的语义特征。所以如果两张图片内容相似他们的高层特征的欧式距离会比较小如果两张图像的纹理相似那么它们的低阶特征有相同的空间特性。所以多数图像风格化模型都会使用VGG等图像识别模型的特征来计算纹理相似性和内容相似性并且一般都会使用VGG等网络的多个卷积层提取的特征来计算风格损失并使用一个较深的卷积层提取的特征来计算内容损失。如下图所示对于风格图像S、内容图像C、生成的风格化迁移图像X分别输入VGG网络并在如图所示的四个卷积层的特征来计算风格损失使用relu3_3的输出的特征来计算内容损失。对于图像风格损失一般会将提取到的特征转换为Gram矩阵用Gram矩阵来表示纹理信息。Gram矩阵计算方法就是将每个卷积层输出的特征向量(一般为WxHxC维)reshape成WHxC的矩阵然后该二维矩阵的转置与自身相乘得到一个CxC的矩阵使用这个矩阵表示该层的风格。则第j层的风格损失定义如下总的风格损失定义如下内容损失为内容图像和生成的风格化图像的特征之间的均方误差第j层内容损失定义为总的内容损失如下最终的损失为风格损失和内容损失的一个加权和(其中λ为内容损失的权重)而网络的优化方向就是最小化总的损失。单内容、单风格模型很明显不实用因为我们总不能让用户每次输入一张内容图和风格图都用GPU迭代几分钟才给出结果吧。虽然工程上并不实用但是该类算法提出使用VGG等预训练模型的特征进而计算风格损失和内容损失后面的风格化算法损失函数计算方式基本沿袭于此。02任意内容单风格模型这类模型是对图像风格迁移网络进行训练图像风格迁移网络一般是自编码器架构(AutoEncoder)输入任意一张内容图模型可以直接输出风格化的图片。该类算法需要对一张特定风格图进行训练在推理的时候可以对任意内容进行风格化这类网络的推理速度也比较快。但该类模型依旧有缺陷因为对每个风格都需要建模如果要做成产品假设有1千个风格图就要训练一千个模型这样存储、调用起来仍旧不方便。虽然后来有学者提出了单模型多风格的模型一个典型的论文是A Learned Representation For Artistic Style模型结构如上图所示一个风格迁移模型可以存储几十种不同的风格但仍旧不能做到风格随意切换。但这篇论文提出的一个条件实例归一化方法(conditional instance normalization)对下面要重点介绍的文章是一个非常大的启发。还记得我们经常用的Batch Normalization吗其原理非常简单对于每个卷积层中每个通道的特征我们计算其均值和标准差然后对每个通道的每个数值减去均值除以标准差然后乘以一个可学习的参数γ再加上一个可学习的偏置β。该论文提出使用这个γ和β来做作为风格图像的特征向量即使用这γ和β值来作为风格迁移网络的部分BN层的γ和β值进而控制风格迁移网络生成符合特定风格的图像。该文章提出可以存储N个不同风格图像的γ和β矩阵每次生成不同风格的图像时只需要切换不同的风格对应的γ和β矩阵就可以生成不同风格的风格迁移图。03任意内容任意风格模型后来有学者提出了任意图像的风格化其有多种不同的方法下面我们介绍一下本文要重点介绍的论文也就是谷歌大脑团队提出的——Exploring the structure of a real-time, arbitrary neural artistic stylization network.还记得上面刚提到的条件实例归一化方法吗谷歌大脑团队提出如果训练一个风格预测网络让它来生成每个风格图像的特征向量(也就是要强加给风格迁移网络的γ和β)然后输送给图像生成模型不就完事了吗只要这个风格预测网络性能足够强就可以做到任意风格的图像生成了。这里有一定会让大家比较迷惑的地方也是让笔者一开始自己百思不得其解的地方。我们通常所见的一个模型的结果作为另一个模型的一个输入一般是与其他特征进行通道拼接、或者通道逐元素相加而本篇论文则是把一个模型的输出作为另外一个模型的部分BN层中的γ和β参数。这是本文一个非常特别的地方。明晰了这一点本篇文章就很好理解了。下面是论文的主体结构图其中风格转换网络是一个AutoEncoder架构的网络不过这个网络只有两个下采样层。下表是风格转换网络的结构组成。其中每个Residual block(残差块)由两个卷积层和一个shortcut组成而Upsampling(上采样层)则是由一个最近邻差值(2倍上采样)和一个卷积层组成。但别忘了最重要的每个卷积层的后面都有BN层其中前三个卷积层是普通BN层而后面5个残差块中的十个卷积层以及两个上采样中的两个卷积层还有最后一个卷积层都是使用上文提到的条件实例归一化的也就是这13个归一化层的β和γ来自于风格预测网络。其中风格预测网络是Inception V3模型不过并不是完整的Inception V3模型而是只使用其截止到名称为“mixed 6e”的上半部分模型该部分作为风格预测网络的Backbone网络然后对输出进行一个全局平均池化再使用一个1x1的卷积层将通道数降低为100其实这个100就可以作为一个风格图像的特征了。但是等等不是说风格预测网络的输出是上述13个卷积层对应的归一化参数β和γ吗是的所以这个100个通道的卷积层还要分别再接出来26个1x1的卷积层(分别是13个卷积层的γ和13个卷积层的β矩阵所以一共26个卷积层)这26个1x1卷积层的通道数目对应风格迁移网络中相应层的通道数。26个卷积层输出的结果才是最终送到风格转换模型的β和γ向量。下表是风格生成网络的结构图其中最后的Matrix multiply其实是1x1的卷积层这点还是通过看源码看到的。明白了网络的完整的拓扑结构对这篇文章就算有个清晰的理解了。对于训练就很容易理解了。其损失同样是上文提到的通过VGG网络提取的特征来计算风格损失和内容损失优化器优化这个总的加权损失就可以了。该论文在8万张艺术画和6千张视觉纹理图上训练最后作者还验证了风格预测网络在网络从未见过的风格图片上仍然具有很好的风格建模能力。这点非常类似于人脸识别模型一个识别模型在成千上万的人脸图片上训练好了对于未见过的人脸也需要对其进行很好的建模而不能瞎预测。而一旦训练好了风格预测模型以及风格生成模型网络就可以任意输入一张内容图片以及一张风格图片网络就可以很快的生成一张风格化的图片了。其实文章介绍到这里最难理解的地方就介绍完了下面是关于将模型通过TensorFlow.js部署到浏览器里面的一些技术细节由于Inception v3模型比较大Reiichiro将模型进行了蒸馏使用Mobilenet v2替换Inception v3模型作为风格预测网络并将图像风格迁移网络中部分的卷积层替换为了深度可分离卷积层。从而降低了两个模型的大小。模型名称模型大小(MB)推理时间(s)图像风格转换模型Inception v336.30.439Mobilenet v29.60.047图像风格生成模型标准卷积结构7.92.51深度可分离卷积结构2.40.90下面我们实现的操作页面您可以在浏览器输入aizoo.com/style-transfer.html进行体验。我们默认使用小的模型在图中右侧控制栏有个“使用大模型”可选项您可以选择大模型大模型更‘鲜艳“一些。不过40多M的模型下载可能需要几秒钟而且运算量也要大很多所以相比小模型速度会慢很多。最后说一下学习风格化算法和这篇论文的感悟。因为之前并没有深入研究过图像风格化算法但我为了介绍这个可以跑在浏览器里的算法仔细看了这篇文章读了几篇其他作者写的综述性介绍文章又阅读了几篇该论文里面提到的部分参考文献最重要的是看了源码才把一些很难想通的点看明白了。所以开始一个新的研究方向或许以下三点是入门的一个很好的点1)阅读综述性的论文和博客找出文中重点提到的经典论文2)阅读该方向经典的论文以及经典论文所参考的部分高被引文献3)阅读部分经典论文的开源代码其中阅读代码可能是理解一篇论文最重要的就像目标检测中的SSD或者Yolo论文如果看论文或许有很多点是看不很明白的只有看代码或者真正自己通过写代码实现这个算法才能彻底搞懂它。最后欢迎关注我们的公众号如果您想体验跑在您浏览器的图像风格化算法敬请访问aizoo.com更多好玩的人工智能算法在里面等你哦。参考文献Image Style Transfer Using Convolutional Neural Networks A Learned Representation For Artistic StyleNeural Style Transfer: A ReviewPorting Arbitrary Style Transfer to the Browser  https://magenta.tensorflow.org/blog/2018/12/20/style-transfer-js/推荐阅读文章[1] AI入门-人工智能的前世今生[2] AI入门-深度学习综述[3] AI入门-计算机视觉学习指南[附资源][4] 深度学习框架总结—国际篇[5] 深度学习-CNN结构设计技巧[6] 资源分享-深度学习及数据分析等资源合集[7] 今日分享—统计学习方法[8] 算法总结—人脸检测算法[9] 目标检测算法-YOLOv4 [10] 项目总结—人脸检测[11] 数据结构与算法-Python语言案例实现[12] 深度学习基础-二十种损失函数[13] 深度学习-目标检测的十九个研究方向[14] 项目实战-车辆检测案例实现[15] 卷积神经网络-可变形卷积[上][16] 图像识别—EfficientNet算法详细总结[17] 世界读书日—机器学习西瓜书|附下载链接[18] 面试指南-算法岗如何针对性的准备校招面试   ......点击在看了解更多精彩内容转载是一种动力 分享是一种美德公众号 :AI研习图书馆CSDN博客算法之美DLGitHubstatisticszhang关注AI研习图书馆发现不一样的精彩世界