利用深度神经网络的这种内容-风格分离能力可以实现图片的风格迁移,即将一张图片 B 的风格迁移到另一张图片 A 上。换句话说,就是希望得到一张图片,该图片在内容上与 A 一致,但在风格上与 B 一致。实现这一目标的方法如下:首先确定内容图片 A 和风格图片 B,然后随机生成一幅初始图像 X。利用迭代更新法不断调整X,使得X 经过一个卷积网络后得到的激发值与A 的激发值相近,而激发值之间的关系矩阵与B 的激发值关系矩阵相近。经过多次调整后,X 将逐渐接近A 表达的内容,但具有与 B 相似的风格。
图片风格迁移示意图
对左上图用各种风格进行迁移的结果。图片来源:Gatys et al., 2016
展示了通过这种方法生成的几幅作品。左上角的图像是原始图片(图宾根小城),而下方三幅则是经过风格迁移后的结果,每一幅都应用了不同的艺术风格。提供风格的三幅名画分别来自画家约瑟夫·特纳、文森特·梵高和爱德华·蒙克(每个子图的左下角)。可以看到,这种风格迁移技术确实能够生成大师风格的作品。
研究者们还对这种方法进行了改进,使得我们可以从多个风格图片中混合出一种独特的风格。如图26.6所示,四个角上的四幅作品代表了四种不同的艺术风格,而中间的图片是将这些风格以不同比例混合后得到的效果。这一结果体现了风格迁移技术的灵活性和创新潜力。
不同风格的混合效果。图片来源:Dumoulin 2016.