StarGAN 使用指南

• • 网络结构
  • 多数据集训练
  • 使用指南
  • StarGAN v2

 

---

论文地址：https://arxiv.org/pdf/1711.09020.pdf

我们有猫的图片集、狗的图片集和兔子的图片集。

目标是让猫的图片看起来像狗的图片，狗的图片看起来像兔子的图片，兔子的图片看起来像猫的图片。

这是一个多领域迁移的问题。

如果使用传统 GAN 不能解决多领域迁移的问题，只能两个领域的互相转化，只能用多个传统 GAN。

那有没有什么方法，一个模型就能实现多个域的迁移呢？StarGAN。

网络结构

传统 GAN 和 StarGAN，在域迁移上差异：

传统的域迁移 需要在不同的两个域之间相互进行特征提取，这就导致在有 k 个域的情况下需要 k*(k-1) 个生成器。

比如上文的 3 个数据集，需要 3*2 个生成器来完成所有可能的域之间的转换。

• 猫到狗的生成器：用于将猫的图片转换为狗的图片
• 猫到兔子的生成器：用于将猫的图片转换为兔子的图片
• 狗到猫的生成器：用于将狗的图片转换为猫的图片
• 狗到兔子的生成器：用于将狗的图片转换为兔子的图片
• 兔子到猫的生成器：用于将兔子的图片转换为猫的图片
• 兔子到狗的生成器：用于将兔子的图片转换为狗的图片

而 starGAN 则解决了这个问题，自始至终只需要一个生成器。

核心思想：通过一个域标签向量来控制多个域的转换。

看上图，生成器（蓝色区域）：

• 左一：把输入图像（Input image）、目标域（Target domain）拼接，输入生成器（G），得到假的图片（Fake image）

• 左二：再把假图（Fake image）、原来域（Original domain）拼接，输入生成器（G），得到重建图像（Reconstructed image）

• 循环箭头：对比重建图像和原图之间，要最小化误差，循环这个过程（变到目标域，再变回源域）

判别器（红色区域）：

• 把假图（Fake image）、真实图像（Real image）分别输入判别器

• 判别器不仅要判断真假，还要判断来自哪个域

多数据集训练

假设我们要训练一个模型来识别动物的图片，我们有三个数据集：猫的图片集、狗的图片集和兔子的图片集。

如果我们只使用单个数据集来训练模型，那么模型可能会对其他动物的图片识别能力较弱。

多数据集训练：如果我们将三个数据集合并成一个大的数据集，并在训练过程中同时使用这三个数据集，模型就可以获得更多的样本和不同种类的动物图片，从而提高识别能力。

判别器部分：

• CelebA 是人脸数据集（黄色）

• RaFD 是人脸表情数据集（绿色）

生成器部分：

• 蓝色框 Mask vector 是掩码向量，只选择 CelebA 训练或者 RaFD 训练

• 黄色框 CelebA 是人脸数据集

• 绿色框 RaFD 是人脸表情数据集

使用指南

项目代码：https://github.com/yunjey/stargan.git

StarGAN v2