网站还建设 域名可以备案吗,太原网络推广公司,域名备案官网,设计网站推荐素材网站文章目录 1. 生成模型与判别模型1.1 生成模型 2. VAE3. GAN3.1 GAN-生成对抗网络3.2 GAN-生成对抗网络的训练3.2.1 判别模型的训练#xff1a;3.2.2 生成网络的训练#xff1a; 4. LeakyReLU5. GAN代码实例 1. 生成模型与判别模型 生成模型与判别模型 我们前面几章主要介绍了… 文章目录 1. 生成模型与判别模型1.1 生成模型 2. VAE3. GAN3.1 GAN-生成对抗网络3.2 GAN-生成对抗网络的训练3.2.1 判别模型的训练3.2.2 生成网络的训练 4. LeakyReLU5. GAN代码实例 1. 生成模型与判别模型 生成模型与判别模型 我们前面几章主要介绍了机器学习中的判别式模型这种模型的形式主要是根据原始图像推测图像具备的一些性质例如根据数字图像推测数字的名称根据自然场景图像推测物体的边界 而生成模型恰恰相反通常给出的输入是图像具备的性质而输出是性质对应的图像。这种生成模型相当于构建了图像的分布因此利用这类模型我们可以完成图像自动生成采样、图像信息补全等工作。 在深度学习之前已经有很多生成模型但苦于生成模型难以描述难以建模科研人员遇到了很多挑战而深度学习的出现帮助他们解决了不少问题。 基于深度学习思想的生成模型——GAN和VAE以及GAN的变种模型。 1.1 生成模型 生成图片人脸生成照片生成生成卡通人物图像转换文本到图片的转换语义图片到照片的转换正脸图片生成生成新的人体姿势照片到表情的转换照片编辑图片混合超分辨率图片修复衣服转换视频预测3D 物体生成 2. VAE VAE-Variational Autoencoder 变分自动编码器 想象这样一个网络输入是一组全部为1的向量目标是一张猫脸经过好多好多轮的训练。 我们只要输入这个全部为1的向量就可以得到这张猫的脸。 其实这是因为在训练的过程中我们通过不断地训练网络已经将这张猫的图片的参数保存起来了。 这个工作其实已经可以看出他的意义所在了通过一个网络将一个高维空间的脸映射为低维空间的一个向量。 那么如果我们尝试使用更多的图片。这次我们用one-hot向量而不是全1向量。我们用[1, 0, 0, 0]代表猫用[0, 1, 0, 0]代表狗。虽然这也没什么问题但是我们最多只能储存4张图片。 于是我们可以增加向量的长度和网络的参数那么我们可以获得更多的图片。 例如将这个向量定义为四维采用one-hot的表达方式表达四张不同的脸那么这个网络就可以表达四个脸。输入不同的数据他就会输出不同的脸来。 但是这样的向量很稀疏。为了解决这个问题我们想使用实数值向量而不是01向量。我们可认为这种实数值向量是原图片的一种编码这也就引出了编码/解码的概念。 举个例子[3.3, 4.5, 2.1, 9.8]代表猫[3.4, 2.1, 6.7, 4.2] 代表狗。 这个已知的初始向量可以作为我们的潜在变量。 如果像我上面一样随机初始化一些向量去代表图片的编码这不是一个很好的办法我们更希望计算机能帮我们自动编码。在auto encoder模型中我们加入一个编码器它能帮我们把图片编码成向量。然后解码器能够把这些向量恢复成图片。 在下面这个图中我们通过六个因素来描述最终的人脸形状而这些因素不同的值则代表了不同的特性。 3. GAN 3.1 GAN-生成对抗网络 什么是生成对抗网络GAN–Generative Adversarial Network 对抗网络有一个生成器Generator还有一个判别器 Discriminator生成器从随机噪声中生成图片由于这些图片都是生成器臆想出来的所以我 们称之为 Fake Image生成器生成的照片Fake Image和训练集里的Real Image都会传入判别器判别器判断他们是 Real 还是 Fake。 那么我们如何训练网络呢要达到什么样的目的 我们希望生成器生成的图片足够真实可以骗过判别器我们也希望判别器足够“精明”可以很好的分别出真图还是生成图最后在训练中生成器和判别器达到一种“对抗”中的平衡结束训练。这时我们分离出生成器它便可以帮助我们“生成”想要的图片。 我们要明白在使用GAN的时候的2个问题 我们有什么 比如上图我们有的只是真实采集而来的人脸样本数据集仅此而已而且很关键的一点是我们连人脸数据集的类标签都没有也就是我们不知道那个人脸对应的是谁。我们要得到什么 至于要得到什么不同的任务得到的东西不一样我们只说最原始的GAN目的那就是我们想通过输入一个噪声模拟得到一个人脸图像这个图像可以非常逼真以至于以假乱真。 首先判别模型就是图中右半部分的网络直观来看就是一个简单的神经网络结构输入就是一副图像输出就是一个概率值用于判断真假使用概率值大于0.5那就是真小于0.5那就是假真假也不过是人们定义的概率而已。 其次是生成模型同样也可以看成是一个神经网络模型输入是一组随机数Z输出是一个图像不再是一个数值。 从图中可以看到会存在两个数据集一个是真实数据集另一个是假的数据集. GAN的目标 判别网络的目的就是能判别出来输入的一张图它是来自真实样本集还是假样本集。假如输入的是真样本网络输出就接近1输入的是假样本网络输出接近0达到了很好的判别的目的。生成网络的目的生成网络是造样本的它的目的就是使得自己造样本的能力尽可能强尽可能的使判别网络没法判断是真样本还是假样本。 生成网络与判别网络的目的正好是相反的一个说我能判别的好一个说我让你判别不好。 所以叫做对抗叫做博弈。 那么最后的结果到底是谁赢呢 这就要归结到设计者也就是我们希望谁赢了。 作为设计者的我们我们的目的是要得到以假乱真的样本那么很自然的我们希望生成样本赢了也就是希望生成样本很真判别网络的能力不足以区分真假样本为止。 3.2 GAN-生成对抗网络的训练 单独交替迭代训练 3.2.1 判别模型的训练 假设现在生成网络模型已经有了当然可能不是最好的生成网络那么给一堆随机数组就会得到一堆假的样本集因为不是最终的生成模型那么现在生成网络可能就处于劣势导致生成的样本就不咋地可能很容易就被判别网络判别出来了说这货是假冒的。 假设我们现在有了这样的假样本集而真样本集一直都有现在我们人为地定义真假样本集的标签因为我们希望真样本集的输出尽可能为1假样本集为0很明显这里我们就已经默认真样本集所有的类标签都为1而假样本集的所有类标签都为0.。 所以我们现在有了真样本集以及它们的label都是1、假样本集以及它们的label都是0 这样单就判别网络来说此时问题就变成了一个再简单不过的有监督的二分类问题了直接送到神经网络模型中训练就可以了。 3.2.2 生成网络的训练 想想我们的目的是生成尽可能逼真的样本。 那么原始的生成网络生成的样本怎么知道它真不真呢 就是送到判别网络中所以在训练生成网络的时候我们需要联合判别网络一起才能达到训练的目的。 把刚才的判别网络串接在生成网络的后面这样我们就知道真假了也就有了误差了。 所以对于生成网络的训练其实是对生成-判别网络串接的训练。 对于样本我们要把生成的假样本的标签都设置为1也就是认为这些假样本在生成网络训练的时候是真样本。 那么为什么要这样呢我们想想是不是这样才能起到迷惑判别器的目的也才能使得生成的假样本逐渐逼近为真样本。 现在对于生成网络的训练我们有了样本集只有假样本集没有真样本集有了对应的label全为1。 注意在训练这个串接的网络的时候一个很重要的操作就是不要更新判别网络的参数只是把误差一直传 传到生成网络后更新生成网络的参数。 在完成生成网络训练后我们就可以根据目前新的生成网络再对先前的那些噪声Z生成新的假样本了。 并且训练后的假样本应该是更真了才对。 所有这样我们又有了新的真假样本集这样又可以重复上述过程了。 我们把这个过程称作为单独交替训练。 4. LeakyReLU Relu的输入值为负的时候输出始终为0其一阶导数也始终为0这样会导致神经元不能更新参数也就是神经元不学习了这种现象叫做“Dead Neuron”。 为了解决Relu函数这个缺点在Relu函数的负半区间引入一个泄露Leaky值所以称为Leaky Relu函数。即ReLU在取值小于零部分没有梯度LeakyReLU在取值小于0部分给一个很小的梯度。 5. GAN代码实例 from __future__ import print_function, divisionfrom keras.datasets import mnist from keras.layers import Input, Dense, Reshape, Flatten, Dropout from keras.layers import BatchNormalization, Activation, ZeroPadding2D from keras.layers.advanced_activations import LeakyReLU from keras.layers.convolutional import UpSampling2D, Conv2D from keras.models import Sequential, Model from keras.optimizers import Adamimport os os.environ[TF_CPP_MIN_LOG_LEVEL] 2 import tensorflow as tf gpu_options tf.GPUOptions(per_process_gpu_memory_fraction0.5) sess tf.Session(configtf.ConfigProto(gpu_optionsgpu_options))import matplotlib.pyplot as pltimport sysimport numpy as npclass GAN():def __init__(self):self.img_rows 28self.img_cols 28self.channels 1self.img_shape (self.img_rows, self.img_cols, self.channels)self.latent_dim 100optimizer Adam(0.0002, 0.5)# Build and compile the discriminatorself.discriminator self.build_discriminator()self.discriminator.compile(lossbinary_crossentropy,optimizeroptimizer,metrics[accuracy])# Build the generatorself.generator self.build_generator()# The generator takes noise as input and generates imgsz Input(shape(self.latent_dim,))img self.generator(z)# For the combined model we will only train the generatorself.discriminator.trainable False# The discriminator takes generated images as input and determines validityvalidity self.discriminator(img)# The combined model (stacked generator and discriminator)# Trains the generator to fool the discriminatorself.combined Model(z, validity)self.combined.compile(lossbinary_crossentropy, optimizeroptimizer)def build_generator(self):model Sequential()model.add(Dense(256, input_dimself.latent_dim))model.add(LeakyReLU(alpha0.2))model.add(BatchNormalization(momentum0.8))model.add(Dense(512))model.add(LeakyReLU(alpha0.2))model.add(BatchNormalization(momentum0.8))model.add(Dense(1024))model.add(LeakyReLU(alpha0.2))model.add(BatchNormalization(momentum0.8))model.add(Dense(np.prod(self.img_shape), activationtanh))model.add(Reshape(self.img_shape))model.summary()noise Input(shape(self.latent_dim,))img model(noise)return Model(noise, img)def build_discriminator(self):model Sequential()model.add(Flatten(input_shapeself.img_shape))model.add(Dense(512))model.add(LeakyReLU(alpha0.2))model.add(Dense(256))model.add(LeakyReLU(alpha0.2))model.add(Dense(1, activationsigmoid))model.summary()img Input(shapeself.img_shape)validity model(img)return Model(img, validity)def train(self, epochs, batch_size128, sample_interval50):# Load the dataset(X_train, _), (_, _) mnist.load_data()# Rescale -1 to 1X_train X_train / 127.5 - 1.X_train np.expand_dims(X_train, axis3)# Adversarial ground truthsvalid np.ones((batch_size, 1))fake np.zeros((batch_size, 1))for epoch in range(epochs):# ---------------------# Train Discriminator# ---------------------# Select a random batch of imagesidx np.random.randint(0, X_train.shape[0], batch_size)imgs X_train[idx]noise np.random.normal(0, 1, (batch_size, self.latent_dim))# Generate a batch of new imagesgen_imgs self.generator.predict(noise)# Train the discriminatord_loss_real self.discriminator.train_on_batch(imgs, valid)d_loss_fake self.discriminator.train_on_batch(gen_imgs, fake)d_loss 0.5 * np.add(d_loss_real, d_loss_fake)# ---------------------# Train Generator# ---------------------noise np.random.normal(0, 1, (batch_size, self.latent_dim))# Train the generator (to have the discriminator label samples as valid)g_loss self.combined.train_on_batch(noise, valid)# Plot the progressprint (%d [D loss: %f, acc.: %.2f%%] [G loss: %f] % (epoch, d_loss[0], 100*d_loss[1], g_loss))# If at save interval save generated image samplesif epoch % sample_interval 0:self.sample_images(epoch)def sample_images(self, epoch):r, c 5, 5noise np.random.normal(0, 1, (r * c, self.latent_dim))gen_imgs self.generator.predict(noise)# Rescale images 0 - 1gen_imgs 0.5 * gen_imgs 0.5fig, axs plt.subplots(r, c)cnt 0for i in range(r):for j in range(c):axs[i,j].imshow(gen_imgs[cnt, :,:,0], cmapgray)axs[i,j].axis(off)cnt 1fig.savefig(./images/mnist_%d.png % epoch)plt.close()if __name__ __main__:gan GAN()gan.train(epochs2000, batch_size32, sample_interval200)