生成模型

PixelRNN / Pixel CNN

Variational Autoencoders

GAN

Ian. Goodfellow NIPS2014[1]，为了学习 generator 在数据 $x$ 上的分布 $p_g$ ，定义输入噪声变量 $p_z(z)$ ，定义从 $z$ 到数据空间的映射函数 $G(z;\theta_g)$ ，其中 $G$ 是由可微分的、multilayer perception 组成的函数。定义 MLP 组成的判别函数 $D(x;\theta_d)$ ，输出 0～1 表示 $x$ 来自于真实数据还是 $p(z)$ 的概率。

损失函数表示为

$\min_G \max_D V(D,G) =\mathbb E_{x\sim p_{data}} [\log D(x) + \mathbb E_{x \sim p_z(z)} [\log (1 - D(G(z)))]$

判别函数 $D$ 希望避免被欺骗，即最大化目标函数，使得 $D(x)$ 接近 1 而 $D(G(z))$ 接近 0。

生成函数 $G$ 希望以假乱真，即最小化目标函数，使得 $D(G(z))$ 接近 1。

GAN w/ Conv

Ian Goodfellow, ICLR 2016

CycleGAN

Zhut et al. 2017

Ref

[1] Generative Adversarial Networks, Goodfellow et al., NIPS 2014, PDF

[2] Unsupervised representation learning with deep convolutional generative adversarial networks, Goodfellow et al., ICLR 2016, PDF

Lecture 13 Generative Models, Serena Yeung, Stanford YouTube

MinMax, Strategies of Play, Game Thery, Dan Vekhter et al., Stanford HTML