대표적인 5가지 생성형 모델 요약 (GAN, VAE, Flow-based Model, Diffusion Model, Autogressive model)

VAE, GAN, Flow-based Modell, Autogressive model, Diffusion Mode 순서로 알아보겠습니다. 

 

1. VAE

 1) VAE
 2) CVAE (Conditional)
 3) VQ-VAE (Vector Quantised) :실제적이고 디테일한 이미지 생성. latent variable 이 discrete함. 

 

2. GAN

2-1. GAN의 종류

 1) GAN
 2) DCGAN : CNN 사용
 3) CGAN
 4) WGAN : EM distance 사용
 5) WGAN-GP(Gradient panelty) : weight clipping 의 대안으로 gradient 의 norm 에 패널티 부여
 6) PGGAN (Progressive Growing) : 저해상도 이미지로부터 고해상도의 이미지들로 layer 를 추가하면서 점진적으로 커지게 함. 고해상도에서 안정적 학습이 가능함. 
 7) StyleGAN : PGGAN 구조에 style transfer 개념 적용. latent space 를 disentangle 하게 만들어서 각 style 들을 분리함. 

2-2. GAN을 이용한 image translation

 1) Pix2pix : A라는 이미지를 B라는 ground truth 를 이용하여 C라는 이미지로 변환함. A이미지 형태인데 B이미지 느낌이 나는 C이미지가 생성됨. 
 2) CycleGAN : Image pair가 아니라 input collection 과 output collection 을 이용함. 

2-3. GAN을 이용한 image editing

 1) Image2Style GAN : stylegan을 이용하긴 하는데 random 하게 generate하는게 아니라 입력 이미지를 edit 함. 

 

3. Flow-based Model

1) NICE (Non-linear independent components estimation) : Normalizing FLow 를 NN으로 구현함. 
2) RealNVP (Non-Volume Preserving) : NVP transformation 사용
3) Glow : invertable 1x1 convolution 사용. NICE, RealNVP보다 고화질의 이미지 생성

 

4. Autoregressive Generative Model

4-1. Image Generative Model
 1) MADE(Masked Autoencoder for Distribution Estimation) : 오토인코더에 마스크 적용
 2) PixelCNN : output 이 각 픽셀 값인데 AR 이 적용되어 있음. 이전픽셀로 다음 픽셀 예측. 

4-2. Language Generative Model
 1) Transformer 
 2) GPT

 

5. Diffusion Based Generative Models