[Day 10] GAN

Generative Model

• "생성모델"로 직독이 가능하다.
• 분류(classification)모델을 포함한다.(ex. 강아지인지 아닌지 분류)
• explicit model : 확률적 해석을 나타낼 수 있는 모델
• implicit model : 학습모델

 

• learning generative model
  • 순서 : Generation(sampling) > Density estimation > Unsupervised learning
  • 여기서 density 즉 밀도, 통계적 해석이 들어가므로 explicit model에도 속한다.
  • 원래의 learning에 필요한 파라미터 수는 2의n 제곱이 필요하다. 어떻게 파라미터 수를 줄일 수 있을까?
    >> n개의 input값들이 전부 독립이라고 가정하면, 더하기로 표현 가능하다
    >> 파라미터의 수는 줄어들지만 표현할 수 있는 이미지가 너무 줄어드게 된다
    
    
  • 우리는 chain rule 와 conditional independence를 혼합하여 사용하는 방법을 선택할 수 있다.
    • chain rule :

      

      
      
      • chain rule의 파라미터 수 : P(x1) = 1개 + P(x2) = 2개 + P(x3) = 4개 +...+... P(xn) = 2^n -1 개
      • 즉, chain rule만 이용하여 파라미터 수를 구하면 동일하게 된다.
      • 그래서 우리는 여기에 conditional independence를 이용할 것!
    •  conditional independence :

      

      
      
      • conditional independence의 파라미터 수 : P(x1) = 1개 + P(x2) = 1개 + ...+... P(xn) = 2n-1개
      • auto-regressive model은 이 방법을 채택한다

 

NADE & Pixel RNN

• NADE
  • i번째 픽셀을 첫번째부터 i-1에 대해 dependent하다고 가정한다
    • 첫번째 픽셀 = init
    • 두번째 픽셀 = 첫번째 픽셀에만 dependent
    • 세번째 픽셀 = 첫번째, 두번째에 dependent 
    • ....
    • i번째 픽셀 = 첫번째~i-1번째에 dependent
• Pixel RNN
  • auto-regressive model으로 정의할 수 있다.
  • 생성은 RNN을 이용한다

 

VAE

--- 주말을 이용하여 공부 완벽하게 하고 정리 예정