[Day 6] 딥러닝 basic & MLP

• 딥러닝을 위한 키값들
  • Data : 모델을 학습시키기 위한 데이터셋
  • Model : 데이터를 어떻게 모델에 적용시킬것인가
  • loss_func : 모델에 최적화된 손실함수가 필요
  • Algorithm : 손실함수를 가장 좋게 만드는 알고리즘 필요
• loss function(무조건 각각의 손실함수를 사용하는 것은 아니지만 보통 다음과 같은 방법을 사용한다)
  • 회귀 : MSE
  • 분류 : CE
  • 확률론적 : MLE(=MSE + log)

 

 

• MLP
  • Linear Neural Networks : 입력은 N차원, 출력은 M차원

    

    Data : input으로 받는 데이터셋, x에 대해 대응하는 y값이 존재          Model : x에서 loss를 최소화하여 x_hat으로 가야됨,이에따른 w,b        Loss : 최소화 시키도록 구하는법(MSE이용,회귀일때)                      

     
  • loss function을 줄이는게 목적이므로, 미분값을 통해 구해준다. 위의 loss식을 beta로 편미분해준다.

    

    loss를 b로 편미분

    

    
    
    
  • 미분값(step size)을 구해서 원래의 w,b에 업데이트 해준다.
  • 우리는 입력벡터와 크기가 다른 출력값을 구할수 있다. (두 행렬의 크기가 다르지만 구할 수 있다.)

 

• MLP(Multi-Layer Perceptron) : nonlinear transform을 이용하여 구할수 있다.
  • network를 깊게 쌓을때는 nonlinear trasnform을 써야 의미가 생긴다.
  • nonlinear transform : 활성함수
    • relu, sigmoid, HT 등...