분류 전체보기(76)
-
[Day 9] RNN & Transformer
RNN Sequential model : dataset이 sequential하게 주어졌다면 우리는 RNN을 통해서 모델을 구축할 수 있을 것이다. Sequential이란? 일상생활에서 다루는 대부분의 정보들 ; 음성, 동작 등 sequential 데이터에서 우리가 결국 얻고 싶은건 하나의 라벨(정보)이다. 예를들어, 음성데이터가 주어진다고 하면 그 음성데이터의 길이가 길어, 언제끝나는지 알 수 없다. 때문에 CNN을 사용하지 못한다 CNN을 사용하지 못하는 이유는 몇개의 input값이 주어질지 모르기 때문 가장 기본적인 sequential model은 이전 데이터를 이용해 다음 데이터를 예측하는 것이다. sequential한 데이터를 해결하는 2가지 방법 Markov model : 현재는 과거에만 종속된..
2021.08.12 -
[Day 8] CNN
CNN? CNN에서 C는 convolution, NN은 뉴럴 네트워크를 뜻한다. 여기서 convolution을 잘 모르는 분들이 있을 것 같다. 원래의 convolution은 디지털 신호를 처리할때 주로 이용하는 방법이다. 하지만, CNN에서의 convolution은 Input(이미지와 같은)값에서 feature을 뽑아내기 위한 용도로 사용된다. 만약 input이 이미지로 들어온다면? filter를 convolution하여 output(원래 이미지와 다른 형태의 이미지, 예를 들어 원래의 이미지에서 아웃라인만 잡는다거나..)을 출력시킬수 있다. Stride & Padding Stride Padding input 양끝에 0을 추가해주면 (zero padding) input과 output의 채널을 동일하게 ..
2021.08.11 -
[Day 7] Optimization
내가 생각하는 딥러닝 모델링 과정에서 가장 중요한 작업이다. 오늘은 최적화에 대해서 알아보려고 한다. Generalization train_set을 잘 학습시켰다고 해서 test_set이 잘 학습된다고 할 수 없다. 이 두개의 set 차이를 generalization gap 이라고 한다 Underfitting & Overfitting test_set에 대해서 너무 잘 예측된다면, 그 set에서만 좋을 가능성도 높다. 이런 경우를 overfitting, 반대의 경우를 underfitting이라고 한다. Cross-validation test_set을 쓰기전, 결과를 미리 판단하기위해 train_set에서 subset으로 나눠 한 set을 validation으로 두고 판단한다. 이 때, 데이터의 수가 제한적..
2021.08.10 -
[Day 6] 딥러닝 basic & MLP
딥러닝을 위한 키값들 Data : 모델을 학습시키기 위한 데이터셋 Model : 데이터를 어떻게 모델에 적용시킬것인가 loss_func : 모델에 최적화된 손실함수가 필요 Algorithm : 손실함수를 가장 좋게 만드는 알고리즘 필요 loss function(무조건 각각의 손실함수를 사용하는 것은 아니지만 보통 다음과 같은 방법을 사용한다) 회귀 : MSE 분류 : CE 확률론적 : MLE(=MSE + log) MLP Linear Neural Networks : 입력은 N차원, 출력은 M차원 loss function을 줄이는게 목적이므로, 미분값을 통해 구해준다. 위의 loss식을 beta로 편미분해준다. 미분값(step size)을 구해서 원래의 w,b에 업데이트 해준다. 우리는 입력벡터와 크기가 다..
2021.08.09 -
[Day 1] numpy와 pandas
numpy(numerical python) 특징 일반 list에 비해 빠르고 효율적임 반복문을 쓰지 않고 data list를 처리가능 c,c++와 통합가능 선형대수와 관련된 기능 제공 np array의 특징 하나의 데이터 타입만 배열에 넣을 수 있다 다이나믹 타이핑이 지원되지 않는다 C의 array를 사용하여 배열을 생성한다 test_arr = np.array([1, 2, 3], float) test_arr >>> array([ 1. , 2., 3.]) np 배열의 종류 1차원(vector) : 위의 예제처럼 1차원 배열로 되있는 경우 2차원(matrix) : c의 2차원 배열로 생각하자 reshape 배열모양의 크기를 변경한다. ex) matrix -> vector flatten 2차원이상의 배열을 1..
2021.08.06 -
[Day 5] 확률/통계학
*** AI 엔지니어가 필수적으로 익혀야 하는 수학적 지식분야 : 선형대수 / 확률 / 통계 확률 이산형 확률변수 : 경우의 수를 서메이션(Σ)해서 모델링한다. 연속형 확률변수 : 범위내에 있는 데이터들을 적분하여 모델링한다. 조건부확률 regression : 조건부 기대값 E를 추정한다. 기대값(expectation)이란 > 데이터를 대표하는 통계량, 기대값을 이용해 분산, covariance 등을 구할 수 있다. classification : softmax함수는 오메가와 가중치행렬을 통해 조건부 확률을 계산한다. 몬테카를로 샘플링 : 대부분의 기계학습 문제들은 데이터들이 어떤 확률분포를 가지는지 모른다. >> 그렇다면 기대값을 어떻게 구해야하나?? >> 몬테카를로 샘플링을 이용한다. (이산 and 연..
2021.08.06