티스토리

AA(AI & Algorithm)

검색하기

블로그 홈

AA(AI & Algorithm)

danny0628.tistory.com/m

메일 주소 : tjdtjdtjd789@gmail.com

구독자: 1

방명록 방문하기

주요 글 목록

[End...] 부스트캠프를 마치며... 2021년 8월부터 달려온 네이버 부스트캠프 AI tech 2기의 일정이 모두 끝났다. 약 5개월간 정말 많은 것을 배웠고, 경험할 수 있었다. Python의 기본 문법부터 최근 각광받고 있는 SOTA model인 Transformer까지 대회를 참가하며 실전을 경험했고, 마지막에는 OCR과 Serving까지 다룰 수 있었다. 부스트 캠프를 진행하는 도중 총 5번의 대회가 열렸었다. 나는 5개의 대회 모두 좋은 성적을 거둘 수 있었는데, 내가 좋아하는 분야를 공부한다는 마음에 누구보다 열심히 할 수 있었던 것 같다. Classification / Detection / Segmentation / OCR / Lightweight 순서대로 11등 / 6등 / 1등 / 2등 / 6등을 기록하며 마루리를 했다. .. 공감수 1 댓글수 8 2022. 1. 3.
[YOLOv5] train + inference 자세하게 알아보자 이번 Object Detection 컴페티션에서 내가 맡은 모델중 하나인 YOLOv5에 대해서 코드단까지 자세하게 설명하려 한다. YOLOv5 def. YOLOv5는 같은 One-stage detector인 EfficientDet보다 성능이 월등하게 좋아진 것을 볼 수 있다. 그럼 YOLOv5가 다른 YOLO version과 비교했을 때 갖는 장점은 무엇이 있을까? >>> backbone + head backbone : CSPNet(YOLOv4와 같음) CNN의 학습능력 강화 : 정확도를 유지하면서 경량화 가능 연산 Bottleneck 삭제 : v3 기준으로 bottleneck 80% 줄임 메모리의 cost 감소 Head : Anchor Box를 이용하여 Bounding Box를 생성한다 Preproce.. 공감수 0 댓글수 0 2021. 10. 9.
[Detectron2] code level review Detectron2 ? def. Facebook에서 만든 pytorch 기반으로 하고 Object detection/sementic segmentation을 위한 training/inference opensorce libary Why Detectron2 ? python에 최적화가 되어있다! 연산량이 많이 드는 코드는 C를 통해서 구현했다 box IOU, defromable convolution 부분등은 CUDA로 구현했다 Detectron2 Structure tools dir plain_train_net.py : 구조파악이 쉽지만, SGD를 이용한 학습만 지원하고 나머지 기능들은 지원하지 않는다 train_net.py : training iter가 추상화가 잘 되있기 때문에 실제 디버깅하는 부분에서 힘들.. 공감수 0 댓글수 0 2021. 9. 28.
[Week6 & Day4] Image captioning Architecture CNN part : input image를 Feature Tensor로 Encoding Pre-trianed 된 모델을 사용 모든 layer을 사용하는 것이 아닌 끝부분의 2개의 layer를 제거하고 사용한다. why? 가장 마지막 layer를 통과하면 logit형태, 그 직전 layer는 Feature vector 형태 공간정보를 유지해줘야되기 때문에 Pooling layer와 Linear layer 제거 encoder의 image size를 알고 있으면 편하다 encoder의 output으로 (channel size,14,14) 나오게 되면 RNN에 feeding class Encoder(nn.Module): def __init__(self, img_size = 14): sup.. 공감수 0 댓글수 0 2021. 9. 17.
[Week6 & Day4] Multi-Modal Learning def. 한 type이 아닌 다른 type의 데이터도 함께 사용하는 모델 시각 정보가 가장 중요한 정보 + 이외의 소리 or text 정보 활용 OverView 눈+귀 / 눈+입 = multi-modal(다중 감각) 도전과제 데이터의 표현방법이 모두 다른데, 이렇게 다른 차원들의 데이터를 어떻게 처리하지? ex) Audio = 1D / Image = 2D or 3D / Text = word에 대응되는 Embedding data 특징들 사이의 불균형 ex) 똑같은 shape을 가지고 있는 data는 여러개가 존재 / 즉 1 : N 매칭이 된다는 점 여러modality를 사용할때 fair하게 사용하면 더 좋게 학습되나? >>> 방해가 될때도 있다. 하나의 modality에 bias(편향)되는게 자주 발생한다.. 공감수 1 댓글수 0 2021. 9. 17.
[Week6 & Day 3] Conditional Generative Model Generative model vs Conditional generative model Generative model은 이미지나 샘플을 생성할 수 있지만, 조작이 불가하다. 반면에 Conditional generative model은 내가 원하는데로 응용 할 수 있다는 장점이있다. GAN GAN vs Conditional GAN Conditional GAN and Example Comparison of MAE, MSE and GAN losses Input Image를 검은색 or 흰색 두개만 준다면? >>> input image에 L1 loss를 이용하면 아웃풋이 회색으로 나온다 >>> GAN loss를 이용하면 output이 검은색이나 흰색으로 나온다 Image translation GANs Pix2P.. 공감수 0 댓글수 0 2021. 9. 16.
[Week6 & Day1] CNN Visualization Visualizing CNN Why? 시각화를 한다는 것은 곧 디버깅을 의미한다. Computer Vision에서 시각화를 통한 디버깅은 모델 성능을 개선시키는데 매우 필수적인 작업이라고 할 수 있다. 왼쪽부터 input image >> output label으로 진행되는데, 첫번째로 알아 볼것은 Low layer단에서의 visualizing 이다. input img => filter visualization => activation visualization 으로 진행된다. 단, 둘다 첫번째 convolution layer에서 추출한 값들로 시각화를 해야된다. 그럼 뒷쪽 layer들은 ? 왜 이렇게 하지 않을까? 직관적으로 알아볼수 있는 형태가 나오지 않는다. 즉, 사람이 해석할수 없게된다 (차원수가 높.. 공감수 0 댓글수 0 2021. 9. 14.
[Week5 / Day 2] Annotation Data Efficient Learning[ Data augmentation def. 데이터를 패턴을 통해 분석할때, 편식하지 않고 골고루 학습을 시켜야되는데 실제로는 많은 bias가 존재한다. 우리가 실제로 취득하는 데이터 셋은 밀도가 높지않고, bias가 존재한다. 이것을 매꿀 수있는 방법이 augmentation이다. 즉 데이터의 밀도를 높여준다고 생각하면 된다. Image data augmentation OpenCV 와 Numpy가 data augmentation을 이용하는데 많은 방법들을 제공한다 Goal : training dataset을 실제 데이터와 비슷하게 만드는 것 data augmentation methods 밝기 조절 : Brightness (RGB값을 이용) Rotate, filp : 데이터를 뒤집거나 회전시킨다 Crop :.. 공감수 0 댓글수 0 2021. 9. 9.
[Week 5/ Day 1] Image Classification Def. 카메라로 찍고, 알고리즘을 통해, gpu에 올리는 과정 => Computer Vision = Inverse redering cf. 반대의 과정은 Computer Graphics = Rendering classifier : 맵핑을 위한 분류기 KNN 분류하고자 하는 데이터셋을 모두 가지고 있다면? 예를 들어, 강아지와 고양이를 분류하는데 내가 세상에 존재하는 강아지와 고양이의 사진 데이터 셋을 모두 가지고 있으면, input이 들어오면 가장 비슷한 것을 mapping 해서 labeling 해주면 된다. 하지만, 여러분들도 의문이 들것이다. 과연, 모든 데이터셋을 담는다면 Time Complexity 와 Memory Complexity는 얼마나 될까? >> 무한하다, 즉 실현 가능성이 없다. CNN.. 공감수 0 댓글수 0 2021. 9. 7.
[Week 3] Pytorch(통합정리) Pytorch의 문법, 함수, 클래스 등 너무 방대한 양을 담고 있기에 이 글하나에 전부 적기 힘들다. 만약 더 공부를 원하면, https://tutorials.pytorch.kr/ : 파이토치 공식사이트를 이용해서 방대한 문서들을 참고하고, 파이토치 시작하기 섹션은 꼭 한번 따라하는 것을 추천한다. 특히 이번글에서 다룰 것은 모델링하는 것이 아닌, Dataset과 Dataloader을 통해 데이터입력을 받고, 쓰는 방법을 익히려고 한다. >> 모델링은 구글링만 해도 많은 자료들이 있기에 클론 코딩이나, 문서를 통해 배우기 수월하다. Pytorch의 기본 특징 1. Dynamic Computation Graph : 연산의 과정을 그래프로 표현 2. Difine by Run : 실행을 하면서 그래프를 생성.. 공감수 0 댓글수 0 2021. 8. 20.
[Day 10] GAN Generative Model "생성모델"로 직독이 가능하다. 분류(classification)모델을 포함한다.(ex. 강아지인지 아닌지 분류) explicit model : 확률적 해석을 나타낼 수 있는 모델 implicit model : 학습모델 learning generative model 순서 : Generation(sampling) > Density estimation > Unsupervised learning 여기서 density 즉 밀도, 통계적 해석이 들어가므로 explicit model에도 속한다. 원래의 learning에 필요한 파라미터 수는 2의n 제곱이 필요하다. 어떻게 파라미터 수를 줄일 수 있을까? >> n개의 input값들이 전부 독립이라고 가정하면, 더하기로 표현 가능하다 >.. 공감수 0 댓글수 0 2021. 8. 13.
[Day 9] RNN & Transformer RNN Sequential model : dataset이 sequential하게 주어졌다면 우리는 RNN을 통해서 모델을 구축할 수 있을 것이다. Sequential이란? 일상생활에서 다루는 대부분의 정보들 ; 음성, 동작 등 sequential 데이터에서 우리가 결국 얻고 싶은건 하나의 라벨(정보)이다. 예를들어, 음성데이터가 주어진다고 하면 그 음성데이터의 길이가 길어, 언제끝나는지 알 수 없다. 때문에 CNN을 사용하지 못한다 CNN을 사용하지 못하는 이유는 몇개의 input값이 주어질지 모르기 때문 가장 기본적인 sequential model은 이전 데이터를 이용해 다음 데이터를 예측하는 것이다. sequential한 데이터를 해결하는 2가지 방법 Markov model : 현재는 과거에만 종속된.. 공감수 0 댓글수 0 2021. 8. 12.
[Day 8] CNN CNN? CNN에서 C는 convolution, NN은 뉴럴 네트워크를 뜻한다. 여기서 convolution을 잘 모르는 분들이 있을 것 같다. 원래의 convolution은 디지털 신호를 처리할때 주로 이용하는 방법이다. 하지만, CNN에서의 convolution은 Input(이미지와 같은)값에서 feature을 뽑아내기 위한 용도로 사용된다. 만약 input이 이미지로 들어온다면? filter를 convolution하여 output(원래 이미지와 다른 형태의 이미지, 예를 들어 원래의 이미지에서 아웃라인만 잡는다거나..)을 출력시킬수 있다. Stride & Padding Stride Padding input 양끝에 0을 추가해주면 (zero padding) input과 output의 채널을 동일하게 .. 공감수 0 댓글수 0 2021. 8. 11.
[Day 7] Optimization 내가 생각하는 딥러닝 모델링 과정에서 가장 중요한 작업이다. 오늘은 최적화에 대해서 알아보려고 한다. Generalization train_set을 잘 학습시켰다고 해서 test_set이 잘 학습된다고 할 수 없다. 이 두개의 set 차이를 generalization gap 이라고 한다 Underfitting & Overfitting test_set에 대해서 너무 잘 예측된다면, 그 set에서만 좋을 가능성도 높다. 이런 경우를 overfitting, 반대의 경우를 underfitting이라고 한다. Cross-validation test_set을 쓰기전, 결과를 미리 판단하기위해 train_set에서 subset으로 나눠 한 set을 validation으로 두고 판단한다. 이 때, 데이터의 수가 제한적.. 공감수 0 댓글수 0 2021. 8. 10.
[Day 6] 딥러닝 basic & MLP 딥러닝을 위한 키값들 Data : 모델을 학습시키기 위한 데이터셋 Model : 데이터를 어떻게 모델에 적용시킬것인가 loss_func : 모델에 최적화된 손실함수가 필요 Algorithm : 손실함수를 가장 좋게 만드는 알고리즘 필요 loss function(무조건 각각의 손실함수를 사용하는 것은 아니지만 보통 다음과 같은 방법을 사용한다) 회귀 : MSE 분류 : CE 확률론적 : MLE(=MSE + log) MLP Linear Neural Networks : 입력은 N차원, 출력은 M차원 loss function을 줄이는게 목적이므로, 미분값을 통해 구해준다. 위의 loss식을 beta로 편미분해준다. 미분값(step size)을 구해서 원래의 w,b에 업데이트 해준다. 우리는 입력벡터와 크기가 다.. 공감수 0 댓글수 0 2021. 8. 9.
[Day 1] numpy와 pandas numpy(numerical python) 특징 일반 list에 비해 빠르고 효율적임 반복문을 쓰지 않고 data list를 처리가능 c,c++와 통합가능 선형대수와 관련된 기능 제공 np array의 특징 하나의 데이터 타입만 배열에 넣을 수 있다 다이나믹 타이핑이 지원되지 않는다 C의 array를 사용하여 배열을 생성한다 test_arr = np.array([1, 2, 3], float) test_arr >>> array([ 1. , 2., 3.]) np 배열의 종류 1차원(vector) : 위의 예제처럼 1차원 배열로 되있는 경우 2차원(matrix) : c의 2차원 배열로 생각하자 reshape 배열모양의 크기를 변경한다. ex) matrix -> vector flatten 2차원이상의 배열을 1.. 공감수 3 댓글수 4 2021. 8. 6.
[Day 5] 확률/통계학 *** AI 엔지니어가 필수적으로 익혀야 하는 수학적 지식분야 : 선형대수 / 확률 / 통계 확률 이산형 확률변수 : 경우의 수를 서메이션(Σ)해서 모델링한다. 연속형 확률변수 : 범위내에 있는 데이터들을 적분하여 모델링한다. 조건부확률 regression : 조건부 기대값 E를 추정한다. 기대값(expectation)이란 > 데이터를 대표하는 통계량, 기대값을 이용해 분산, covariance 등을 구할 수 있다. classification : softmax함수는 오메가와 가중치행렬을 통해 조건부 확률을 계산한다. 몬테카를로 샘플링 : 대부분의 기계학습 문제들은 데이터들이 어떤 확률분포를 가지는지 모른다. >> 그렇다면 기대값을 어떻게 구해야하나?? >> 몬테카를로 샘플링을 이용한다. (이산 and 연.. 공감수 1 댓글수 0 2021. 8. 6.
[Day 4] 경사하강법 인공지능에서의 미분 : 변수의 따른 함수값의 변화를 측정하기 위한 도구 / 최적화에서 많이 사용한다. import sympy as sym from sympy.abc import x f_x = x**2 + 2x + 1 sys.diff(sym.poly(f_x), x) 이렇게 sympy를 이용하여 간단히 미분값을 구할 수 있다. (sys.diff 이용) x좌표에서 f'(x)를 빼는 것을 gradient descent 라 하며, 극소값의 위치를 구할 때 사용한다. *** 경사하강법을 통해 극값에 도달하면 움직임을 멈춘다 *** 더보기 알고리즘 분석 while(abs(gradient) > epslion): ## gradient가 앱실론보다 작아지면 while문을 종료 value = value - learning_.. 공감수 1 댓글수 0 2021. 8. 5.
[Day 3] 파이썬의 자료구조 파이썬의 기본 데이터 구조 스택과 큐 스택(stack) : 늦게 들어온(push) 데이터가 먼저 나간(pop)다 (LIFO) / push = append 큐(queue) : 먼저 들어온(append) 데이터가 먼저 나간(pop(0))다 (FIFO) 튜플과 집합 튜플(tuple) : 값의 변경이 불가능한 리스트(static 이라고 생각하면 될듯) / () 로 선언 및 사용 집합(set) : 값을 순서없이(unordered) 저장 + 중복 허용 안함(C++의 unordered_set과 동일) 딕셔너리 : 데이터를 저장 할때 구분 값과 같이 저장(C++의 map과 비슷한듯?) / key : value deque 장점 1: list에 비해 효율적이고 빠른 자료 저장 방식 장점 2: linked list의 특성을.. 공감수 1 댓글수 0 2021. 8. 4.
[Day 2] 파이썬의 String ▷ 문자열 string은 1바이트 크기로 한 글자씩 메모리 공간이 할당된다. ex) string = s | t | r | i | n | g | 정수형 타입 중 long형은 C++와는 다르게 크기가 무제한이고, 표현범위 또한 무제한이다. 내가 생각하는 문자열의 가장 중요한 특징 >>> list(배열)와 같은 형태로 데이터를 처리한다. ex) s = abc 는 s[0] = a, s[1] = b, s[2] = c 로 표현가능. 문자열 슬라이싱 전 범위 = s[ : ] 지정 범위 = s[0 : 7] (0번째부터 6까지)/ s[-1 : ] (-1번째부터 끝까지) 특정 범위 = s[ : : 2 ] (전범위를 2칸단위로) 문자열의 중요하고 기본적인 함수들 (외워두면 편하다) len(s) = 문자열 개수 반환 s.up.. 공감수 1 댓글수 0 2021. 8. 3.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.