티스토리

AA(AI & Algorithm)

검색하기

블로그 홈

AA(AI & Algorithm)

danny0628.tistory.com/m

메일 주소 : tjdtjdtjd789@gmail.com

구독자: 1

방명록 방문하기

주요 글 목록

mmsegmentation 공략하기(설치부터 custom dataset학습까지) mmsegmentation(이하 mmseg)는 현재 segmentation SOTA 코드들이 사용하는 환경으로 매우 유용하게 사용되고 있다. 하지만, 생각보다 어려운 설치와 custom data 학습으로 인해 장벽이 존재한다. 몇일동안 삽실하며, 학습환경세팅과 실제학습에 들어가기까지 과정 및 오류내용을 공유해보려 한다. 본 글은, mmseg를 이용한 BEiT2활용 과정이며, BEiT뿐만 아니라 무수히 많은 모델들이 존재한다. 본인 GPU 환경 A100 80G 4장 (320G) Ubuntu 22.04.2 LTS CUDA version 11.7 1. Installation 1. Docker build (Pytorch 1.7.1 CUDA 11.0 cudnn 8) https://hub.docker.com/lay.. 공감수 0 댓글수 0 2023. 6. 7.
내가 필요해서 정리하는 JAX(2)(JAX의 설치 / 직접 설치해보고 적는 방법) Docker 내가 가지고 있는 nvidia GPU의 하위버전이면 모든 환경세팅이 가능하다 내가 사용하는 GPU는 cuda 11.7 version의 nvidia gpu이다, 즉 cuda 11.7 이하의 cuda version의 도커는 모두 사용 가능하다. 해당 docker는 cuda 11.7을 기준으로 설정된 docker image이므로, 만약 하위 버전의 cuda를 사용한다면 google이나 docker hub를 통해 다운받으면 된다. Dockerfile을 내가 작업하고자 하는 디렉토리에 복사한 후, 다음 명령어로 image를 bulid한다. docker build --tag jax_test . 이후, 아래와 같이 쉘 스크립트를 하나 만들어서 실행하면 된다. 스크립트의 파라미터들은 각자의 환경에 맡게 설.. 공감수 1 댓글수 2 2023. 4. 24.
내가 필요해서 정리하는 JAX(1)(JAX의 기초부터 XLA까지) JAX를 이해하기전 꼭 필요한 프레임워크 지식 1. Google Google은 2015년에 기계학습 라이브러리 Tensorflow를 오픈소스로 공개한다. 2. Facebook(+ Microsoft) Facebook은 2016년에 딥러닝 라이브러리 Pytorch를 오픈소스로 공개한다. JAX는 Google에서 개발되었고, 이 말은 XLA가 자유롭게 가능하다는 것이다. 물론 최근(2019년)에 pytorch도 XLA가 가능하게끔 google과 facebook간의 협약이 있었다고 하지만, pytorch를 주로 쓰는 나인데도 XLA라는 용어를 이번에 처음듣게 되었다. 그래서 JAX를 알아보기 전에 XLA를 간단히 알고가려 한다. XLA(=Accelerated Linear Algebra)는 Tensorflow의 .. 공감수 1 댓글수 0 2023. 4. 18.
[Linux] 자주 사용하는 명령어 모음(추가 ing...) 현재 디렉토리에서 랜덤한 파일 1000개만 제외하고 모두 삭제 find ./ -type f -print0 | sort -zR | tail -zn +1001 | xargs -0 rm 현재 디렉토리에서 랜덤하게 선택된 파일을 다른 디렉토리로 이동 shuf : 랜덤으로 -n 10 : 10개를 추출하여 mv {} : 입력한 폴더로 이동한다 ls | shuf -n 10 | xargs -i mv {} 이동폴더명 현재 디렉토리에서 내가 원하는 문자열이 들어간 파일만 추출하여 복사 find . -name "문자열*" -exec cp {} 폴더경로 \ 디렉토리안에 파일을 숫자 순서대로 정렬하고 싶을때 import natsort # x는 파일명이 있는 리스트 x = natsort.natsorted(x) 공감수 5 댓글수 0 2022. 11. 17.
[Linux] 특정 디렉토리의 Tree 구조만 복사하기 find . -type d | cpio -pdvm "/mnt/dataset/BrainCT/ASAN/1/png/" 원리 find . : 현재 디렉토리에서 -type d : 디렉토리 타입 cpio -pdvm : cpio를 이용하여 복사 "~~~" : 목적지 경로 공감수 0 댓글수 0 2022. 11. 17.
[22/08/30] 5주차 화요일 1. 연합학습 지속적인 모니터링 16:00 서울대&아산병원 미팅 발표자료 준비 2. 합성과제 간암 악성&양성 정제 마무리 췌장암 dicom header 추출 3. 특허 소부장 안저영상 특허 마무리 공감수 1 댓글수 1 2022. 8. 30.
[22/08/29] 5주차 월요일 1. 연합학습 학습 상태 지속적 모니터링 아산병원&서울대병원 연합학습 과정 및 발표 자료 작성 (내일 오전까지 완료 및 오후4시 발표) 2. 합성과제 국립암센터 간암 Normal dataset 학습중 (오늘내로 완료 가능) 간암 Abnormal dataset 정제 완료 (오늘내로 완료 가능) Normal dataset 학습 끝나는대로 Abnormal 학습 시작 고신대병원 내일부터 팀뷰어로 원격 학습 3. 특허 FL 특허 완료 안저 특허 작성중 (내일까지 마무리) 공감수 1 댓글수 0 2022. 8. 29.
[22/08/23] 4주차 화요일 1. 연합학습 연합학습 Abdomen, CXR 학습 안정화 확인 round1 까지 우선 지켜보고 혹시 중간에 인프라 에러 뜨는지만 체크 2. 합성과제 간암 Normal dataset 정제 완료 + 학습 시작 간암 Abnormal dataset 정제 시작 췌장암 Nomral dataset 정제 시작 3. 특허 시간나면 하자... (가장 후순위) 공감수 1 댓글수 0 2022. 8. 23.
[22/08/22] 4주차 월요일 1. 연합학습 서울대 & 아산병원 연락해서 오늘 내로 AbdomenCT, CXR 학습시작 (저번주 예정이였지만, 병원 연구원의 병가로 인한 연기) 2. 합성과제 오늘 까지 췌장암 데이터 정제 마무리 학습 시작 3. 특허 ++@ 시간남으면 차근차근 시작하기 공감수 1 댓글수 0 2022. 8. 22.
[22/08/19] 8월 3주차 금요일 1. 연합학습 - Federated Learning CXR server 재부팅 이후 학습 client 확인 ++ 추가적으로 오류가 있다면 오류 보고 및 정리 2. NIA 합성과제 - 췌장암(pancreas cancer) 데이터 셋 정제 시작 - Portal Phase가 들어가 있는 Header만 추출하기 - dicom 2 png 작업 완료 하기 - 학습 시작하면 best, 안되더라도 데이터 정제까지는 완료해야함 3. RSNA Competition kaggle RSNA 대회 개요 보기 및 데이터 살펴 보기 (가장 후순위) 공감수 1 댓글수 0 2022. 8. 19.
Federated Learning에 다양한 GAN 적용시키기 현재 상용화 된 Federated Learning Framework 들이 몇몇 존재한다. 실제로 업무를 하면서 3가지 정도를 다뤄봤고, 그중 Flower Framework를 기준으로 설명하고자 한다. 내가 생각하는 Federated Framework 절대적으로 동작해야되는 기능을 포함하는 Framework만 선별했다. Real Network Operation 하나의 환경안에서만 동작하는 Federated Learning은 깃헙에도 custom코드가 널리고 널렸다. Server와 Client 환경을 구분하지 않는 Framework는 바로 out 시켰다. Security weight를 주고 받을 때, 동형화 암호를 사용하여 주고 받게 되어있는데, 해당 기능을 개발중이거나 사용하지 않는 Framework는 사.. 공감수 4 댓글수 1 2022. 5. 13.
[Federated Learning] + Blockchain과의 연계 참고 논문 : https://arxiv.org/pdf/1909.11875.pdf 1. Introduction 우리가 알고 있는 전통적인 cloud-centric 방식은 엣지 클라우드(클라이언트, 데이터 오너 등등)로 부터 데이터를 수집하여 중앙 서버가 데이터를 처리해 주는 방식을 이용해 왔다. 그런데 현대 사회에서는 다음과 같은 문제 때문에 decentric한 방법이 대두되고 있다. 데이터 소유자의 프라이버시 문제 Center로 데이터를 전송하게 되면 데이터의 양을 감당하기가 힘듬 분산학습 vs 연합학습 둘의 학습되는 과정은 다를게 없지만, 가정이 다르다. 분산학습의 경우 하나의 모델을 병렬적으로 학습하고 각 데이터가 독립적이며 동일한 분포를 갖는다고 가정한다 (IID) 연합학습은 Non-IID를 가정하.. 공감수 1 댓글수 1 2022. 3. 23.
[그래프&구현] 백준 2251번 물통 https://www.acmicpc.net/problem/2251 2251번: 물통 각각 부피가 A, B, C(1≤A, B, C≤200) 리터인 세 개의 물통이 있다. 처음에는 앞의 두 물통은 비어 있고, 세 번째 물통은 가득(C 리터) 차 있다. 이제 어떤 물통에 들어있는 물을 다른 물통으로 쏟아 부 www.acmicpc.net 난이도 : 실버 1 수행 시간 : 45분 브루트 포스적인 방법으로 풀었다. 최종 값까지 달성할때, 다른 값들을 모두 ans 벡터에 저장해놓는 방식. Queue를 이용한 BFS적인 접근을 통해 구현할 수 있다. 핵심 알고리즘은 a->b,c / b->a,c / c->a,b의 6가지 경우의 수를 모두 구현해 주면 해결된다. #include #include #include #inclu.. 공감수 0 댓글수 0 2022. 1. 3.
[End...] 부스트캠프를 마치며... 2021년 8월부터 달려온 네이버 부스트캠프 AI tech 2기의 일정이 모두 끝났다. 약 5개월간 정말 많은 것을 배웠고, 경험할 수 있었다. Python의 기본 문법부터 최근 각광받고 있는 SOTA model인 Transformer까지 대회를 참가하며 실전을 경험했고, 마지막에는 OCR과 Serving까지 다룰 수 있었다. 부스트 캠프를 진행하는 도중 총 5번의 대회가 열렸었다. 나는 5개의 대회 모두 좋은 성적을 거둘 수 있었는데, 내가 좋아하는 분야를 공부한다는 마음에 누구보다 열심히 할 수 있었던 것 같다. Classification / Detection / Segmentation / OCR / Lightweight 순서대로 11등 / 6등 / 1등 / 2등 / 6등을 기록하며 마루리를 했다. .. 공감수 1 댓글수 8 2022. 1. 3.
[YOLOv5] train + inference 자세하게 알아보자 이번 Object Detection 컴페티션에서 내가 맡은 모델중 하나인 YOLOv5에 대해서 코드단까지 자세하게 설명하려 한다. YOLOv5 def. YOLOv5는 같은 One-stage detector인 EfficientDet보다 성능이 월등하게 좋아진 것을 볼 수 있다. 그럼 YOLOv5가 다른 YOLO version과 비교했을 때 갖는 장점은 무엇이 있을까? >>> backbone + head backbone : CSPNet(YOLOv4와 같음) CNN의 학습능력 강화 : 정확도를 유지하면서 경량화 가능 연산 Bottleneck 삭제 : v3 기준으로 bottleneck 80% 줄임 메모리의 cost 감소 Head : Anchor Box를 이용하여 Bounding Box를 생성한다 Preproce.. 공감수 0 댓글수 0 2021. 10. 9.
[Detectron2] code level review Detectron2 ? def. Facebook에서 만든 pytorch 기반으로 하고 Object detection/sementic segmentation을 위한 training/inference opensorce libary Why Detectron2 ? python에 최적화가 되어있다! 연산량이 많이 드는 코드는 C를 통해서 구현했다 box IOU, defromable convolution 부분등은 CUDA로 구현했다 Detectron2 Structure tools dir plain_train_net.py : 구조파악이 쉽지만, SGD를 이용한 학습만 지원하고 나머지 기능들은 지원하지 않는다 train_net.py : training iter가 추상화가 잘 되있기 때문에 실제 디버깅하는 부분에서 힘들.. 공감수 0 댓글수 0 2021. 9. 28.
[Week6 & Day4] Image captioning Architecture CNN part : input image를 Feature Tensor로 Encoding Pre-trianed 된 모델을 사용 모든 layer을 사용하는 것이 아닌 끝부분의 2개의 layer를 제거하고 사용한다. why? 가장 마지막 layer를 통과하면 logit형태, 그 직전 layer는 Feature vector 형태 공간정보를 유지해줘야되기 때문에 Pooling layer와 Linear layer 제거 encoder의 image size를 알고 있으면 편하다 encoder의 output으로 (channel size,14,14) 나오게 되면 RNN에 feeding class Encoder(nn.Module): def __init__(self, img_size = 14): sup.. 공감수 0 댓글수 0 2021. 9. 17.
[Week6 & Day4] Multi-Modal Learning def. 한 type이 아닌 다른 type의 데이터도 함께 사용하는 모델 시각 정보가 가장 중요한 정보 + 이외의 소리 or text 정보 활용 OverView 눈+귀 / 눈+입 = multi-modal(다중 감각) 도전과제 데이터의 표현방법이 모두 다른데, 이렇게 다른 차원들의 데이터를 어떻게 처리하지? ex) Audio = 1D / Image = 2D or 3D / Text = word에 대응되는 Embedding data 특징들 사이의 불균형 ex) 똑같은 shape을 가지고 있는 data는 여러개가 존재 / 즉 1 : N 매칭이 된다는 점 여러modality를 사용할때 fair하게 사용하면 더 좋게 학습되나? >>> 방해가 될때도 있다. 하나의 modality에 bias(편향)되는게 자주 발생한다.. 공감수 1 댓글수 0 2021. 9. 17.
[Week6 & Day 3] Conditional Generative Model Generative model vs Conditional generative model Generative model은 이미지나 샘플을 생성할 수 있지만, 조작이 불가하다. 반면에 Conditional generative model은 내가 원하는데로 응용 할 수 있다는 장점이있다. GAN GAN vs Conditional GAN Conditional GAN and Example Comparison of MAE, MSE and GAN losses Input Image를 검은색 or 흰색 두개만 준다면? >>> input image에 L1 loss를 이용하면 아웃풋이 회색으로 나온다 >>> GAN loss를 이용하면 output이 검은색이나 흰색으로 나온다 Image translation GANs Pix2P.. 공감수 0 댓글수 0 2021. 9. 16.
[Week6 & Day1] CNN Visualization Visualizing CNN Why? 시각화를 한다는 것은 곧 디버깅을 의미한다. Computer Vision에서 시각화를 통한 디버깅은 모델 성능을 개선시키는데 매우 필수적인 작업이라고 할 수 있다. 왼쪽부터 input image >> output label으로 진행되는데, 첫번째로 알아 볼것은 Low layer단에서의 visualizing 이다. input img => filter visualization => activation visualization 으로 진행된다. 단, 둘다 첫번째 convolution layer에서 추출한 값들로 시각화를 해야된다. 그럼 뒷쪽 layer들은 ? 왜 이렇게 하지 않을까? 직관적으로 알아볼수 있는 형태가 나오지 않는다. 즉, 사람이 해석할수 없게된다 (차원수가 높.. 공감수 0 댓글수 0 2021. 9. 14.
[Week5 / Day 2] Annotation Data Efficient Learning[ Data augmentation def. 데이터를 패턴을 통해 분석할때, 편식하지 않고 골고루 학습을 시켜야되는데 실제로는 많은 bias가 존재한다. 우리가 실제로 취득하는 데이터 셋은 밀도가 높지않고, bias가 존재한다. 이것을 매꿀 수있는 방법이 augmentation이다. 즉 데이터의 밀도를 높여준다고 생각하면 된다. Image data augmentation OpenCV 와 Numpy가 data augmentation을 이용하는데 많은 방법들을 제공한다 Goal : training dataset을 실제 데이터와 비슷하게 만드는 것 data augmentation methods 밝기 조절 : Brightness (RGB값을 이용) Rotate, filp : 데이터를 뒤집거나 회전시킨다 Crop :.. 공감수 0 댓글수 0 2021. 9. 9.
[Week 5/ Day 1] Image Classification Def. 카메라로 찍고, 알고리즘을 통해, gpu에 올리는 과정 => Computer Vision = Inverse redering cf. 반대의 과정은 Computer Graphics = Rendering classifier : 맵핑을 위한 분류기 KNN 분류하고자 하는 데이터셋을 모두 가지고 있다면? 예를 들어, 강아지와 고양이를 분류하는데 내가 세상에 존재하는 강아지와 고양이의 사진 데이터 셋을 모두 가지고 있으면, input이 들어오면 가장 비슷한 것을 mapping 해서 labeling 해주면 된다. 하지만, 여러분들도 의문이 들것이다. 과연, 모든 데이터셋을 담는다면 Time Complexity 와 Memory Complexity는 얼마나 될까? >> 무한하다, 즉 실현 가능성이 없다. CNN.. 공감수 0 댓글수 0 2021. 9. 7.
[Week 3] Pytorch(통합정리) Pytorch의 문법, 함수, 클래스 등 너무 방대한 양을 담고 있기에 이 글하나에 전부 적기 힘들다. 만약 더 공부를 원하면, https://tutorials.pytorch.kr/ : 파이토치 공식사이트를 이용해서 방대한 문서들을 참고하고, 파이토치 시작하기 섹션은 꼭 한번 따라하는 것을 추천한다. 특히 이번글에서 다룰 것은 모델링하는 것이 아닌, Dataset과 Dataloader을 통해 데이터입력을 받고, 쓰는 방법을 익히려고 한다. >> 모델링은 구글링만 해도 많은 자료들이 있기에 클론 코딩이나, 문서를 통해 배우기 수월하다. Pytorch의 기본 특징 1. Dynamic Computation Graph : 연산의 과정을 그래프로 표현 2. Difine by Run : 실행을 하면서 그래프를 생성.. 공감수 0 댓글수 0 2021. 8. 20.
[Day 10] GAN Generative Model "생성모델"로 직독이 가능하다. 분류(classification)모델을 포함한다.(ex. 강아지인지 아닌지 분류) explicit model : 확률적 해석을 나타낼 수 있는 모델 implicit model : 학습모델 learning generative model 순서 : Generation(sampling) > Density estimation > Unsupervised learning 여기서 density 즉 밀도, 통계적 해석이 들어가므로 explicit model에도 속한다. 원래의 learning에 필요한 파라미터 수는 2의n 제곱이 필요하다. 어떻게 파라미터 수를 줄일 수 있을까? >> n개의 input값들이 전부 독립이라고 가정하면, 더하기로 표현 가능하다 >.. 공감수 0 댓글수 0 2021. 8. 13.
[Day 9] RNN & Transformer RNN Sequential model : dataset이 sequential하게 주어졌다면 우리는 RNN을 통해서 모델을 구축할 수 있을 것이다. Sequential이란? 일상생활에서 다루는 대부분의 정보들 ; 음성, 동작 등 sequential 데이터에서 우리가 결국 얻고 싶은건 하나의 라벨(정보)이다. 예를들어, 음성데이터가 주어진다고 하면 그 음성데이터의 길이가 길어, 언제끝나는지 알 수 없다. 때문에 CNN을 사용하지 못한다 CNN을 사용하지 못하는 이유는 몇개의 input값이 주어질지 모르기 때문 가장 기본적인 sequential model은 이전 데이터를 이용해 다음 데이터를 예측하는 것이다. sequential한 데이터를 해결하는 2가지 방법 Markov model : 현재는 과거에만 종속된.. 공감수 0 댓글수 0 2021. 8. 12.
[Day 8] CNN CNN? CNN에서 C는 convolution, NN은 뉴럴 네트워크를 뜻한다. 여기서 convolution을 잘 모르는 분들이 있을 것 같다. 원래의 convolution은 디지털 신호를 처리할때 주로 이용하는 방법이다. 하지만, CNN에서의 convolution은 Input(이미지와 같은)값에서 feature을 뽑아내기 위한 용도로 사용된다. 만약 input이 이미지로 들어온다면? filter를 convolution하여 output(원래 이미지와 다른 형태의 이미지, 예를 들어 원래의 이미지에서 아웃라인만 잡는다거나..)을 출력시킬수 있다. Stride & Padding Stride Padding input 양끝에 0을 추가해주면 (zero padding) input과 output의 채널을 동일하게 .. 공감수 0 댓글수 0 2021. 8. 11.
[Day 7] Optimization 내가 생각하는 딥러닝 모델링 과정에서 가장 중요한 작업이다. 오늘은 최적화에 대해서 알아보려고 한다. Generalization train_set을 잘 학습시켰다고 해서 test_set이 잘 학습된다고 할 수 없다. 이 두개의 set 차이를 generalization gap 이라고 한다 Underfitting & Overfitting test_set에 대해서 너무 잘 예측된다면, 그 set에서만 좋을 가능성도 높다. 이런 경우를 overfitting, 반대의 경우를 underfitting이라고 한다. Cross-validation test_set을 쓰기전, 결과를 미리 판단하기위해 train_set에서 subset으로 나눠 한 set을 validation으로 두고 판단한다. 이 때, 데이터의 수가 제한적.. 공감수 0 댓글수 0 2021. 8. 10.
[Day 6] 딥러닝 basic & MLP 딥러닝을 위한 키값들 Data : 모델을 학습시키기 위한 데이터셋 Model : 데이터를 어떻게 모델에 적용시킬것인가 loss_func : 모델에 최적화된 손실함수가 필요 Algorithm : 손실함수를 가장 좋게 만드는 알고리즘 필요 loss function(무조건 각각의 손실함수를 사용하는 것은 아니지만 보통 다음과 같은 방법을 사용한다) 회귀 : MSE 분류 : CE 확률론적 : MLE(=MSE + log) MLP Linear Neural Networks : 입력은 N차원, 출력은 M차원 loss function을 줄이는게 목적이므로, 미분값을 통해 구해준다. 위의 loss식을 beta로 편미분해준다. 미분값(step size)을 구해서 원래의 w,b에 업데이트 해준다. 우리는 입력벡터와 크기가 다.. 공감수 0 댓글수 0 2021. 8. 9.
[Day 1] numpy와 pandas numpy(numerical python) 특징 일반 list에 비해 빠르고 효율적임 반복문을 쓰지 않고 data list를 처리가능 c,c++와 통합가능 선형대수와 관련된 기능 제공 np array의 특징 하나의 데이터 타입만 배열에 넣을 수 있다 다이나믹 타이핑이 지원되지 않는다 C의 array를 사용하여 배열을 생성한다 test_arr = np.array([1, 2, 3], float) test_arr >>> array([ 1. , 2., 3.]) np 배열의 종류 1차원(vector) : 위의 예제처럼 1차원 배열로 되있는 경우 2차원(matrix) : c의 2차원 배열로 생각하자 reshape 배열모양의 크기를 변경한다. ex) matrix -> vector flatten 2차원이상의 배열을 1.. 공감수 3 댓글수 4 2021. 8. 6.
[Day 5] 확률/통계학 *** AI 엔지니어가 필수적으로 익혀야 하는 수학적 지식분야 : 선형대수 / 확률 / 통계 확률 이산형 확률변수 : 경우의 수를 서메이션(Σ)해서 모델링한다. 연속형 확률변수 : 범위내에 있는 데이터들을 적분하여 모델링한다. 조건부확률 regression : 조건부 기대값 E를 추정한다. 기대값(expectation)이란 > 데이터를 대표하는 통계량, 기대값을 이용해 분산, covariance 등을 구할 수 있다. classification : softmax함수는 오메가와 가중치행렬을 통해 조건부 확률을 계산한다. 몬테카를로 샘플링 : 대부분의 기계학습 문제들은 데이터들이 어떤 확률분포를 가지는지 모른다. >> 그렇다면 기대값을 어떻게 구해야하나?? >> 몬테카를로 샘플링을 이용한다. (이산 and 연.. 공감수 1 댓글수 0 2021. 8. 6.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.