mmsegmentation(이하 mmseg)는 현재 segmentation SOTA 코드들이 사용하는 환경으로 매우 유용하게 사용되고 있다. 하지만, 생각보다 어려운 설치와 custom data 학습으로 인해 장벽이 존재한다. 몇일동안 삽실하며, 학습환경세팅과 실제학습에 들어가기까지 과정 및 오류내용을 공유해보려 한다. 본 글은, mmseg를 이용한 BEiT2활용 과정이며, BEiT뿐만 아니라 무수히 많은 모델들이 존재한다. 본인 GPU 환경 A100 80G 4장 (320G) Ubuntu 22.04.2 LTS CUDA version 11.7 1. Installation 1. Docker build (Pytorch 1.7.1 CUDA 11.0 cudnn 8) https://hub.docker.com/lay..

Docker 내가 가지고 있는 nvidia GPU의 하위버전이면 모든 환경세팅이 가능하다 내가 사용하는 GPU는 cuda 11.7 version의 nvidia gpu이다, 즉 cuda 11.7 이하의 cuda version의 도커는 모두 사용 가능하다. 해당 docker는 cuda 11.7을 기준으로 설정된 docker image이므로, 만약 하위 버전의 cuda를 사용한다면 google이나 docker hub를 통해 다운받으면 된다. Dockerfile을 내가 작업하고자 하는 디렉토리에 복사한 후, 다음 명령어로 image를 bulid한다. docker build --tag jax_test . 이후, 아래와 같이 쉘 스크립트를 하나 만들어서 실행하면 된다. 스크립트의 파라미터들은 각자의 환경에 맡게 설..

JAX를 이해하기전 꼭 필요한 프레임워크 지식 1. Google Google은 2015년에 기계학습 라이브러리 Tensorflow를 오픈소스로 공개한다. 2. Facebook(+ Microsoft) Facebook은 2016년에 딥러닝 라이브러리 Pytorch를 오픈소스로 공개한다. JAX는 Google에서 개발되었고, 이 말은 XLA가 자유롭게 가능하다는 것이다. 물론 최근(2019년)에 pytorch도 XLA가 가능하게끔 google과 facebook간의 협약이 있었다고 하지만, pytorch를 주로 쓰는 나인데도 XLA라는 용어를 이번에 처음듣게 되었다. 그래서 JAX를 알아보기 전에 XLA를 간단히 알고가려 한다. XLA(=Accelerated Linear Algebra)는 Tensorflow의 ..

현재 디렉토리에서 랜덤한 파일 1000개만 제외하고 모두 삭제 find ./ -type f -print0 | sort -zR | tail -zn +1001 | xargs -0 rm 현재 디렉토리에서 랜덤하게 선택된 파일을 다른 디렉토리로 이동 shuf : 랜덤으로 -n 10 : 10개를 추출하여 mv {} : 입력한 폴더로 이동한다 ls | shuf -n 10 | xargs -i mv {} 이동폴더명 현재 디렉토리에서 내가 원하는 문자열이 들어간 파일만 추출하여 복사 find . -name "문자열*" -exec cp {} 폴더경로 \ 디렉토리안에 파일을 숫자 순서대로 정렬하고 싶을때 import natsort # x는 파일명이 있는 리스트 x = natsort.natsorted(x)

find . -type d | cpio -pdvm "/mnt/dataset/BrainCT/ASAN/1/png/" 원리 find . : 현재 디렉토리에서 -type d : 디렉토리 타입 cpio -pdvm : cpio를 이용하여 복사 "~~~" : 목적지 경로

1. 연합학습 지속적인 모니터링 16:00 서울대&아산병원 미팅 발표자료 준비 2. 합성과제 간암 악성&양성 정제 마무리 췌장암 dicom header 추출 3. 특허 소부장 안저영상 특허 마무리